Ejemplos ilustrativos de train-test split y cross-validation desde cero

Introducción

Este notebook es muy cortito y simplemente quiere mostrar dos ejemplos de implementación desde cero de un train test split y de validación cruzada:

library(MASS)
library(tidyverse)
data(Boston)
df <- Boston
rm(Boston)

Implementación simple de train_test split

1. Definimos el tamaño del test set

test_size <- 0.3 

2. Generamos un vector de índices

set.seed(10)
test_index <- sample(x=1:nrow(df), size=round(test_size*nrow(df),0))

3. Usamos el vector de índices test_index para dividir en dos el dataset

test <- df %>%
        slice(test_index)
train <- df %>%
        slice(-test_index)

4. Comprobamos el tamaño

print(nrow(test))

[1] 152

print(nrow(train))

[1] 354

5. Podemos, entonces, entrenar una regresión en train y evaluarla en test

m1 <- lm(medv ~ ., data=train)
preds <- predict(m1, test)

# ECM
paste0('Error cuadrático medio: ', mean((preds - test$medv)**2))

[1] "Error cuadrático medio: 32.4845791308044"

Implementación simple de cross-validation

1. Mezclamos los casos

# Shuffle de casos
shuff <- sample(x=1:nrow(df), size=nrow(df), replace=FALSE)
df <- df %>%
        slice(shuff)
rm(shuff)

2. Definimos la cantidad de grupos k y generamos un vector de índices index para hacer la validación cruzada

k <- 5
set.seed(12)
index <- rep(1:k,length.out=nrow(df))

3. Generamos un loop en el que vamos iterando sobre el vector de índices index; en cada iteración dividimos en train y test y entrenamos el modelo en train y predecimos en test

for (i in 1:k){
        train <- df %>%
                filter(!(index %in% i)) # Acá iltramos los del grupo u
        test <- df %>%
                filter(index %in% i)
        print(nrow(train))
        print(nrow(test))
        #model[[i]]<-lm(medv ~. , data = train)
        #preds[[i]]<-predict(model[[i]], test)
}

[1] 404
[1] 102
[1] 405
[1] 101
[1] 405
[1] 101
[1] 405
[1] 101
[1] 405
[1] 101

4. Tenemos una lista preds con todas las predicciones. ¿Cómo calcularían el error cross validado del modelo?

model <- list()
preds <- list()
errores <- NA # Agrego vector para recolectar los errores en cada iteración
for (i in 1:k){
        train <- df %>%
                filter(!(index %in% i)) # Acá iltramos los del grupo u
        test <- df %>%
                filter(index %in% i)
       
        model[[i]] <- lm(medv ~. , data = train)
        preds[[i]] <- predict(model[[i]], test)
        errores[i] <- mean((preds[[i]] - test$medv)**2) # Calcular el error de cada iteración
}

mean(errores)

[1] 24.19639