Cómo funciona
La regularización es el conjunto de técnicas que impiden que un modelo de machine learning memorice (overfitting) los datos de entrenamiento. Un modelo con overfitting aprende patrones específicos del entrenamiento, incluido el ruido, y no generaliza a datos nuevos.
Las técnicas más comunes son: la penalización de pesos (weight decay / L2), que desalienta pesos muy grandes; dropout, que desactiva neuronas aleatoriamente; y early stopping, que interrumpe el entrenamiento cuando el rendimiento en datos de validación deja de mejorar. También se usan data augmentation (aumentar los datos de entrenamiento con variaciones) y la reducción de complejidad del modelo.
Ejemplo práctico
Entrenas una red neuronal para clasificar imágenes de gatos y perros. Sin regularización, la red puede memorizar las imágenes de entrenamiento y fallar en fotos nuevas. Con weight decay y dropout, la red aprende características generales (orejas, hocico) en lugar de memorizar píxeles, y acierta más en imágenes que nunca ha visto.
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-4)Para qué sirve
La regularización es esencial para que los modelos funcionen fuera del entorno de entrenamiento. Sin ella, los modelos complejos tienden al overfitting, especialmente con pocos datos. La elección de la técnica y de su intensidad (hiperparámetro) es parte central del entrenamiento e impacta directamente la calidad final del modelo.