Cómo funciona
En ML, las características con escalas muy diferentes pueden distorsionar el aprendizaje. Por ejemplo, "número de compras" (0-50) y "valor gastado" (0-50000). El modelo puede dar un peso excesivo al valor gastado solo por ser mayor.
La normalización min-max coloca los valores entre 0 y 1. La estandarización (z-score) coloca los valores con media 0 y desviación estándar 1. Ambas resuelven el problema de escala.
En IA de texto, normalización puede significar estandarizar texto: convertir a minúsculas, quitar acentos, normalizar espacios. Esto garantiza que "Café" y "cafe" se traten de la misma forma.
Ejemplo práctico
Al entrenar un modelo que predice churn de clientes, la característica "número de compras" (0-50) y "valor gastado" (0-50000) necesitan normalizarse. Sin normalización, el modelo puede considerar que "valor gastado" es más importante solo porque los números son mayores.
En procesamiento de texto, normalizar "São Paulo", "são paulo" y "SAO PAULO" a "sao paulo" garantiza que el modelo trate todas las variaciones como la misma entidad.
Para qué sirve
Mejorar la convergencia del entrenamiento y la calidad del modelo. Sin normalización, el entrenamiento puede ser lento o inestable. Con normalización, el modelo aprende de forma más eficiente y justa.
Para desarrolladores, esto significa incluir normalización en el pipeline de datos. Para científicos de datos, significa elegir la técnica correcta para cada tipo de dato.
Diferencia entre normalización y estandarización
La normalización (min-max) coloca los valores en un intervalo fijo, generalmente de 0 a 1. La estandarización (z-score) coloca los valores con media 0 y desviación estándar 1, sin límite fijo. Usa normalización cuando necesites valores limitados. Usa estandarización cuando los datos tengan outliers o distribución no uniforme.