Cómo funciona
Los pesos del modelo son los números que el modelo ajusta durante el entrenamiento para transformar una entrada en una salida. Cada conexión entre neuronas tiene un peso, y la combinación de esos valores determina la respuesta del sistema. Durante el entrenamiento, el modelo compara la salida con el objetivo, calcula un error y ajusta los pesos para reducirlo. Con cada nueva muestra, los pesos sufren pequeñas correcciones que, sumadas a lo largo del tiempo, hacen que el modelo generalice mejor los patrones aprendidos. Los pesos inician con valores aleatorios o con reglas de inicialización especializadas y evolucionan a medida que el modelo ve más datos. El modelo comienza con los pesos inicializados aleatoriamente, y el entrenamiento ajusta esos números poco a poco. En redes profundas, una pequeña actualización en todos los pesos es suficiente para que el error total disminuya de forma visible.
Ejemplo práctico
En un filtro de spam, cada palabra y cada patrón tiene un peso asociado. Cuando llega un nuevo correo, la suma de los pesos de los términos del mensaje decide el resultado. Si la suma es positiva, el correo se clasifica como spam; si es negativa, como no spam. El entrenamiento ajusta esos pesos con base en ejemplos etiquetados, y los valores finales reflejan la frecuencia con la que ciertas palabras indican spam en la base de entrenamiento. En redes más grandes, cada neurona tiene una capa de pesos que reflejan combinaciones de características anteriores.
Para qué sirve
Los pesos consumen memoria y definen la capacidad del modelo. Son lo que hace que un modelo se especialice en una tarea y lo que se comparte cuando se publica un modelo, para que otras personas puedan inferir sin entrenar desde cero. Los modelos con pesos abiertos permiten que la comunidad revise lo que el sistema aprendió y cree variaciones, como ajustes de dominio, sin empezar desde cero. El tamaño total de los pesos también influye en si el modelo cabe en una máquina local o necesita servidores de inferencia.
Diferencia entre X y Y
Los pesos se ajustan en el entrenamiento; la inferencia los usa tal cual. Cuantizar los pesos altera los valores numéricos, pero no el proceso de inferencia, el modelo produce la misma clase de salida, con menos precisión.