Cómo funciona
RLHF, o Reinforcement Learning from Human Feedback, es una técnica de entrenamiento usada para alinear modelos de lenguaje con lo que los humanos consideran buenas respuestas. El proceso tiene tres etapas. Primero, el modelo genera varias respuestas para una misma pregunta. Luego, evaluadores humanos ordenan esas respuestas de mejor a peor. Con esos datos se entrena un modelo de recompensa que aprende a predecir la preferencia humana. Finalmente, el modelo original se ajusta usando aprendizaje por refuerzo para maximizar la recompensa prevista.
El resultado es un modelo que responde de forma más natural, útil y segura, evitando respuestas ofensivas o inútiles. La mayoría de los modelos de chat actuales, como ChatGPT y Claude, pasan por RLHF.
La técnica tiene costos: requiere evaluadores humanos entrenados, es lenta y puede introducir los sesgos de los anotadores en el modelo final. También puede causar reward hacking, donde el modelo aprende a maximizar la puntuación sin mejorar realmente la calidad. Variantes como RLAIF surgieron para escalar el proceso.
Mitigar reward hacking exige monitoreo continuo, validación en datos no vistos y comparación con métricas objetivas además de la puntuación del modelo de recompensa.
Ejemplo práctico
Imagina un modelo que, preguntado cómo cocinar un huevo, responde con una receta confusa o con instrucciones peligrosas. Con RLHF, los evaluadores humanos prefieren la respuesta clara y segura. El modelo aprende esa preferencia y pasa a responder de forma más adecuada en casos similares.
Para qué sirve
RLHF es fundamental para transformar un modelo base en un asistente útil. Sin esta etapa, el modelo puede generar texto correcto pero poco alineado con lo que el usuario espera. Es también una de las técnicas centrales en la discusión sobre alineación y seguridad de IA.
En bridgecode, entender RLHF ayuda a elegir modelos: los modelos que pasaron por RLHF tienden a ser más predecibles y seguros para uso en agentes que actúan de forma autónoma.