Cómo funciona
La Constitutional AI, propuesta por Anthropic, utiliza una lista de principios (la "constitución") para guiar al modelo. El modelo genera respuestas, luego las critica y revisa basándose en los principios, sin depender de humanos para cada ejemplo.
El proceso tiene dos fases: aprendizaje supervisado con auto-crítica y aprendizaje por refuerzo a partir de preferencias generadas por el propio modelo (RLAIF). En la primera fase, el modelo genera respuestas, las critica basándose en la constitución y produce versiones revisadas. En la segunda, usa esas preferencias para entrenar mediante RL.
La constitución puede incluir principios como: "Sé útil y honesto", "No causes daño", "Respeta la privacidad", "Evita estereotipos".
Ejemplo práctico
Los principios de la constitución pueden incluir: "Sé útil y honesto", "No causes daño", "Respeta la privacidad". El modelo genera una respuesta, identifica violaciones y la reescribe.
Resposta inicial: (potencialmente problemática)
Crítica: viola o princípio de não causar danos
Revisão: (resposta corrigida)El modelo de recompensa en RLAIF es reemplazado por un modelo de IA que evalúa preferencias basándose en la constitución, reduciendo costos de anotación humana.
Para qué sirve
Alinear modelos a valores humanos de forma escalable, reduciendo la dependencia de anotación humana masiva. Es la base del entrenamiento de modelos como Claude.
Limitaciones: la constitución puede tener lagunas o sesgos, y la auto-crítica depende de la capacidad del modelo para evaluar sus propias respuestas.