Como funciona
A Constitutional AI, proposta pela Anthropic, usa uma lista de princípios (a "constituição") para guiar o modelo. O modelo gera respostas, depois as critica e revisa com base nos princípios, sem depender de humanos para cada exemplo.
O processo tem duas fases: aprendizado supervisionado com auto-crítica e aprendizado por reforço a partir de preferências geradas pelo próprio modelo (RLAIF). Na primeira fase, o modelo gera respostas, critica-as com base na constituição e produz versões revisadas. Na segunda, usa essas preferências para treinar via RL.
A constituição pode incluir princípios como: "Seja útil e honesto", "Não cause danos", "Respeite privacidade", "Evite estereótipos".
Exemplo prático
Princípios da constituição podem incluir: "Seja útil e honesto", "Não cause danos", "Respeite privacidade". O modelo gera uma resposta, identifica violações e reescreve.
Resposta inicial: (potencialmente problemática)
Crítica: viola o princípio de não causar danos
Revisão: (resposta corrigida)O modelo de recompensa no RLAIF é substituído por um modelo de IA que avalia preferências com base na constituição, reduzindo custos de anotação humana.
Para que serve
Alinhar modelos a valores humanos de forma escalável, reduzindo dependência de anotação humana massiva. É a base do treinamento de modelos como o Claude.
Limitações: a constituição pode ter lacunas ou vieses, e a auto-crítica depende da capacidade do modelo de avaliar suas próprias respostas.