Rich Sutton reforça que compute sozinho não cria inteligência

O post repercutiu forte na comunidade de IA no X, sinal de que Sutton tocou num ponto sensível. Ele já havia criticado os limites de apenas escalar modelos de linguagem grandes, chamado dados sintéticos de "grande erro" e defendido agentes com world models que aprendem continuamente a partir da própria experiência. O novo texto reforça e organiza essas ideias.

O que Sutton quer dizer com compute sozinho não basta

Em "The Bitter Lesson", Sutton argumentou que métodos gerais que escalam com compute acabam vencendo abordagens sofisticadas feitas à mão. A lição era sobre a força do scaling. No novo texto, ele não nega isso, mas corrige uma leitura comum: scaling não significa jogar mais compute e esperar inteligência emergir.

A tese agora é que o mundo real é infinitamente complexo. A expertise humana vira gargalo e impede o scaling verdadeiro. É preciso descobrir ideias que crescem com o compute, em vez de depender de suposições humanas. Sem métodos novos, mais compute só repete o que já se sabe.

Por que dados sintéticos são um beco sem saída

Sutton já havia chamado dados sintéticos de "grande erro". O argumento é simples: o mundo real é infinitamente complexo, e qualquer simulação dele é apenas "microscópica". Modelos treinados em dados sintéticos aprendem um mundo simplificado, não o mundo de fato.

Isso tem consequência prática. Se a base de treino é uma cópia imperfeita da realidade, o modelo herda as limitações da cópia. Sutton defende que a IA precisa aprender do mundo real, continuamente, e não de uma fotografia estática dele.

World models e aprendizado contínuo

A proposta de Sutton é construir agentes com world models que aprendem continuamente a partir da própria experiência. O mundo é muito mais complexo do que o texto da internet captura, e os modelos de linguagem atuais não continuam aprendendo depois do treinamento.

O que falta é aprendizado contínuo sem destruir o conhecimento antigo. Hoje, quando um modelo aprende algo novo, tende a esquecer o que sabia. Resolver isso é, para Sutton, o próximo passo real da pesquisa.

Veja também como a METR avaliou a aceleração do desenvolvimento de IA na Anthropic e como a OpenAI cria padrão para infraestrutura de IA responsável.

Como a comunidade reagiu

Jerry Tworek, pesquisador que deixou a OpenAI para explorar novas abordagens de IA, contextualiza o ensaio. A bitter lesson ainda vale, mas quanto mais compute vai para o treinamento, mais o algoritmo importa. Alguns algoritmos escalam, outros batem em becos sem saída, e muitas dimensões de scaling ainda estão inexploradas. O sucesso temporário do scaling de transformers, combinado com uma leitura equivocada da bitter lesson, "hackeou o cérebro de uma geração inteira de cientistas".

Jayden Teoh aponta outro ângulo. Ele viu repetidamente a bitter lesson travar pesquisas acadêmicas, com ideias promissoras descartadas por se afastarem demais do espírito do ensaio. Na visão dele, isso não é culpa de Sutton, mas uma leitura equivocada da mensagem original.

O que muda para quem constrói com IA

Para quem usa IA no dia a dia, a mensagem é de cautela e de método. Modelos cada vez maiores continuam úteis, mas não são o fim da história. A próxima geração de sistemas vai depender de métodos de aprendizado contínuo, world models e agentes que interagem com o mundo real.

Enquanto isso não chega, o melhor é tratar o modelo como uma ferramenta poderosa, mas limitada. Dividir o trabalho em tarefas menores, validar resultados e não assumir que o modelo "sabe" o que está fazendo. Quem constrói produtos sobre IA deve planejar para a transição, não para a estagnação.

A lição prática para times de engenharia é clara: continue usando modelos grandes onde eles brilham, mas invista em avaliação, em dados de domínio e em fluxos que permitam trocar de modelo sem reescrever o produto. A próxima vantagem competitiva pode não ser o modelo maior, mas o sistema que aprende mais rápido com o feedback do mundo real.