Code2Video-AA compara 27 modelos em vídeos com código

O benchmark analisou 27 modelos em 114 briefs de design. Em vez de gerar um arquivo de vídeo diretamente, cada modelo escreve uma composição HTML que passa por um renderizador antes da avaliação.

Como o Code2Video-AA transforma briefs em vídeos

O Code2Video-AA é a implementação da Artificial Analysis para o conjunto público do Code2Video Bench, criado pela HeyGen. Cada brief descreve uma peça curta de produto ou marca, e o modelo produz uma composição em HTML com HyperFrames.

O frame acima mostra uma saída de exemplo do conjunto. O fluxo descrito pela equipe envia um brief e as instruções do benchmark ao modelo em uma chamada, sem ferramentas; depois, o código é renderizado em vídeo para avaliação.

Essa distinção muda o que está sendo medido. O teste inclui a capacidade de seguir instruções visuais, escrever a composição e produzir uma saída que o renderizador consiga executar. Ele não mede apenas a qualidade de um vídeo pronto recebido como entrada.

O leaderboard atual do Code2Video-AA

No leaderboard publicado em 26 de outubro, Claude Opus 5.5 lidera com 1536 pontos Elo e aparece à frente nos cinco eixos avaliados. A segunda posição é de Claude Sonnet 5.5, com GPT-6 Astra logo atrás.

A distância entre o primeiro e o segundo lugar é de 93 pontos. A Artificial Analysis informa que Opus 5.5 também lidera cada eixo, com sua maior vantagem em craft e a menor em prompt intent, ambas comparadas a Sonnet 5.5.

O Elo é uma medida relativa dentro deste benchmark, não uma porcentagem de acerto nem uma nota universal de qualidade. A página ancora GPT-5.5 no modo xhigh em 1000 pontos e define que valores maiores indicam posição superior nesta comparação.

Para conferir a lista completa e o estado atual, consulte o leaderboard oficial do Code2Video-AA. Versões, configurações e data do conjunto importam ao comparar números publicados em momentos diferentes.

O que a taxa de renderização revela

Dos 3078 resultados possíveis, 3042 foram renderizados, uma taxa de 98,8%. Oito dos 27 modelos conseguiram renderizar as 114 tarefas completas.

GLM-5.3 no modo max teve a menor taxa, com 110 renderizações em 114 tarefas. Os três modelos na parte inferior renderizaram entre 111 e 113 vídeos, e a equipe atribui a maior parte da diferença de Elo aos julgamentos das saídas que conseguiram renderizar.

Uma falha de renderização impede que o juiz avalie o vídeo daquela tarefa. Por isso, a taxa técnica de sucesso e a avaliação visual precisam ser lidas separadamente: um código que não roda perde a comparação, mesmo que a ideia descrita no brief pareça correta.

O que o Code2Video-AA não prova

O conjunto público contém 114 briefs e cobre vídeos curtos de produto e marca. Ele é útil para comparar modelos nessa tarefa delimitada, mas não representa todo tipo de edição, duração, identidade visual ou fluxo de produção audiovisual.

A execução é uma avaliação independente da Artificial Analysis em hardware dedicado, mas continua sendo uma única implementação com um conjunto específico de instruções e renderizador. O resultado não garante a mesma ordem em outra ferramenta, em outro brief ou com revisão humana diferente.

Os briefs vêm da parte pública do Code2Video Bench da HeyGen, licenciada sob Creative Commons Attribution 4.0. A página da Artificial Analysis também deixa exemplos de vídeos gerados pelos modelos, o que permite inspecionar saídas concretas além da pontuação agregada.

Como testar o Code2Video-AA hoje

Abra o leaderboard do Code2Video-AA e escolha alguns briefs que tenham relação com o formato que você quer produzir. Compare os vídeos do mesmo brief e observe o resultado renderizado, não apenas a posição do modelo.

Se for avaliar modelos no seu próprio fluxo, mantenha iguais o prompt, o tamanho da saída e o renderizador. Registre qual modelo e configuração usou, quando rodou o teste e se a composição foi renderizada. Assim, uma falha técnica não se mistura com uma avaliação visual baixa.

Use critérios que correspondam ao seu objetivo. Uma peça para divulgar um produto pode exigir aderência à marca; um tutorial curto pode exigir instruções claras; uma animação com vários elementos pode depender de consistência temporal. O ranking ajuda a escolher candidatos, mas o teste com o seu brief decide se o resultado serve.

Esse cuidado vale para outros rankings também. No CursorBench 4.0 com DeepSeek V4.1 Flash, o contexto é edição de código dentro do Cursor. Já o Terminal-Bench 4.0 com Kimi K3.1 Pro mede tarefas de agente em terminal. Cada placar responde a uma pergunta diferente.