Modelos open-source fecham a lacuna em cibersegurança

Como o AISI mediu a lacuna

O AISI usou duas metodologias. A primeira, chamada Narrow Cyber Tasks, avalia 70 tarefas em quatro níveis de dificuldade, cobrindo pesquisa de vulnerabilidades, engenharia reversa, exploração web e criptografia. A segunda, Cyber Ranges, testa capacidades autônomas em redes simuladas, como o cenário "The Last Ones", que simula um ataque de 32 etapas em uma rede corporativa com quatro sub-redes e cerca de 20 hosts.

No Narrow Cyber Tasks, o GLM-5.2, lançado em junho de 2026, performou no nível do Opus 4.6, lançado em fevereiro de 2026. Isso coloca o modelo open a cerca de 4 meses do fechado. O DeepSeek V4-Pro performou no nível do Opus 4.5, lançado em novembro de 2025, ou seja, 5 meses atrás. Na faixa dos Cyber Ranges, a lacuna é maior, cerca de 7 meses, mas o AISI trata essa comparação como evidência mais fraca por vir de menos cenários.

A comparação também usa o Cyber ECI, uma versão de cibersegurança do Epoch Capabilities Index. O GLM-5.3, o modelo open com maior pontuação, tem Cyber ECI 160, acima do GPT-5.4 (março de 2026), mas abaixo do Claude Mythos Preview e do GPT-5.5 (abril de 2026). Isso situa a fronteira open onde a fronteira fechada estava 6 a 7 meses antes.

Quais modelos lideram

Entre os modelos fechados, o GPT-6 Sol, parte do programa Daybreak de cibersegurança restrito da OpenAI, postou o melhor resultado no teste Vals, com 80,8% dos objetivos. O DeepSeek V4.1 Flash 1017, modelo open-weight freely available, ficou próximo, com 72,8%, a uma fração do custo: cerca de 3 dólares por execução contra 22 dólares do GPT-6 Sol.

Na tabela do AISI, o GPT-6 Sol Daybreak lidera com 27 de 31 objetivos no Lighthouse, seguido do DeepSeek V4.1 Flash com 21. O Meta Wonder aparece com 28 no Lighthouse mas apenas 7 no Nova. O Kimi K3.1 Pro marca 20 no Lighthouse e 13 no Nova.

A maioria dos modelos não faz progresso significativo até passar de 100 milhões de tokens. O DeepSeek marcou zero nos primeiros 25 milhões de tokens e fez a maior parte do progresso apenas depois de 100 milhões. Testes curtos, portanto, subestimam o potencial real dos modelos abertos.

Por que o custo importa tanto quanto o desempenho

O AISI mediu o custo de uma execução de 100 milhões de tokens em Cyber Range: 85 dólares com Opus 4.5 ou 4.6, 46 dólares com GLM-5.2 e apenas 1,19 dólar com DeepSeek V4-Pro. Para tarefas individuais que ambos os modelos resolvem de forma confiável, o Opus 4.6 custa 15 dólares por tarefa, o GLM-5.2 6 dólares, o Opus 4.5 12,50 dólares e o DeepSeek V4-Pro 28 centavos.

Isso torna ataques com modelos abertos baratos e fáceis de escalar. Além disso, as medidas de segurança dos modelos abertos se mostraram amplamente ineficazes. O DeepSeek V4-Pro às vezes recusava tarefas de engenharia reversa, mas bastava tentar novamente para contornar a restrição. Técnicas como treinamento de recusa são facilmente reversíveis com acesso aos pesos.