Nanbeige4.3-33B: resultados em benchmarks de agentes

Os números são uma avaliação da própria equipe. O cartão compara quatro modelos e informa o mesmo harness e os mesmos hiperparâmetros para cada teste, com o maior nível de raciocínio.

O que a equipe Nanbeige comparou

Os quatro modelos são Nanbeige4.3-33B, Qwen3.8-27B, Muse-Glimmer-30B e Gemma4-31B, todos na faixa próxima de 30 bilhões de parâmetros, segundo o cartão do modelo.

Benchmark é uma avaliação com tarefas e critérios definidos. O harness reúne as instruções, ferramentas e regras usadas para executar os testes.

A equipe afirma que usou os mesmos hiperparâmetros e o mesmo harness por benchmark e que testou todos os modelos no maior nível de raciocínio. A tabela é um recorte da avaliação da equipe, não um ranking global de todos os modelos.

Resultados do Nanbeige4.3-33B em testes de agentes

Crédito: Nanbeige no Hugging Face.

O gráfico e a tabela do cartão divergem em dois valores. Para evitar escolher um dado sem confirmação, a tabela abaixo traz seis testes em que as duas partes coincidem.

No mesmo cartão, o valor de Gemma4-31B no NL2Repo aparece como 33.7 no gráfico e 33.8 na tabela. Para Muse-Glimmer-30B no JobBench, o gráfico mostra 18.3 e a tabela 16.6.

A documentação informa que Terminal-Bench 2.1 usa Terminus 2. Já Terminal-Bench 4.0 e DeepSWE usam mini-swe-agent v2.4.6. O setup faz parte da leitura dos resultados.

Para ver outros testes, compare o resultado do Kimi K3.1 Pro no Terminal-Bench 4.0 e a avaliação do Qwen3.8-27B no ThinkingBox-Bench.

O que os resultados do Nanbeige4.3-33B não provam

Os números vêm da avaliação publicada pela própria equipe Nanbeige e cobrem quatro modelos escolhidos para essa comparação. Eles não substituem uma validação independente nem mostram qual modelo será melhor em toda tarefa de programação.

Os resultados servem como sinal para testes próprios. Antes de escolher, confira a versão, as instruções, as ferramentas e o harness usados em cada benchmark.