NVIDIA mostra TensorRT Edge-LLM no DGX Spark

Imagem: NVIDIA

Em 30 de outubro de 2026, às 17h33 no horário de Brasília, a NVIDIA publicou um guia para executar modelos de IA no DGX Spark com TensorRT Edge-LLM. O exemplo usa o Nemotron 3.5 Lightning e mostra como servir uma API local.

O material interessa a quem prototipa aplicações com IA embarcada. Ele descreve o caminho entre baixar um modelo, criar um mecanismo de inferência otimizado e enviar prompts pelo terminal ou por uma API compatível com OpenAI.

Não é um novo modelo, um anúncio de disponibilidade do DGX Spark nem uma API hospedada. É um tutorial técnico da NVIDIA, acompanhado de medições de desempenho feitas pela própria empresa em um cenário definido.

O que a NVIDIA publicou sobre TensorRT Edge-LLM

A publicação descreve TensorRT Edge-LLM como um runtime de inferência em C++ voltado a cargas embarcadas. Runtime é a camada que carrega o modelo e executa suas operações durante o uso, neste caso com otimizações da plataforma NVIDIA.

O tutorial usa a interface de linha de comando trtedge. Ela baixa o modelo indicado e prepara um mecanismo TensorRT otimizado para inferência no DGX Spark. Assim, a pessoa que desenvolve pode experimentar um modelo e testar uma aplicação antes de migrar o fluxo para um dispositivo de borda compatível.

O exemplo é de texto. A NVIDIA escolheu o checkpoint Nemotron 3.5 Lightning NVFP4, disponível no Hugging Face, e demonstra uma conversa simples no terminal. O nome completo do artefato é NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4.

Essa proposta é diferente de apenas chamar um modelo remoto por uma API. O primeiro teste acontece no próprio equipamento, o que permite estudar o comportamento da inferência local e a integração do serviço com o software em desenvolvimento.

A abordagem também conversa com o interesse em modelos que podem ser executados fora de uma API fechada. No blog, explicamos como a Mistral abriu os pesos do Large 4 para tarefas de código, outro exemplo de modelos e ferramentas voltados a fluxos próprios.

Como DGX Spark conecta protótipo e dispositivo de borda

O DGX Spark citado no guia tem configuração de 64 GB e é apresentado pela NVIDIA como uma estação compacta para prototipar, ajustar e testar modelos e agentes. O tutorial usa esse sistema como ambiente de desenvolvimento, não como substituto universal para qualquer servidor ou equipamento embarcado.

O TensorRT Edge-LLM também é descrito como uma base para desenvolver no DGX Spark e implantar em plataformas compatíveis, como Jetson Thor, DRIVE AGX Thor e IGX Thor. Isso pode reduzir a distância entre o protótipo e o dispositivo de destino, mas não elimina a necessidade de validar cada combinação de hardware, software e modelo.

A imagem oficial da página de produto do DGX Spark da NVIDIA mostra computadores compactos da família em diferentes acabamentos. Ela ajuda a visualizar a classe de equipamento usada no exemplo, mas não representa uma medição de desempenho nem garante que todas as configurações tenham o mesmo resultado.

A parceria entre Mistral e NVIDIA em ferramentas de engenharia com IA mostra outra aplicação do stack NVIDIA.

Requisitos do guia e o que o trtedge CLI faz

O ambiente descrito requer CUDA 13, TensorRT 10.16.1.11 ou uma versão posterior da série 10.x, e Python entre as versões 3.10 e 3.12. A NVIDIA informa que o exemplo foi testado com TensorRT Edge-LLM 0.11.1 e TensorRT 10.16.1.11.

Na primeira execução, o download do modelo ocupa aproximadamente 21 GB, além do espaço para o mecanismo de inferência. Os arquivos ficam em cache e mecanismos compatíveis podem ser reutilizados em execuções posteriores.

Como testar hoje no DGX Spark

O caminho documentado exige um DGX Spark com a pilha de software suportada. A página da NVIDIA inclui a instalação do pacote, uma verificação de dependências, o início da conversa e o comando para servir o modelo localmente. Confira a documentação oficial do TensorRT Edge-LLM antes de reproduzir os passos, porque versões e modelos compatíveis podem mudar.

No exemplo, o servidor escuta em 127.0.0.1 na porta 8000. Isso mantém a demonstração no próprio equipamento. A publicação não descreve autenticação, acesso remoto ou uma implantação de produção, então não se deve tratar o exemplo local como uma API pronta para exposição pública.

O que as medições de Nemotron mostram e o que não provam

A NVIDIA compara a geração normal com DSpark, uma forma de decodificação especulativa. Nesse método, um modelo de rascunho propõe tokens e o modelo principal verifica várias propostas em uma passagem. A empresa testou três tokens especulativos.

Nos prompts do HumanEval, a velocidade média informada passou de 73,4 para 126,9 tokens por segundo com DSpark ativado. O tempo mediano até o primeiro token passou de 98,1 para 98,7 milissegundos. A métrica de geração exclui o tempo até o primeiro token, portanto as duas medidas descrevem etapas diferentes da resposta.

A tabela abaixo reproduz os valores da publicação da NVIDIA. Os resultados são do fabricante, não de uma avaliação independente, e não devem ser lidos como promessa para outros modelos, prompts ou dispositivos.

A medição foi feita no DGX Spark de 64 GB com DGX OS 7.6.0, tamanho de lote um, uma solicitação de streaming simultânea, saída limitada a 128 tokens e raciocínio habilitado. A memória total de sistema chegou a 27,9 GB com DSpark, incluindo o sistema operacional.