O que é GGUF? Significado e exemplos

O que é GGUF?

GGUF (GGUF, GPT-Generated Unified Format, formato GGUF, GGUF quantizado, modelo GGUF): Formato de arquivo para armazenar modelos de IA de forma otimizada para inferência local, popularizado pelo llama.cpp. Suporta quantização (4, 5, 8 bits) e metadados, permitindo rodar modelos grandes em CPU ou GPU modesta.

Atualizado em 10/11/2026 · Por Marcelo Santiago

Como funciona

GGUF (GPT-Generated Unified Format) é um formato binário para armazenar pesos de modelos de IA, criado para o projeto llama.cpp. Ele substitui o formato anterior (GGML) e adiciona suporte a metadados, múltiplas quantizações e melhor organização.

Um arquivo GGUF contém: os pesos do modelo (quantizados ou não), metadados (nome, arquitetura, parâmetros de tokenização) e informações de quantização. Tudo em um único arquivo, fácil de distribuir e carregar.

O formato é otimizado para inferência em CPU e GPU, com suporte a mmap (memory mapping), que permite carregar o modelo sem copiar para a RAM. Isso reduz o tempo de inicialização e o uso de memória.

Exemplo prático

No Hugging Face, você encontra modelos como "Llama-3.1-8B-Instruct-GGUF" com várias variantes: Q4_K_M (4 bits, médio), Q5_K_M (5 bits, médio), Q8_0 (8 bits). Você baixa o arquivo .gguf correspondente e roda com llama.cpp, Ollama ou LM Studio.

Com um arquivo Q4_K_M de 4.9 GB, você roda um modelo de 8 bilhões de parâmetros em um laptop com 8 GB de RAM, sem GPU. A qualidade é ligeiramente inferior ao modelo original em 16 bits, mas a velocidade e o custo compensam.

Para que serve

Serve para distribuir e rodar modelos de IA localmente, em hardware modesto. É o formato padrão para inferência local e para experimentação com modelos abertos.

Diferença entre GGUF e outros formatos

GGUF é otimizado para inferência (llama.cpp, Ollama). Formatos como Safetensors ou PyTorch (.bin/.pt) são otimizados para treinamento e pesquisa. GGUF suporta quantização nativa; Safetensors não. Para rodar localmente, GGUF é o padrão; para treinar ou fine-tunar, use Safetensors.

Extensão para VS Code

Gostou da definição de GGUF? Aplique na prática com IA

Orquestre squads de agentes (Claude, OpenCode, Codex, Antigravity e muito mais) no VS Code com total controle, git worktrees isoladas e suas próprias APIs ou assinaturas sem custos intermediários.

Multi-agentes paralelosAPIs ou assinaturasAgentes para multitarefas

Conhecer o bridgecode

Perguntas frequentes sobre GGUF

GGUF é o mesmo que GGML?

Não. GGUF substituiu o GGML em 2023. GGUF adiciona metadados, melhor organização e suporte a quantizações mais avançadas. GGML é considerado legado.

Posso converter qualquer modelo para GGUF?

Sim, usando ferramentas como llama.cpp (convert.py). Modelos no formato Hugging Face (Safetensors) podem ser convertidos para GGUF com diferentes níveis de quantização.

GGUF roda em GPU?

Sim. llama.cpp suporta offloading de camadas para GPU (CUDA, Metal, Vulkan). Você pode rodar parte do modelo na GPU e parte na CPU, dependendo da VRAM disponível.