Inferência é o momento em que um modelo de IA já treinado é usado para produzir um resultado. Você envia um texto, uma imagem ou um dado, o modelo processa e devolve uma resposta. Tudo o que você faz em um chat de IA é inferência.

O treinamento é a fase em que o modelo aprende. A inferência é a fase em que ele trabalha.

Como funciona

Depois do treinamento, os parâmetros do modelo ficam fixos. Na inferência, esses parâmetros são carregados na memória de um servidor, normalmente com GPUs.

O processo segue alguns passos:

  1. Seu texto é dividido em pedaços chamados tokens.
  2. O modelo calcula qual é o próximo token mais provável.
  3. Esse token é adicionado à resposta e o ciclo se repete.
  4. A resposta termina quando o modelo decide parar ou atinge um limite.

Por isso você vê a resposta aparecendo palavra por palavra. Cada pedaço é uma nova rodada de cálculo.

Duas medidas importam bastante: a latência (quanto tempo até a resposta começar) e a vazão (quantos tokens por segundo o servidor entrega). Modelos maiores costumam ser mais lentos e mais caros de rodar.

Exemplo prático

Você tem um sistema que classifica e-mails de suporte. A cada e-mail novo, seu código chama uma API de IA e recebe a categoria. Cada chamada é uma inferência, e o custo normalmente é cobrado por quantidade de tokens.

Terminal
curl https://api.exemplo.com/v1/chat \
  -H "Authorization: Bearer $CHAVE" \
  -d '{"input": "Cliente pede reembolso do pedido 123"}'

Se você roda um modelo aberto na sua própria máquina, também faz inferência, só que usando seu hardware em vez do servidor de um fornecedor.

Para que serve entender inferência

Saber o que é inferência ajuda a controlar custo e desempenho:

  • Custo: em produto com muito uso, a inferência pesa mais que o treinamento.
  • Velocidade: respostas rápidas melhoram a experiência do usuário.
  • Escolha de modelo: um modelo menor pode bastar para tarefas simples.
  • Privacidade: rodar localmente evita enviar dados a terceiros.

Diferença entre treinamento e inferência

Treinamento ajusta o modelo usando muitos dados e leva muito tempo e energia. Inferência apenas usa o modelo pronto para responder. Você, como desenvolvedor, quase sempre paga e otimiza inferência, e não treinamento.

Técnicas como cache de prompts, quantização e modelos menores ajudam a reduzir o custo de inferência sem perder muita qualidade. Vale testar com o seu caso real antes de decidir.