Inferência é o momento em que um modelo de IA já treinado é usado para produzir um resultado. Você envia um texto, uma imagem ou um dado, o modelo processa e devolve uma resposta. Tudo o que você faz em um chat de IA é inferência.
O treinamento é a fase em que o modelo aprende. A inferência é a fase em que ele trabalha.
Como funciona
Depois do treinamento, os parâmetros do modelo ficam fixos. Na inferência, esses parâmetros são carregados na memória de um servidor, normalmente com GPUs.
O processo segue alguns passos:
- Seu texto é dividido em pedaços chamados tokens.
- O modelo calcula qual é o próximo token mais provável.
- Esse token é adicionado à resposta e o ciclo se repete.
- A resposta termina quando o modelo decide parar ou atinge um limite.
Por isso você vê a resposta aparecendo palavra por palavra. Cada pedaço é uma nova rodada de cálculo.
Duas medidas importam bastante: a latência (quanto tempo até a resposta começar) e a vazão (quantos tokens por segundo o servidor entrega). Modelos maiores costumam ser mais lentos e mais caros de rodar.
Exemplo prático
Você tem um sistema que classifica e-mails de suporte. A cada e-mail novo, seu código chama uma API de IA e recebe a categoria. Cada chamada é uma inferência, e o custo normalmente é cobrado por quantidade de tokens.
curl https://api.exemplo.com/v1/chat \
-H "Authorization: Bearer $CHAVE" \
-d '{"input": "Cliente pede reembolso do pedido 123"}'Se você roda um modelo aberto na sua própria máquina, também faz inferência, só que usando seu hardware em vez do servidor de um fornecedor.
Para que serve entender inferência
Saber o que é inferência ajuda a controlar custo e desempenho:
- Custo: em produto com muito uso, a inferência pesa mais que o treinamento.
- Velocidade: respostas rápidas melhoram a experiência do usuário.
- Escolha de modelo: um modelo menor pode bastar para tarefas simples.
- Privacidade: rodar localmente evita enviar dados a terceiros.
Diferença entre treinamento e inferência
Treinamento ajusta o modelo usando muitos dados e leva muito tempo e energia. Inferência apenas usa o modelo pronto para responder. Você, como desenvolvedor, quase sempre paga e otimiza inferência, e não treinamento.
Técnicas como cache de prompts, quantização e modelos menores ajudam a reduzir o custo de inferência sem perder muita qualidade. Vale testar com o seu caso real antes de decidir.