Como funciona

Streaming de resposta é o envio da saída do modelo à medida que ela é gerada, token por token, em vez de entregar tudo de uma vez no final. O servidor usa uma conexão persistente (geralmente SSE ou WebSocket) e envia cada fragmento assim que o modelo o produz.

Do ponto de vista do usuário, a primeira palavra aparece em milissegundos, e o texto vai se completando na tela. Isso melhora muito a experiência, mesmo que o tempo total de geração seja o mesmo.

Exemplo prático

Em uma chamada de API de chat, você ativa o modo streaming passando um parâmetro. A resposta chega como uma sequência de eventos:

Terminal
curl https://api.exemplo.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -d '{"model":"gpt-4o","stream":true,"messages":[{"role":"user","content":"Explique LoRA"}]}'

Cada linha do stream traz um fragmento de texto. Seu código vai acumulando e exibindo na interface. Métricas como time to first token (TTFT) medem quanto tempo leva até o primeiro fragmento aparecer.

Para que serve

Streaming serve para melhorar a percepção de velocidade em interfaces de chat, assistentes e copilotos. É essencial em produtos onde o usuário espera resposta rápida. Também permite cancelar a geração no meio, economizando tokens e custo quando a resposta já é suficiente.