Cómo funciona

El streaming de respuesta es el envío de la salida del modelo a medida que se genera, token por token, en lugar de entregarlo todo de una vez al final. El servidor usa una conexión persistente, generalmente SSE o WebSocket, y envía cada fragmento en cuanto el modelo lo produce.

Desde el punto de vista del usuario, la primera palabra aparece en milisegundos y el texto se va completando en pantalla. Esto mejora mucho la experiencia, aunque el tiempo total de generación sea el mismo.

Ejemplo práctico

En una llamada a la API de chat, activas el modo streaming pasando un parámetro. La respuesta llega como una secuencia de eventos:

Terminal
curl https://api.exemplo.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -d '{"model":"gpt-4o","stream":true,"messages":[{"role":"user","content":"Explique LoRA"}]}'

Cada línea del stream trae un fragmento de texto. Tu código lo va acumulando y mostrando en la interfaz. Métricas como time to first token (TTFT) miden cuánto tiempo tarda en aparecer el primer fragmento.

Para qué sirve

El streaming sirve para mejorar la percepción de velocidad en interfaces de chat, asistentes y copilotos. Es esencial en productos donde el usuario espera una respuesta rápida. También permite cancelar la generación a mitad de camino, ahorrando tokens y costo cuando la respuesta ya es suficiente.