El throughput es la tasa de unidades procesadas por unidad de tiempo, generalmente medida en tokens por segundo, solicitudes por minuto o ítems completos por hora. En inteligencia artificial, el throughput indica la cantidad de tokens que el modelo genera por segundo.

Como funciona

El throughput se mide en tokens por segundo, solicitudes por minuto o casos de uso por hora, dependiendo del caso de uso. Depende de: tamaño del modelo, número de GPUs, latencia de red, tamaño del batch y optimización de infraestructura. Los modelos más grandes y una latencia mayor reducen el throughput, mientras que GPUs más grandes y una infraestructura mejor aumentan la tasa de procesamiento.

Exemplo pratico

Un modelo que genera 50 tokens por segundo genera 3000 tokens en un minuto. Un sistema que atiende 100 usuarios por minuto con un modelo que tarda 2 segundos por solicitud logra 30 solicitudes por minuto (rate limited). Si la tasa de éxito es del 80%, solo 24 solicitudes por minuto se procesan con éxito.

Para que serve

El throughput es crítico para: chatbots con alta demanda, sistemas de procesamiento en batch de datos, servidores de IA, aplicaciones web y APIs de IA. Una tasa alta de throughput significa que el sistema puede atender a más usuarios con menos recursos, pero puede aumentar la carga del modelo y la latencia.

Termos relacionados

  • latencia: tiempo de respuesta de una solicitud
  • tokens por segundo: medida de throughput de modelos de lenguaje
  • modelo-de-ia: sistema que genera respuestas

Como testar hoje

Medir el throughput del modelo en la documentación o ejecutando un script de benchmark, enviando N solicitudes al modelo y registrando la tasa de conclusión y la tasa de tokens en el log, por ejemplo, con una solicitud paralela cada 2 segundos.

Perguntas frequentes

  • ¿Qué es el throughput en IA? Es la tasa de unidades procesadas por unidad de tiempo, generalmente tokens por segundo para modelos de lenguaje.
  • ¿Cuál es la diferencia entre throughput y latencia? El throughput es la cantidad de trabajo hecho por unidad de tiempo; la latencia es el tiempo de respuesta de una solicitud. Son métricas complementarias: un modelo puede tener alto throughput pero alta latencia individual.
  • ¿Cómo aumentar el throughput? Usa modelos más pequeños o de menor complejidad, aumenta el tamaño del batch, utiliza múltiples servidores, optimiza la infraestructura de red, alinea la arquitectura de procesamiento y usa inferencia optimizada.