O throughput é a taxa de unidades processadas por unidade de tempo, geralmente medida em tokens por segundo, requisições por minuto ou itens completos por hora. Na inteligencia artificial, o throughput indica a quantidade de tokens que o modelo gera por segundo.
Como funciona
O throughput é medida em tokens por segundo, requisições por minuto ou casos de uso por hora, dependendo do caso de uso. Ele depende de: tamanho do modelo, numero de GPUs, latencia de rede, tamanho do batch e otimizacao de infraestrutura. Modelos maiores e latência maior reduzem o throughput, enquanto GPUs maiores e infraestrutura melhor aumentam a taxa de processamento.
Exemplo pratico
Um modelo que gera 50 tokens por segundo gera 3000 tokens em minutos. Um sistema que atende 100 usuarios por minuto com um modelo que le 2segundos por solicitacao consegue 30 solicitacoes por minuto (rate-limitada). Se a taxa de sucesso for de 80%, apenas 24 solicitacoes por minuto são processadas com sucesso.
Para que serve
O throughput é critico para: chatbots com alta demanda, sistemas de processamento em batch de dados, servidores de AI, aplicativos web e APIs de IA. Alta taxa de throughput significa que o sistema pode atender mais usuarios com menos recursos, mas pode aumentar a carga do modelo e a latência.
Termos relacionados
- latencia: tempo de resposta de uma solicitação
- tokens por segundo: medida de throughput de modelos de linguagem
- modelo-de-ia: sistema que gera respostas
Como testar hoje
Medir o throughput do modelo na documentação ou rodando um script de benchmark, enviando N solicitacoes ao modelo e registrando a taxa de conclusão e taxa de tokens no log, por exemplo, com uma requisição paralela a cada 2 segundos.
Perguntas frequentes
- O que é throughput em IA? E a taxa de unidades processadas por unidade de tempo, geralmente tokens por segundo para modelos de linguagem.
- Qual a diferenca entre throughput e latência? Throughput é a quantidade de trabalho feito por unidade de tempo; latência é o tempo de resposta de uma solicitação. São métricas complementares: um modelo pode ter alta throughput mas alta latência individual.
- Como aumentar o throughput? Use modelos menores ou de menor complexidade, aumente o tamanho do batch, utilize múltiplos servidores, otimize a infraestrutura de rede, alinhe a arquitetura de processamento e use inferência otimizada.