Como funciona
Em aplicações de IA, a latência de rede soma o tempo de envio do prompt, processamento no servidor e retorno da resposta. Fatores incluem distância física, qualidade da conexão e carga do servidor.
Para agentes que fazem múltiplas chamadas de API, a latência se acumula. Um agente que faz 5 chamadas sequenciais com 200ms de latência cada terá pelo menos 1 segundo de espera só de rede.
Latência não é o mesmo que throughput. Latência é o tempo de uma requisição. Throughput é quantas requisições por segundo o sistema processa. Um sistema pode ter alta latência e alto throughput (processa muitas requisições, mas cada uma demora).
Exemplo pratico
Um agente de código que faz 5 chamadas sequenciais a uma API com 200ms de latência cada terá pelo menos 1 segundo de espera só de rede. Reduzir latência (usando servidores mais próximos ou chamadas paralelas) melhora a experiência.
Para chatbots em tempo real, latência alta causa experiência ruim. O usuário digita e espera vários segundos pela resposta. Soluções incluem streaming (enviar tokens conforme são gerados), cache de respostas e servidores geograficamente próximos.
Para que serve
Otimizar aplicações de IA, escolher regiões de deploy e projetar agentes eficientes. Entender latência ajuda a decidir entre API remota e modelo local, e a projetar fluxos que minimizam chamadas sequenciais.
Para desenvolvedores, isso significa medir latência em produção e otimizar pontos de gargalo. Para arquitetos, significa escolher infraestrutura com base em requisitos de tempo de resposta.
Diferenca entre latência e throughput
Latência é o tempo para uma única requisição ir e voltar. Throughput é quantas requisições o sistema processa por segundo. Um sistema pode ter baixa latência e baixo throughput (responde rápido, mas poucas requisições). Ou alta latência e alto throughput (demora, mas processa muitas ao mesmo tempo).
Em IA, batching aumenta throughput mas pode aumentar latência (a requisição espera o batch ser formado). Streaming reduz a latência percebida (o usuário vê tokens conforme são gerados) sem mudar a latência total.