A latencia e o tempo decorrido entre enviar uma solicitacao a um sistema e receber a resposta. Na inteligencia artificial, a latencia e o tempo de resposta do modelo: de quanto tempo leva para a IA responder a uma pergunta.
Como funciona
A latencia e medida em milissegundos (ms) e depende de varios fatores: a distancia entre o cliente e o servidor, o tamanho do modelo, o numero de tokens gerados, a carga de processamento e a infrestructura de rede.
Exemplo pratico
Se você enviar uma pergunta a um modelo de linguagem e o modelo demorar 200ms para gerar a primeirapalavra, a latencia inicial e 200ms. Se o modelo gerar 20 tokens a uma taxa de 40 tokens por segundo, a latencia total sera de 200ms mais os 500ms de geracao, totalizando 700ms.
Para que serve
A latencia e critica em aplicacoes interativas, como chatbots, assistentes de voce, sistemas de recomendacao e interfaces de usuario. Baixa latencia significa resposta mais rapida e melhor experiencia do usuario.
Termos relacionados
- throughput: taxa de tokens gerados por segundo
- tempo-de-resposta: sinônimo de latencia
- modelo-de-ia: sistema que gera respostas
Como testar hoje
Consulte o modelo na documentacao oficial, que geralmente lista a latencia média em milissegundos para cada solicitação.
Perguntas frequentes
- Qual a diferenca entre latencia e throughput? Latencia e o tempo de resposta de uma solicitacao; throughput e a quantidade de tokens gerados por segundo.
- Latencia muito alta e normal? A latencia muito alta pode indicar problemas de rede, carga de servidores ou modelo lento.
- Como reduzir a latencia? Use modelos mais rapidos, roteamento de tráfego, cache e conectividade melhor.