Cómo funciona
En aplicaciones de IA, la latencia de red suma el tiempo de envío del prompt, procesamiento en el servidor y retorno de la respuesta. Factores incluyen distancia física, calidad de la conexión y carga del servidor.
Para agentes que hacen múltiples llamadas de API, la latencia se acumula. Un agente que hace 5 llamadas secuenciales con 200ms de latencia cada tendrá al menos 1 segundo de espera solo de red.
Latencia no es lo mismo que throughput. Latencia es el tiempo de una petición. Throughput es cuántas peticiones por segundo procesa el sistema. Un sistema puede tener alta latencia y alto throughput, procesa muchas peticiones, pero cada una tarda.
Ejemplo práctico
Un agente de código que hace 5 llamadas secuenciales a una API con 200ms de latencia cada tendrá al menos 1 segundo de espera solo de red. Reducir latencia, usando servidores más cercanos o llamadas paralelas, mejora la experiencia.
Para chatbots en tiempo real, latencia alta causa mala experiencia. El usuario escribe y espera varios segundos por la respuesta. Soluciones incluyen streaming, enviar tokens conforme se generan, caché de respuestas y servidores geográficamente cercanos.
Para qué sirve
Optimizar aplicaciones de IA, elegir regiones de despliegue y diseñar agentes eficientes. Entender latencia ayuda a decidir entre API remota y modelo local, y a diseñar flujos que minimicen llamadas secuenciales.
Para desarrolladores, esto significa medir latencia en producción y optimizar puntos de cuello de botella. Para arquitectos, significa elegir infraestructura con base en requisitos de tiempo de respuesta.
Diferencia entre latencia y throughput
Latencia es el tiempo para que una única petición vaya y vuelva. Throughput es cuántas peticiones el sistema procesa por segundo. Un sistema puede tener baja latencia y bajo throughput, responde rápido, pero pocas peticiones. O alta latencia y alto throughput, tarda, pero procesa muchas al mismo tiempo.
En IA, el batching aumenta throughput pero puede aumentar latencia, la petición espera a que se forme el batch. Streaming reduce la latencia percibida, el usuario ve tokens conforme se generan, sin cambiar la latencia total.