La latencia es el tiempo transcurrido entre enviar una solicitud a un sistema y recibir la respuesta. En inteligencia artificial, la latencia es el tiempo de respuesta del modelo: cuánto tarda la IA en responder a una pregunta.

Cómo funciona

La latencia se mide en milisegundos (ms) y depende de varios factores: la distancia entre el cliente y el servidor, el tamaño del modelo, el número de tokens generados, la carga de procesamiento y la infraestructura de red.

Ejemplo práctico

Si envías una pregunta a un modelo de lenguaje y el modelo tarda 200 ms en generar la primera palabra, la latencia inicial es de 200 ms. Si el modelo genera 20 tokens a una tasa de 40 tokens por segundo, la latencia total será de 200 ms más los 500 ms de generación, totalizando 700 ms.

Para qué sirve

La latencia es crítica en aplicaciones interactivas, como chatbots, asistentes de voz, sistemas de recomendación e interfaces de usuario. Una latencia baja significa una respuesta más rápida y una mejor experiencia de usuario.

Términos relacionados

  • throughput: tasa de tokens generados por segundo
  • tiempo-de-respuesta: sinónimo de latencia
  • modelo-de-ia: sistema que genera respuestas

Cómo probar hoy

Consulta el modelo en la documentación oficial, que suele listar la latencia promedio en milisegundos para cada solicitud.

Preguntas frecuentes

  • ¿Cuál es la diferencia entre latencia y throughput? La latencia es el tiempo de respuesta de una solicitud; el throughput es la cantidad de tokens generados por segundo.
  • ¿Es normal una latencia muy alta? Una latencia muy alta puede indicar problemas de red, carga de servidores o un modelo lento.
  • ¿Cómo reducir la latencia? Usa modelos más rápidos, enrutamiento de tráfico, caché y una conectividad mejor.