Cómo funciona
La observabilidad de LLM es el conjunto de prácticas y herramientas que permiten entender qué hace un modelo de lenguaje en producción. Va más allá del monitoreo tradicional (CPU, memoria) y se enfoca en métricas específicas de IA.
Las métricas principales son: latencia (tiempo hasta la primera respuesta y tiempo total), costo por solicitud (tokens de entrada y salida), tasa de error, calidad de las respuestas (evaluada por heurísticas o por otro modelo) y patrones de uso (qué prompts son más frecuentes).
La técnica central es el tracing: cada llamada al modelo genera un trace con el prompt, la respuesta, los tokens consumidos, la latencia y metadatos. Herramientas como LangSmith, Helicone o Phoenix agrupan esos traces y permiten buscar, filtrar y analizar.
Ejemplo práctico
Imagina un chatbot de atención que empieza a responder de forma inconsistente. Sin observabilidad, solo sabes que "algo salió mal". Con tracing, ves que los prompts con más de 4 mil tokens tienen latencia 3x mayor y que el 12% de las respuestas contienen alucinación (detectada por un evaluador automático).
Con esos datos, puedes reducir el contexto, cambiar de modelo o agregar validación. Sin observabilidad, esos problemas permanecen invisibles hasta que el usuario se queja.
Para qué sirve
Sirve para detectar regresiones de calidad, controlar costos, identificar patrones de falla y entender cómo los usuarios realmente usan el modelo. En sistemas con múltiples agentes, la observabilidad permite rastrear qué agente tomó qué decisión.
Diferencia entre observabilidad y monitoreo
El monitoreo verifica si el sistema está funcionando (uptime, errores HTTP). La observabilidad permite entender por qué funciona de determinada forma, con datos suficientes para investigar causas. El monitoreo responde "¿está vivo?"; la observabilidad responde "¿por qué respondió así?".