Cómo funciona
Los logs de prompt son registros estructurados de cada interacción con un LLM: el prompt (system y user), la respuesta, los tokens consumidos, la latencia, el modelo usado y metadatos (usuario, timestamp, versión de la app).
La implementación puede ser simple (guardar en archivo o base de datos) o sofisticada (pipeline de observabilidad con tracing, como LangSmith o Helicone). Lo importante es capturar información suficiente para reproducir y analizar la interacción.
Los logs de prompt son la base de la observabilidad de LLM. Sin ellos no puedes depurar respuestas inesperadas, medir costos o auditar decisiones.
Ejemplo práctico
Imagina un agente de código que dio una respuesta incorrecta a un usuario. Con logs de prompt puedes ver exactamente qué prompt se envió (incluido el system prompt y el contexto), qué modelo se usó, cuántos tokens se consumieron y cuál fue la respuesta.
Con eso puedes reproducir el problema, ajustar el prompt o cambiar de modelo. Sin logs solo sabes que "algo salió mal" y no tienes cómo investigarlo.
Para qué sirve
Sirve para debugging, auditoría, análisis de uso, control de costos y cumplimiento. En sectores regulados (salud, financiero), los logs de prompt pueden ser un requisito legal para la trazabilidad de decisiones de IA.
Diferencia entre logs de prompt y observabilidad de LLM
Los logs de prompt son el dato bruto (lo que se envió y lo que se recibió). La observabilidad de LLM es la práctica más amplia de monitorear, analizar y actuar sobre esos datos. Los logs son la base; la observabilidad es lo que haces con ellos.