Como funciona
Logs de prompt são registros estruturados de cada interação com um LLM: o prompt (system e user), a resposta, os tokens consumidos, a latência, o modelo usado e metadados (usuário, timestamp, versão do app).
A implementação pode ser simples (gravar em arquivo ou banco) ou sofisticada (pipeline de observabilidade com tracing, como LangSmith ou Helicone). O importante é capturar informações suficientes para reproduzir e analisar a interação.
Logs de prompt são a base da observabilidade de LLM. Sem eles, você não pode debugar respostas inesperadas, medir custos ou auditar decisões.
Exemplo prático
Imagine um agente de código que deu uma resposta errada para um usuário. Com logs de prompt, você pode ver exatamente qual prompt foi enviado (incluindo o system prompt e o contexto), qual modelo foi usado, quantos tokens foram consumidos e qual foi a resposta.
Com isso, você pode reproduzir o problema, ajustar o prompt ou trocar de modelo. Sem logs, você só sabe que "algo deu errado" e não tem como investigar.
Para que serve
Serve para debugging, auditoria, análise de uso, controle de custos e conformidade. Em setores regulados (saúde, financeiro), logs de prompt podem ser exigência legal para rastreabilidade de decisões de IA.
Diferença entre logs de prompt e observabilidade de LLM
Logs de prompt são o dado bruto (o que foi enviado e recebido). Observabilidade de LLM é a prática mais ampla de monitorar, analisar e agir sobre esses dados. Logs são a base; observabilidade é o que você faz com eles.