El caché de prompt guarda el procesamiento de una parte del prompt que se repite entre llamadas. Cuando reenvías el mismo inicio de texto, el proveedor reutiliza el trabajo ya hecho, lo que suele dejar la respuesta más rápida y más barata.

Como funciona

Un prompt en aplicaciones reales tiene una parte fija, como instrucciones, reglas y documentos, y una parte variable, que es la pregunta del usuario. Procesar la parte fija cada vez es un desperdicio.

Con caché, el servidor procesa el fragmento fijo una vez y guarda el resultado interno por un tiempo. En las llamadas siguientes que comienzan con el mismo contenido, salta ese trabajo.

Tres puntos aparecen en la mayoría de los proveedores:

  • Prefijo idéntico: la caché aplica al inicio del prompt. Si algo cambia al comienzo, se pierde la reutilización.
  • Tiempo de vida: la caché expira después de un tiempo sin uso.
  • Tamaño mínimo: algunos proveedores solo aplican la caché a prompts por encima de cierto tamaño.

Los detalles, como reglas de precio y duración, varían por proveedor. Consulta la documentación oficial de lo que uses.

Ejemplo práctico

Tienes un asistente que responde dudas con base en un manual de 30 páginas. El manual va en cada llamada. Si colocas el manual y las instrucciones al comienzo del prompt, y la pregunta al final, el manual puede aprovecharse de la caché.

La organización ideal queda así:

Texto
[instruções fixas]
[manual completo]
[pergunta do usuário]   <- só esta parte muda

Si colocaras la fecha de hoy al inicio, el prefijo cambiaría todos los días y la caché se aprovecharía menos. Por eso, los ítems variables quedan al final.

Para qué sirve

Sirve para reducir costo y disminuir la espera en casos de contexto repetido. Los agentes de código se benefician mucho: en cada paso envían el mismo historial de conversación más un fragmento nuevo, y buena parte puede venir de la caché.

También ayuda a disminuir el time to first token en prompts largos.

Diferencia entre caché de prompt y caché semántica

El caché de prompt reutiliza el procesamiento del inicio del texto, y el modelo aún genera una respuesta nueva. En cambio, la caché semántica guarda respuestas listas y devuelve una de ellas cuando llega una pregunta parecida, sin llamar al modelo.

Cuidados

La caché no cambia la calidad de la respuesta, pero exige disciplina en el armado del prompt. Evita colocar contenido variable al comienzo y mide el resultado, observando los indicadores de uso que el proveedor devuelve.