O cache de prompt guarda o processamento de uma parte do prompt que se repete entre chamadas. Quando você reenvia o mesmo começo de texto, o provedor reaproveita o trabalho já feito, o que costuma deixar a resposta mais rápida e mais barata.

Como funciona

Um prompt em aplicações reais tem uma parte fixa, como instruções, regras e documentos, e uma parte variável, que é a pergunta do usuário. Processar a parte fixa toda vez é desperdício.

Com cache, o servidor processa o trecho fixo uma vez e guarda o resultado interno por um tempo. Nas chamadas seguintes que começam com o mesmo conteúdo, ele pula esse trabalho.

Três pontos aparecem na maioria dos provedores:

  • Prefixo idêntico: o cache vale para o início do prompt. Se algo mudar no começo, o reaproveitamento se perde.
  • Tempo de vida: o cache expira depois de um tempo sem uso.
  • Tamanho mínimo: alguns provedores só aplicam o cache a prompts acima de certo tamanho.

Os detalhes, como regras de preço e duração, variam por provedor. Consulte a documentação oficial do que você usa.

Exemplo prático

Você tem um assistente que responde dúvidas com base em um manual de 30 páginas. O manual vai em toda chamada. Se você coloca o manual e as instruções no começo do prompt, e a pergunta no final, o manual pode ser aproveitado do cache.

A organização ideal fica assim:

Texto
[instruções fixas]
[manual completo]
[pergunta do usuário]   <- só esta parte muda

Se você colocasse a data de hoje no início, o prefixo mudaria todo dia e o cache seria menos aproveitado. Por isso, itens variáveis ficam no fim.

Para que serve

Serve para reduzir custo e diminuir a espera em casos de contexto repetido. Agentes de código se beneficiam muito: a cada passo, enviam o mesmo histórico de conversa mais um trecho novo, e boa parte pode vir do cache.

Também ajuda a diminuir o time to first token em prompts longos.

Diferença entre cache de prompt e cache semântico

O cache de prompt reaproveita o processamento do início do texto, e o modelo ainda gera uma resposta nova. Já o cache semântico guarda respostas prontas e devolve uma delas quando chega uma pergunta parecida, sem chamar o modelo.

Cuidados

O cache não muda a qualidade da resposta, mas exige disciplina na montagem do prompt. Evite colocar conteúdo variável no começo e meca o resultado, olhando os indicadores de uso que o provedor devolve.