Como funciona
Em vez de comparar texto exato, o cache semântico converte a pergunta em um embedding (vetor) e busca no cache respostas de perguntas com vetores próximos. Se a similaridade ultrapassa um limiar, a resposta cacheada é retornada sem chamar o modelo. Isso evita chamadas repetidas para perguntas equivalentes.
Exemplo prático
Um usuário pergunta "como resetar minha senha" e outro pergunta "como trocar a senha". As duas frases são diferentes, mas o significado é o mesmo, então a segunda recebe a resposta cacheada da primeira, economizando uma chamada ao modelo.
Para que serve
Reduz custo e latência em aplicações de IA, especialmente em atendimento e busca, onde perguntas se repetem com variações de palavras. É uma das otimizações mais eficazes em sistemas de LLM em produção.
Riscos
Se o limiar de similaridade for muito baixo, o cache pode retornar uma resposta inadequada. É preciso calibrar o limiar e invalidar o cache quando as informações mudam.