Cómo funciona
En lugar de comparar texto exacto, la caché semántica convierte la pregunta en un embedding, es decir, un vector, y busca en la caché respuestas a preguntas con vectores cercanos. Si la similitud supera un umbral, se devuelve la respuesta cacheada sin llamar al modelo. Esto evita llamadas repetidas para preguntas equivalentes.
Ejemplo práctico
Un usuario pregunta "cómo restablecer mi contraseña" y otro pregunta "cómo cambiar la contraseña". Las dos frases son distintas, pero el significado es el mismo, así que la segunda recibe la respuesta cacheada de la primera, ahorrando una llamada al modelo.
Para qué sirve
Reduce costo y latencia en aplicaciones de IA, especialmente en atención y búsqueda, donde las preguntas se repiten con variaciones de palabras. Es una de las optimizaciones más eficaces en sistemas de LLM en producción.
Riesgos
Si el umbral de similitud es muy bajo, la caché puede devolver una respuesta inadecuada. Es necesario calibrar el umbral e invalidar la caché cuando la información cambia.