Alucinación es el nombre que se le da a una salida de IA que presenta información sin sustento adecuado. Puede ser un hecho incorrecto, una referencia inexistente, un detalle añadido sin evidencia o una conclusión que no se desprende de los datos proporcionados. El término no significa necesariamente que el sistema esté intentando engañar a alguien.
Los modelos generativos producen respuestas a partir de patrones aprendidos y del contexto recibido. En muchos casos, logran completar una respuesta probable incluso cuando no tienen información suficiente. Por eso, una frase fluida y segura en tono puede seguir estando equivocada.
Cómo funciona
Un modelo de lenguaje estima qué tokens pueden seguir, considerando el prompt y el contexto disponible. Este mecanismo es útil para escribir y resumir, pero no funciona como una consulta automática a una base de hechos actualizada. Si el contexto es incompleto, ambiguo o está fuera del conocimiento del modelo, la respuesta aún puede parecer coherente sin estar bien sustentada.
La falla puede surgir en varios puntos: la pregunta puede suponer algo falso, los documentos pueden estar desactualizados, la recuperación puede traer fragmentos irrelevantes o el modelo puede interpretar mal una fuente. En sistemas con herramientas, la ejecución también puede fallar, devolver datos parciales o ser resumida incorrectamente.
Añadir búsqueda o documentos de referencia puede reducir algunos errores, pero no elimina el problema. El sistema aún puede seleccionar un pasaje inadecuado, confundir fuentes o afirmar más de lo que permiten. La verificación debe considerar la respuesta final y las evidencias usadas.
Ejemplo práctico
Una persona pide a un asistente que resuma la documentación de una biblioteca y pregunta el nombre de una función. El fragmento proporcionado no menciona esa función. En lugar de decir que no encontró la información, el modelo sugiere un nombre que combina con convenciones comunes de programación. La sugerencia parece plausible, pero no existe en la documentación consultada.
Una práctica mejor es pedir que el sistema indique el pasaje que sustenta cada afirmación importante y verificar el nombre en el código o en la documentación original. En una tarea de mayor impacto, la revisión debe hacerla una persona responsable, no solo otro modelo sin verificación.
Para qué sirve
Reconocer alucinaciones ayuda a planear sistemas más confiables. Los equipos pueden delimitar qué debe responder el asistente, ofrecer fuentes consultables, permitir que admita incertidumbre y derivar casos ambiguos a revisión humana.
También es útil evaluar el sistema con ejemplos cercanos al uso real. Una medición debe observar si las respuestas están apoyadas en las fuentes, si el sistema se niega cuando falta información y si mantiene la precisión en preguntas con premisas falsas. Una respuesta correcta por casualidad no basta para demostrar confiabilidad.
Al usar IA, trata las afirmaciones factuales como contenido a verificar, principalmente cuando involucran código ejecutable, datos personales, salud, dinero u obligaciones legales. La alucinación es una limitación operativa a administrar, no una prueba de intención o conciencia del modelo.