Cómo funciona
La ingeniería de contexto va más allá del prompt: implica elegir qué documentos incluir, en qué orden, con qué ejemplos (few-shot) y qué restricciones. El objetivo es maximizar la calidad de la respuesta dentro de la ventana de contexto.
Incluye técnicas como chunking de documentos, reranking de resultados, compresión del historial de conversación y selección dinámica de herramientas. La ingeniería de contexto también decide qué excluir para evitar ruido y ahorrar tokens.
Ejemplo práctico
Un agente de código recibe: (1) system prompt con reglas, (2) archivos relevantes del repositorio, (3) historial reciente de la conversación, (4) la pregunta actual. La ingeniería de contexto decide qué entra y qué queda fuera para no superar el límite de tokens.
{
"system": "Você é um assistente de código. Responda em português.",
"context": ["src/main.py", "tests/test_main.py"],
"question": "Corrija o bug de login"
}En sistemas RAG, la ingeniería de contexto incluye: dividir documentos en chunks, generar embeddings, buscar los más similares y rerankear antes de enviar al modelo.
Para qué sirve
Mejorar respuestas sin cambiar el modelo. Con buen contexto, modelos más pequeños pueden superar a modelos grandes con contexto malo. Es la habilidad central para quien construye aplicaciones con LLM.