Como funciona

Engenharia de contexto vai além do prompt: envolve escolher quais documentos incluir, em que ordem, com que exemplos (few-shot) e quais restrições. O objetivo é maximizar a qualidade da resposta dentro da janela de contexto.

Inclui técnicas como chunking de documentos, reranking de resultados, compressão de histórico de conversa e seleção dinâmica de ferramentas. A engenharia de contexto também decide o que excluir para evitar ruído e economizar tokens.

Exemplo prático

Um agente de código recebe: (1) system prompt com regras, (2) arquivos relevantes do repositório, (3) histórico recente da conversa, (4) a pergunta atual. A engenharia de contexto decide o que entra e o que fica de fora para não estourar o limite de tokens.

JSON
{
  "system": "Você é um assistente de código. Responda em português.",
  "context": ["src/main.py", "tests/test_main.py"],
  "question": "Corrija o bug de login"
}

Em sistemas RAG, a engenharia de contexto inclui: dividir documentos em chunks, gerar embeddings, buscar os mais similares e reranquear antes de enviar ao modelo.

Para que serve

Melhorar respostas sem mudar o modelo. Com bom contexto, modelos menores podem superar modelos grandes com contexto ruim. É a habilidade central para quem constrói aplicações com LLM.