Nem toda tarefa precisa do modelo mais caro. Perguntar a hora de uma reunião e refatorar um sistema inteiro são trabalhos muito diferentes. O roteamento de modelos resolve isso: um componente decide, a cada pedido, qual modelo vai atender.
Como funciona
O roteador fica entre a aplicação e os modelos. Ele recebe o pedido, analisa e escolhe o destino. Essa análise pode seguir três caminhos:
- Regras fixas: pedidos curtos vão para um modelo pequeno, pedidos com código vão para um modelo de código.
- Classificador: um modelo leve lê o pedido e estima a dificuldade.
- Critérios de negócio: custo máximo, tempo de resposta e disponibilidade do provedor.
Depois da escolha, o roteador envia o pedido ao modelo e devolve a resposta. Quem usa o sistema nem percebe a troca.
Um bom roteador também mede o resultado. Se o modelo barato erra muito em certo tipo de tarefa, a regra muda e aquele tipo passa a ir para um modelo mais forte.
Exemplo prático
Imagine uma loja virtual com um assistente de atendimento. Perguntas como "qual o prazo de entrega?" vão para um modelo pequeno e rápido. Já uma reclamação longa, com troca de produto e reembolso, vai para um modelo de raciocínio mais capaz.
Em configuração simples, a regra pode ser algo assim:
{
"regras": [
{ "se": "tokens < 200", "modelo": "modelo-pequeno" },
{ "se": "contem_codigo", "modelo": "modelo-de-codigo" },
{ "padrao": "modelo-grande" }
]
}Os nomes acima são só ilustrativos. Você coloca os modelos que realmente usa.
Para que serve
O uso principal é reduzir custo sem perder qualidade onde ela importa. Como o preço por token varia muito entre modelos, mandar o trabalho simples para um modelo barato economiza bastante em volume alto.
Também serve para ganhar velocidade, já que modelos menores respondem mais rápido, e para dar resiliência: se um provedor cair, o roteador manda o pedido para outro. Esse último caso se liga ao fallback de modelos.
Em times que usam vários agentes, o roteamento permite dar a cada papel o modelo mais adequado: um modelo forte para planejar, um mais econômico para tarefas repetitivas. Plataformas de orquestração como o bridgecode seguem essa lógica ao deixar cada agente usar o seu próprio modelo.
Diferença entre roteamento e fallback
O roteamento escolhe o melhor modelo antes da chamada. O fallback age depois de uma falha, tentando um modelo reserva. Os dois costumam trabalhar juntos num gateway de IA.
Como ponto de atenção, o roteador também pode errar. Se ele classifica mal uma tarefa difícil como fácil, a resposta sai pior. Por isso vale acompanhar a qualidade das respostas por rota e ajustar as regras aos poucos.