Provedores de modelos de IA podem sair do ar, atingir limites de uso ou responder com erro. O fallback de modelos é o plano B: se o modelo principal falha, o sistema tenta outro, sem que o usuário perceba.

Como funciona

Você define uma lista ordenada de modelos. O primeiro é o preferido. Se a chamada falhar, a aplicação passa para o segundo, depois para o terceiro, e assim por diante.

As situações que costumam acionar o fallback são:

  • Erro do provedor: indisponibilidade ou falha interna.
  • Limite de uso: o código de erro de rate limit indica que você passou da cota.
  • Tempo esgotado: o modelo demorou mais que o aceitável.
  • Resposta inválida: a saída não segue o formato esperado.

O ideal é combinar o fallback com tentativas repetidas e espera crescente. Para erros temporários, repetir no mesmo modelo pode resolver. Se persistir, aí sim se troca.

É preciso cuidar da compatibilidade. Modelos diferentes têm janelas de contexto, formatos de chamada de ferramentas e comportamentos distintos. O prompt que funciona bem em um pode render pior em outro.

Exemplo prático

Seu agente de suporte usa um modelo principal. Em um horário de pico, o provedor retorna erro de limite. Sem fallback, os clientes ficam sem resposta. Com fallback, o agente passa para um modelo reserva e continua atendendo.

Um esboço em configuração:

JSON · config/modelos.json
{
  "ordem": ["modelo-principal", "modelo-reserva-1", "modelo-reserva-2"],
  "tentativas_por_modelo": 2,
  "timeout_segundos": 30
}

Os nomes são ilustrativos. Use os modelos que você realmente assina ou hospeda.

Para que serve

Serve para dar continuidade ao serviço, especialmente em produtos usados por clientes. Também ajuda agentes que rodam por horas: se um modelo trava no meio de uma tarefa longa, o trabalho continua em vez de se perder.

Gateways de IA e roteadores como o OpenRouter oferecem esse recurso pronto. Ferramentas de agentes de código também permitem configurar mais de um provedor, e no bridgecode você usa suas próprias chaves e modelos, o que facilita ter reservas.

Diferença entre fallback e roteamento

O roteamento escolhe o modelo ideal antes de chamar. O fallback entra depois de uma falha. Um bom sistema usa os dois.

Cuidados

Teste o modelo reserva de verdade, não só o principal. Registre quando o fallback foi usado, para acompanhar custo e qualidade. E atenção à privacidade: ao trocar de provedor, seus dados passam a ir para outra empresa, o que pode importar para dados sensíveis.