Los proveedores de modelos de IA pueden caerse, alcanzar límites de uso o responder con error. El fallback de modelos es el plan B: si el modelo principal falla, el sistema intenta con otro, sin que el usuario lo note.

Como funciona

Defines una lista ordenada de modelos. El primero es el preferido. Si la llamada falla, la aplicación pasa al segundo, luego al tercero, y así sucesivamente.

Las situaciones que suelen activar el fallback son:

  • Error del proveedor: indisponibilidad o falla interna.
  • Límite de uso: el código de error de rate limit indica que superaste la cuota.
  • Tiempo agotado: el modelo tardó más de lo aceptable.
  • Respuesta inválida: la salida no sigue el formato esperado.

Lo ideal es combinar el fallback con reintentos y espera creciente. Para errores temporales, repetir en el mismo modelo puede resolverlo. Si persiste, ahí sí se cambia.

Hay que cuidar la compatibilidad. Los modelos diferentes tienen ventanas de contexto, formatos de llamada de herramientas y comportamientos distintos. El prompt que funciona bien en uno puede rendir peor en otro.

Exemplo prático

Tu agente de soporte usa un modelo principal. En una hora pico, el proveedor devuelve error de límite. Sin fallback, los clientes quedan sin respuesta. Con fallback, el agente pasa a un modelo de reserva y sigue atendiendo.

Un esquema en configuración:

JSON · config/modelos.json
{
  "ordem": ["modelo-principal", "modelo-reserva-1", "modelo-reserva-2"],
  "tentativas_por_modelo": 2,
  "timeout_segundos": 30
}

Los nombres son ilustrativos. Usa los modelos que realmente contratas o alojas.

Para que serve

Sirve para dar continuidad al servicio, especialmente en productos usados por clientes. También ayuda a agentes que corren por horas: si un modelo se traba a mitad de una tarea larga, el trabajo continúa en lugar de perderse.

Gateways de IA y routers como OpenRouter ofrecen este recurso listo. Las herramientas de agentes de código también permiten configurar más de un proveedor, y en bridgecode usas tus propias claves y modelos, lo que facilita tener reservas.

Diferença entre fallback e roteamento

El routing elige el modelo ideal antes de llamar. El fallback entra después de una falla. Un buen sistema usa los dos.

Cuidados

Prueba el modelo de reserva de verdad, no solo el principal. Registra cuándo se usó el fallback, para monitorear costo y calidad. Y atención a la privacidad: al cambiar de proveedor, tus datos pasan a ir a otra empresa, lo que puede importar para datos sensibles.