GPT-5.1 lidera tau2-Bench Airline con 80%

En este artículo vas a ver:

• Qué simula tau2-Bench Airline y qué acciones debe completar el agente.
• Cómo arma OpenRouter la nota y cuál es el tamaño mínimo de muestra.
• Qué permite comparar el resultado del 80,0% y qué no demuestra.
• Cómo interpretar el leaderboard antes de elegir un modelo para producción.

Qué mide el tau2-Bench Airline

El tau2-Bench Airline evalúa a un agente que conversa con un cliente simulado y usa herramientas de una aerolínea. El objetivo es completar pedidos dentro de reglas de negocio, en lugar de solo responder con texto convincente.

Las tareas pueden requerir consultar una reserva, cambio o cancelación de vuelo y otras acciones apoyadas por las herramientas disponibles. El agente necesita entender la solicitud, elegir la operación adecuada y respetar la política definida para el escenario.

Este formato importa porque una conversación puede parecer correcta y aun así terminar sin la acción solicitada. En una evaluación de agente, el estado final de la reserva y el cumplimiento de la política pesan más que una respuesta bien escrita.

El benchmark también limita el entorno. Los modelos reciben el mismo contexto de la tarea, las mismas reglas, el mismo cliente simulado y el mismo conjunto de herramientas. Esto ayuda a comparar ejecuciones sin convertir la prueba en una evaluación de conocimiento general.

El artículo del benchmark τ²-Bench explica la evaluación de agentes en escenarios de control compartido. La página del leaderboard Airline de OpenRouter describe la configuración usada para los resultados mostrados en el servicio.

Este ejemplo de Telecom ilustra el formato de interacción, no el marcador Airline de 2026. Ver la investigación original para el contexto.

Cómo OpenRouter calcula el 80,0%

La página consultada registraba el resultado a las 15:59 UTC del 6 de noviembre. En ese recorte, OpenAI GPT-5.1 aparecía en la cima con una tasa de éxito del 80,0% en el dominio Airline.

La nota no proviene de una única conversación elegida para ilustrar el modelo. OpenRouter agrega ejecuciones exitosas de los 90 días anteriores y pondera el cálculo por el número de tareas. La ventana móvil hace que el marcador acompañe la actividad reciente, pero también significa que puede cambiar cuando entran nuevas ejecuciones o las antiguas salen del período.

Hay además una condición mínima: cada par de modelo y proveedor necesita al menos 45 tareas evaluadas para aparecer en el ranking. OpenRouter muestra la desviación estándar junto a las notas, pero ese número no sustituye la lectura del método ni revela, por sí solo, la distribución completa de los casos.

La comparación es entre integraciones modelo-proveedor, no solo entre nombres de modelos. El enrutamiento, la disponibilidad y la configuración del proveedor forman parte del sistema observado, por lo que dos servicios que ofrecen el mismo modelo pueden no producir números idénticos.

Lo que el primer lugar no prueba

La tasa del 80,0% no significa que GPT-5.1 acierte ocho de cada diez solicitudes reales de cualquier aerolínea. Describe el conjunto de tareas y las reglas específicas de tau2-Bench Airline.

La muestra mínima de 45 tareas también merece atención. Es suficiente para que OpenRouter incluya una integración en el marcador, pero no equivale a miles de interacciones con clientes ni garantiza que diferencias pequeñas entre modelos sean estables.

El promedio ponderado oculta la variación entre tipos de pedido. Un agente puede ser fuerte consultando itinerarios y tener más dificultad en cambios con varias restricciones. Por eso, la tasa agregada no sustituye la lectura de resultados por escenario, cuando están disponibles.

El benchmark tampoco mide todos los factores de una operación: calidad de los datos, excepciones, seguridad de la cuenta, latencia percibida y volumen de intervenciones humanas. Estos aspectos exigen evaluaciones propias.

Ese cuidado vale para otras pruebas: FeatureLoop evalúa requisitos de código en evolución, mientras que GDPx compara dominios distintos.

Cómo usar el leaderboard en la elección de un agente

Usa tau2-Bench Airline como filtro inicial si tu producto depende de agentes que consultan datos y ejecutan operaciones con reglas. Es más informativo que una prueba de conversación libre para este tipo de flujo, porque incluye acciones y estado final.

Antes de comparar dos proveedores, revisa la fecha de actualización, la ventana de 90 días, el mínimo de tareas y la desviación estándar mostrada. Registra también el modelo exacto y el proveedor, para no atribuir al modelo solo un resultado que puede depender de la integración.

Después, reproduce la idea de la prueba en tu dominio. Monta casos con pedidos frecuentes, excepciones, políticas incompatibles y operaciones que exigen confirmación. Define antes qué cuenta como éxito, cómo evitar cambios indebidos y cómo evaluar una conversación interrumpida.

Separa métricas de tarea y de experiencia. La conclusión de la acción puede medirse en una y la claridad de la conversación, el tiempo de respuesta y la necesidad de intervención humana en otras. Esto evita que un promedio único oculte una falla que sería crítica para el usuario.

Si hay datos internos, haz una evaluación controlada con los mismos casos para cada opción. Preserva los logs necesarios, elimina información personal y compara también los errores por tipo de tarea. El leaderboard ayuda a formular una hipótesis; la validación en el flujo real decide si se sostiene.