CloudOpsBench: agentes de IA en operaciones en la nube

CloudOpsBench es un benchmark de código abierto que mide cómo agentes de IA ejecutan tareas reales de operación en la nube. La versión 1.0 cubre 45 tareas en AWS, desde reparar servicios rotos hasta eliminar recursos, restringir permisos, publicar actualizaciones y desactivar proyectos. El resultado principal: el mejor agente resuelve el 60,6% de las tareas, y el principal cuello de botella no es la falta de conocimiento, sino el razonamiento.

La mayoría de los benchmarks de agentes prueba preguntas de opción múltiple o problemas pequeños y autocontenidos. La operación real en la nube exige decisiones secuenciales, con efectos colaterales, en entornos donde un error puede derribar un servicio o exponer datos. Ningún benchmark anterior probaba esto de punta a punta en infraestructura real.

En este artículo vas a ver:

• Lo que mide CloudOpsBench y por qué las tareas reales cambian la lectura
• Los números oficiales: 45 tareas, 18 configuraciones, 4 familias de modelo en la cima
• Por qué el modelo importa más que el harness
• Dónde fallan los agentes: razonamiento, costo y tiempo
• Cómo probar hoy

Qué es CloudOpsBench

CloudOpsBench fue construido por ingenieros de DevOps experimentados, con coordinación del equipo de Ang Chen en la Universidad de Michigan. Cada tarea fue escrita por profesionales que operan infraestructura en producción, no por investigadores de benchmark. Esto importa porque la calidad del benchmark depende de la calidad de las tareas y de la rúbrica de evaluación.

Las 45 tareas de la versión 1.0 se ejecutan de forma idéntica en dos superficies: la nube AWS real y un emulador local. Esto permite que los investigadores prueben sin gastar en infraestructura real, y que los resultados sean reproducibles. Las tareas cubren cinco categorías de operación: reparar servicios degradados, eliminar recursos no utilizados, restringir permisos de acceso, publicar actualizaciones de configuración y desactivar proyectos enteros.

Las extensiones para Google Cloud Platform, Microsoft Azure y Oracle Cloud Infrastructure están planificadas. El proyecto es open source bajo licencia Apache 2.0, y el repositorio en GitHub incluye las tareas, los scripts de evaluación y el análisis de fallas.

Cómo funciona la evaluación

Cada tarea tiene un estado inicial de la infraestructura y un estado final deseado. El agente recibe la tarea en lenguaje natural y debe ejecutar las acciones necesarias para llegar al estado final. La evaluación verifica si el estado final se alcanzó correctamente, incluyendo verificaciones de seguridad: el agente no puede simplemente borrar todo para "resolver" la tarea.

La métrica principal es la tasa de resolución: el porcentaje de tareas en las que el agente alcanzó el estado final correcto. También se miden tiempo de ejecución, tokens consumidos y costo total. Estos números aparecen en el leaderboard público del sitio.

Números oficiales de CloudOpsBench

Resultados en el conjunto de 45 tareas (v1.0):

• Claude Fable 5.1 (max), harness claude-code: 60,6% de resolución, 38,6 horas, 97,9 millones de tokens, US$ 404,30
• GPT-6 Astra (max), harness codex: 58,9%, 16,5 horas, 98,0 millones de tokens, US$ 310,90
• Gemini 4 Argon (high), harness gemini-cli: 57,5%, 34,2 horas, 173,9 millones de tokens, US$ 100,50
• Grok 4.7 (high), harness cursor-cli: 56,5%, 33,2 horas, 178,3 millones de tokens, US$ 138,80

La diferencia entre el primero y el cuarto lugar es de apenas 4,1 puntos porcentuales. Esto significa que los modelos de frontera están en un pelotón denso, y la elección del modelo no es el único factor que importa. GPT-6 Astra, por ejemplo, usa menos de la mitad del tiempo de Claude Fable 5.1 y cuesta 23% menos, con una diferencia de apenas 1,7 punto en la tasa de resolución.

Por qué el modelo importa más que el harness

El equipo probó 14 modelos de frontera usando 7 harnesses públicos: Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands y Pi. La diferencia entre modelos llegó a 50 puntos porcentuales, mientras que la diferencia mediana entre harnesses para el mismo modelo fue de apenas 3 puntos. Los harnesses afectan significativamente el costo de ejecución, pero no la puntuación final.

Es una conclusión importante para quien construye agentes de IA para operaciones en la nube. Invertir en un modelo más capaz rinde más que invertir en un harness más sofisticado. El harness afecta cuánto gastas y cuánto tiempo toma, pero no si la tarea se resolverá. Para comparar con otro benchmark que mide agentes en tareas técnicas, consulta el PLE: benchmark de ingeniería física para agentes de IA.

Dónde fallan los agentes

El análisis de fallas de CloudOpsBench, disponible en el sitio del proyecto, muestra que el principal cuello de botella es el razonamiento, no la falta de conocimiento. Los agentes saben qué comandos ejecutar y qué recursos existen, pero fallan al encadenar decisiones, al considerar efectos secundarios y al recuperarse de errores intermedios.

En una tarea de reparar un servicio degradado, por ejemplo, el agente puede identificar el problema correctamente pero aplicar la corrección en el orden incorrecto, dejando el servicio en un estado inconsistente. En tareas de eliminación de recursos, los agentes suelen eliminar dependencias de otros servicios sin darse cuenta.

El costo también es un factor. Las configuraciones de mayor esfuerzo usan entre 60 y 98 millones de tokens por ronda, con costos entre US$ 100 y US$ 400. Para operaciones en producción, donde las tareas se ejecutan de forma continua, esto puede ser prohibitivo. Las configuraciones de menor esfuerzo (high o medium) reducen el costo en un 50% o más, con una pérdida de 10 a 20 puntos en la tasa de resolución.

Cómo probar hoy

Si trabajas con agentes de IA para operaciones en la nube, CloudOpsBench es un buen punto de partida para entender las limitaciones actuales. Las 45 tareas públicas están disponibles en GitHub, con scripts de evaluación y un emulador local. Puedes llevar tu propia configuración de agente y someterla a evaluación en el conjunto de prueba.

Para otros dominios, busca benchmarks que usen infraestructura real, tareas escritas por profesionales del área y evaluación de extremo a extremo. Evita benchmarks que solo prueban preguntas de opción múltiple o problemas pequeños y autocontenidos. Si tu enfoque es la seguridad de código, consulta también el CWE-bench v2: método, ranking y límites.

Preguntas frecuentes sobre CloudOpsBench

¿Qué es CloudOpsBench? Es un benchmark de código abierto que mide cómo los agentes de IA ejecutan tareas reales de operación en la nube, desarrollado por ingenieros de DevOps con coordinación de la Universidad de Michigan.

¿Cuántas tareas y en qué proveedores? La versión 1.0 tiene 45 tareas en AWS. Las extensiones para Google Cloud, Azure y Oracle Cloud están planificadas.

¿Cuál fue el mejor resultado? Claude Fable 5.1 (max) alcanzó un 60,6% de tasa de resolución, seguido por GPT-6 Astra (max) con 58,9%.

¿Por qué el modelo importa más que el harness? La diferencia entre modelos llegó a 50 puntos porcentuales, mientras que la diferencia mediana entre harnesses para el mismo modelo fue de apenas 3 puntos.

¿Cuánto cuesta ejecutar el benchmark? Las configuraciones de mayor esfuerzo cuestan entre US$ 100 y US$ 400 por ronda, usando entre 60 y 98 millones de tokens.

¿Son reproducibles los resultados? Sí. Las tareas se ejecutan de forma idéntica en la nube real y en el emulador local, y el código es open source bajo licencia Apache 2.0.

Conclusión

CloudOpsBench muestra que los agentes de IA todavía están lejos de operar infraestructura en la nube de forma confiable. La tasa de resolución del 60,6% del mejor agente significa que 4 de cada 10 tareas fallan. El principal cuello de botella es el razonamiento, no el conocimiento: los agentes saben qué hacer, pero fallan al ejecutar secuencias complejas con efectos secundarios.

Al evaluar agentes de IA para operaciones en la nube, no te conformes con la tasa de resolución agregada. Revisa el costo por tarea, el tiempo de ejecución y los modos de falla documentados. Un buen agente no es solo el que resuelve más tareas, sino el que lo hace de forma consistente y costo-efectiva.

CloudOpsBench llamó tu atención? Pon a trabajar esa novedad en un squad de agentes de IA, cada uno en su rol.

Fuente: The Decoder