
7 consejos para evaluar benchmarks de agentes de IA
Siete verificaciones para comparar benchmarks de agentes: unidad de la tarea, muestra, generalización, condiciones de prueba y límites del puntaje.

Desarrollador y creador de bridgecode, un entorno de desarrollo agéntico para orquestar squads de agentes de IA. Ayuda a quienes van del vibe coding al desarrollo profesional a pasar de la idea al producto entregado.
252 artigos por Marcelo Santiago

Siete verificaciones para comparar benchmarks de agentes: unidad de la tarea, muestra, generalización, condiciones de prueba y límites del puntaje.

NVIDIA añade cuatro checkpoints Cosmos3-Nano para simulación automotriz y robótica. Mira funciones, requisitos, licencia y límites.

AI2 presenta ToyBlocks, un entorno de simulación con cuatro tareas para estudiar generalización y transferencia física en robótica.

Codex 0.167.0 añade un centro de agentes en la terminal, resalta resultados no leídos y preserva borradores al cambiar de backend. Mira qué cambia.

En el ranking de tau2-Bench Airline del 6 de noviembre, GPT-5.1 marcó 80,0%. Entiende el método, el tamaño mínimo de muestra y los límites antes de elegir un agente.

Anthropic analizó 207.049 sesiones científicas en Claude y Claude Code y separó el uso observado de las proyecciones de productividad.

Conoce NVIDIA Auto Ontology, un repositorio Apache 2.0 para dar contexto semántico a agentes y los cuidados de seguridad antes de adoptarlo.

Kimi K3.1 Pro y ERNIE 5.5 llegaron con pesos públicos; Axion, Shackleton y ORO ampliaron el movimiento open y de infraestructura de agentes.

Google anunció Gemini Omni 1.2 Flash el 5 de noviembre, con generación de video de hasta 15 segundos y ediciones en secuencia dentro del flujo creativo.

Baidu lanzó el ERNIE 5.5 Flash Base el 5 de noviembre. El checkpoint tiene 280 mil millones de parámetros y resultados propios en 30 benchmarks y siete categorías.

OpenAI presentó GPT-6 Cyber el 5 de noviembre para organizaciones aprobadas. Consulta qué miden las pruebas, sus límites y las condiciones de acceso.

Planner, Generator y Healer dividen la creación de pruebas en Playwright. Ve cómo revisar los resultados y la salvedad de la imagen Docker v1.64.1.
Selección técnica en profundidad: arquitecturas agénticas, benchmarks reales de tokens, servidores MCP y herramientas open source en tu correo y el blog.