Benchmarks
5 min
CWE-bench v2: método, ranking y límites
CWE-bench v2 abre 100 tareas públicas y revela un ranking de 250 casos. Ve el método, los números y lo que el marcador no mide.
#CWE-bench v2#CWE#benchmark de segurança
Categoría
Benchmarks
Testes práticos de performance, consumo e precisão entre agentes de IA
Benchmarks
5 min
StateBench mide el seguimiento de estado en contexto largo
StateBench mide cuatro niveles de seguimiento de estado y muestra cómo la precisión cae en secuencias largas, con método y límites explícitos.
#StateBench#Ai2#benchmark
Benchmarks
6 min
¿Qué evalúa el benchmark LifeVal en la vida real?
OpenAI presentó LifeVal, una evaluación de IA en tareas cotidianas: cuidado infantil, finanzas y servicios públicos. Ve el alcance y sus límites.
#LifeVal#OpenAI#benchmark
Benchmarks
7 min
FeatureLoop: benchmark revela fallas de agentes con requisitos en evolución
El preprint FeatureLoop evalúa agentes de código en tareas con requisitos que evolucionan. El estudio muestra que la retroalimentación ayuda, pero que las correcciones locales no siempre preservan todo lo ya solicitado.
#FeatureLoop#benchmark de agentes de código#requisitos em evolução
Benchmarks
6 min
GDPx: el mejor modelo marca 12% en 11 dominios
El benchmark GDPx evalúa agentes en 11 dominios de alto valor. El mejor sistema marcó 12%, con resultados distintos por tarea.
#GDPx#SemiAnalysis#benchmarks
Benchmarks
5 min
Benchmark de Doximity: los LLMs se equivocan en el 2,3% de las dosis
Doximity evaluó nueve LLMs en 261.508 dosis y encontró al menos un 2,3% de errores, incluyendo fallas graves o potencialmente letales.
#Doximity#LLM#benchmark
Benchmarks
6 min
Modelos gratuitos y nuevos proveedores de la semana (30/10)
Resumen semanal de modelos gratuitos, pesos disponibles y nuevos proveedores de IA que llegaron entre el 26 y el 30 de octubre.
#modelos-abertos#modelos-gratuitos#provedores-de-ia
Benchmarks
7 min
SnowPR mide agentes de código en un repositorio real
SnowPR evalúa agentes en 65 tareas reales de Snowflake. Mira el método, los resultados y por qué la muestra no define un ganador universal.
#SnowPR#agentes de código#benchmark
Benchmarks
5 min
Cartesia Managed Agents lidera Speech Agent Arena
Cartesia Managed Agents alcanzó 1.115 Elo y 91,7% de éxito en Speech Agent Arena; vea qué mide cada métrica y qué no prueba el marcador.
#Cartesia#Managed Agents#Speech Agent Arena
Benchmarks
6 min
Artificial Analysis Intelligence Index v5: qué cambia
El Index v5 combina nueve evaluaciones; el 60% del peso proviene de pruebas privadas o respuestas retenidas, dividido en partes iguales en cuatro áreas.
#Artificial Analysis#Intelligence Index v5#benchmarks
Benchmarks
6 min
MAI Image 2.7: 2º en Artificial Analysis y 3º en Arena
MAI Image 2.7 quedó en 3º en Arena y 2º en Artificial Analysis; el anuncio destaca avances en edición de escena, texto y restauración.
#MAI Image 2.7#Microsoft AI#Image Edit Arena
Benchmarks
5 min
GenXR-Bench: Claude Opus 5 alcanza 50,9% en XR
GenXR-Bench reúne 112 tareas XR. En el paper v2, Claude Opus 5 alcanzó 50,9% de Pass@1, con 29,2% en tareas de recursos del SDK.
#GenXR-Bench#XR#coding agents
La mayor newsletter de IA del Mundo
Sigue la evolución de equipos y sistemas multiagente de IA.
Selección técnica en profundidad: arquitecturas agénticas, benchmarks reales de tokens, servidores MCP y herramientas open source en tu correo y el blog.