Inkling 2 Small suelta 316 palabrotas en benchmarks: lo que revela

Inkling 2 Small, modelo abierto de Thinking Machines, soltó 316 palabrotas en 2.655 ejecuciones de benchmark monitoreadas por Vals AI. El hallazgo no cambia el marcador del modelo, pero expone cómo los modelos de razonamiento pueden entrar en bucles largos cuando quedan atrapados en un problema.

En este artículo vas a ver:

• Lo que Vals AI midió en los logs de razonamiento de Inkling 2 Small
• Por qué aparece la palabrota y por qué no sirve como alerta
• Qué dice esto sobre benchmarks y sobre el uso de modelos abiertos
• Cómo probar este comportamiento en tu propio proyecto

Lo que Vals AI encontró en los logs de razonamiento

Vals AI leyó los logs de razonamiento de Inkling 2 Small en 2.655 ejecuciones repartidas en 13 benchmarks y encontró la palabra "fuck" o variaciones en 50 de ellas, sumando 316 ocurrencias. Dos ejecuciones solas respondieron por 241 de esas ocurrencias. En una de ellas, al calcular la trayectoria de un asteroide, el modelo generó una única respuesta de cerca de 500 mil caracteres, casi del tamaño de una novela, repitiendo las mismas frases con 158 palabrotas. ProgramBench fue el benchmark más afectado: 20 de las 200 ejecuciones tuvieron el comportamiento.

La palabrota aparece cuando el modelo se equivoca, cree que dio un avance o se rinde. Un fragmento típico leído en los logs: "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS." El modelo se insulta a sí mismo, no al usuario. Los usuarios finales normalmente no ven esos pasos de razonamiento, o los ven solo filtrados.

Por qué la palabrota no funciona como señal de alerta

La tentación es tratar la palabrota como un indicador de falla. Los números no sostienen esa lectura. De 48 ejecuciones con palabrota que recibieron nota, 46 fallaron. Pero cerca del 75% de todas las ejecuciones con nota también fallan, y el 96% de las ejecuciones que fallaron no contenían ninguna palabrota. La palabrota es rara y casi siempre acompaña a la falla, pero la falla casi nunca viene acompañada de palabrota. Tratarla como alarma generaría muchos falsos negativos.

Tampoco hay evidencia de que la palabrota mejore o empeore el resultado. Es un efecto colateral de un modelo que entró en bucle, no una estrategia de razonamiento. Quien construye producto no debe contar con ella como mecanismo de seguridad.

Qué dice esto sobre benchmarks y sobre los modelos abiertos

El caso refuerza un punto que el Co-Design Bench ya planteó: los marcadores agregados esconden comportamientos específicos. Un modelo puede liderar un índice y, al mismo tiempo, entrar en bucles largos en tareas de cálculo o de programación. Leer solo el promedio es poco.

También muestra una ventaja de los modelos abiertos: los logs de razonamiento son accesibles. En modelos cerrados, el mismo bucle puede ocurrir sin que nadie lo vea. Vals AI solo pudo contar las palabrotas porque Inkling 2 Small expone su razonamiento.

El Inkling 2 Small ya había mostrado fuerza en tareas empresariales en otro benchmark. Los dos resultados no se contradicen: un modelo puede ser bueno en promedio y aun así tener colas largas de falla. Los benchmarks necesitan mirar la distribución, no solo la cima.

Cómo probar este comportamiento en tu proyecto

Quien ejecuta modelos abiertos puede reproducir el análisis. Pasos prácticos:

1. Activa el registro de los pasos de razonamiento, chain of thought, al ejecutar el modelo.
2. Ejecuta el mismo conjunto de tareas varias veces, no una sola.
3. Busca respuestas muy largas y repetición de frases.
4. Compara la tasa de falla con y sin esos eventos.

Modelos abiertos como Inkling 2 Small corren con vLLM, SGLang o llama.cpp. Quien quiere comparar varios modelos en el mismo proyecto puede colocar cada uno en un espacio aislado y seguir los resultados en un solo lugar.

Ficha técnica del caso

• Modelo: Inkling 2 Small, de Thinking Machines
• Fuente de datos: Vals AI, lectura de los logs de razonamiento
• Volumen analizado: 2.655 ejecuciones en 13 benchmarks
• Ocurrencias de palabrotas: 316, en 50 ejecuciones
• Peor caso: cerca de 500 mil caracteres en una única respuesta
• Benchmark más afectado: ProgramBench, con 20 de 200 ejecuciones

Estos números no son un ranking. Sirven para mostrar que el comportamiento de cola importa tanto como el promedio.