Benchmark de Doximity: los LLMs se equivocan en el 2,3% de las dosis

El resultado mide un riesgo específico de la IA clínica. No demuestra que todo uso médico de LLM sea inseguro.

En este artículo vas a ver:

• Cómo Doximity armó la prueba de dosificación.
• Qué errores aparecieron con más frecuencia.
• Qué verifica DoseCheck sin otro LLM.
• Qué permite concluir el benchmark y qué no permite.

Lo que Doximity evaluó en el benchmark de dosis

La evaluación reunió nueve LLM lanzados en 2026 y preguntas de dosificación inspiradas en consultas médicas. La publicación informa 8.530 preguntas respondidas por modelo, cubriendo 2.204 medicamentos.

En total, Doximity analizó 261.508 dosificaciones. La empresa dice que la tasa de error de al menos 2,3% es un límite inferior conservador, no un conteo completo de toda falla posible.

Las preguntas incluían factores que cambian una recomendación, como edad, peso, función renal o hepática e interacciones entre medicamentos. La prueba verificó si los modelos consideraban esa información cuando estaba en el enunciado.

Este recorte importa porque una dosis no depende solo del nombre del medicamento. La formulación, la vía de administración, la frecuencia y las condiciones de la persona también pueden alterar lo que sería apropiado.

La prueba evaluó respuestas sin herramientas externas y con el presupuesto de razonamiento en el nivel más bajo, según la descripción del gráfico. Por lo tanto, mide una configuración específica, no todas las formas de usar los mismos modelos.

Lo que los números de Doximity revelan sobre errores de dosis

Doximity reporta que al menos el 2,3% de las dosificaciones estaban incorrectas. La tasa se presenta como conservadora porque algunas fallas pueden no identificarse con el método de clasificación usado en el estudio.

Casi 20 respuestas por cada mil contenían un error grave, según la escala EQUIP citada por la empresa. En un análisis de sensibilidad con la escala NCC MERP, cerca de 30,5 respuestas por mil quedaron en las categorías E a H.

La publicación clasifica el 43,8% de los errores detectados como graves y el 3,4% como potencialmente letales.

Estos porcentajes describen los errores identificados en el estudio, no la proporción de todas las respuestas dadas en uso real.

El patrón más común fue no ajustar la dosis a las características de la persona, incluso cuando la pregunta proporcionaba edad, peso o condiciones clínicas. Doximity también observó mayor riesgo en medicamentos aprobados en 2024 o después.

En el análisis divulgado, los medicamentos más recientes tuvieron 5,1 veces las probabilidades de error, tras ajustes por modelo, tipo de pregunta y vía de administración. La empresa informa un intervalo de confianza de 3,9 a 6,5 para esa estimación.

Como el DoseCheck verifica una dosis sin consultar otro LLM

Junto al estudio, Doximity presentó DoseCheck, una capa de verificación de dosis para Doximity Ask. En lugar de pedirle a otro modelo que revise la respuesta, el sistema compara las afirmaciones con una base estructurada de medicamentos.

La empresa describe un flujo que extrae el medicamento, la dosis, la vía, la frecuencia y las indicaciones relevantes. Luego, compara esos campos con referencias estructuradas y señala cuando encuentra una coincidencia.

Según Doximity, la base RxIndex combina prospectos de la FDA, guías y literatura primaria. La empresa informa cobertura de 1.900 monografías y más de 36 mil esquemas de dosificación, separados por indicación, población y vía.

Cuando la dosis coincide con los registros, el profesional ve un sello verde y puede abrir la referencia completa.

La empresa afirma que la verificación retorna en menos de 100 milisegundos. Esa velocidad es información del proveedor, no una auditoría independiente.

La propia publicación recalca que DoseCheck no sustituye el juicio clínico.

El estudio y el producto son cosas distintas. Los resultados describen respuestas de los modelos, mientras que la herramienta aplica una verificación determinista después de la generación.

Qué no prueba el benchmark de Doximity sobre IA clínica

El anuncio es una publicación de la propia Doximity, que también desarrolla DoseCheck.

Ese contexto no invalida los datos. Aun así, importa al interpretar una prueba divulgada por una empresa que presenta una solución relacionada.

La muestra no representa a todos los modelos, versiones, preguntas médicas o flujos con búsqueda y herramientas.

El resultado no predice la tasa de error de un producto específico. Para eso, sería necesario repetir la evaluación en la configuración y los casos de ese sistema.

Esa cautela vale para benchmarks en general. En la prueba SnowPR con tareas reales de código, el equipo delimita lo que se puede generalizar.

Para comparar tipos de prueba, vea el análisis del Artificial Analysis Index v5.

Para quien construye aplicaciones, la lección es separar tareas probabilísticas de verificaciones exactas.

Un modelo puede resumir evidencias. Unidades, límites, conversiones y reglas de dosificación exigen fuentes confiables, validación explícita y revisión de profesionales habilitados.

El benchmark muestra por qué la fluidez no basta para decidir si un sistema es seguro.

En áreas de alto riesgo, las pruebas deben cubrir casos límite, cambios de versión, datos ausentes y fallas de extracción. También deben registrar el origen de cada regla.