El sesgo algorítmico es una tendencia sistemática de un algoritmo a producir resultados desiguales o distorsionados para personas o grupos. En sistemas de IA, el sesgo puede surgir de los datos, de las etiquetas usadas en el entrenamiento, de la forma en que se definió el problema o del contexto en el que se aplica la herramienta.
Como funciona
Un modelo aprende patrones a partir de los ejemplos y objetivos que recibe. Si los datos no representan adecuadamente a las personas afectadas, si cargan decisiones históricas injustas o si usan una variable que funciona como sustituta de otra característica sensible, el sistema puede reproducir o ampliar desigualdades.
El sesgo también puede aparecer después del entrenamiento. Una métrica elegida para optimizar el modelo puede favorecer un tipo de error en detrimento de otro. Una aplicación puede usarse en una población diferente a la evaluada, o una decisión automatizada puede aplicarse sin considerar circunstancias individuales.
Encontrar sesgo exige mirar más allá del código. El equipo necesita preguntar quién está representado en los datos, quién no lo está, qué errores son más perjudiciales y cómo varían los resultados entre grupos relevantes. Las métricas de justicia dependen de la tarea y no siempre pueden satisfacerse simultáneamente; por eso, es necesario explicitar las elecciones, documentar límites y escuchar a las personas impactadas.
El tema está ligado a la ética en IA y a la IA responsable, que tratan de principios y gobernanza. El análisis técnico puede revelar disparidades, pero la decisión sobre qué es justo también involucra contexto social, reglas y responsabilidad humana.
Exemplo prático
Considera un sistema que prioriza currículos para una vacante. Si los ejemplos históricos reflejan prácticas de contratación que favorecían ciertos perfiles, el modelo puede aprender patrones que reduzcan la visibilidad de candidatos calificados de otros grupos. El equipo no debe presumir que remover campos explícitos, como edad o género, elimina el problema, pues otras variables pueden estar correlacionadas.
Una evaluación cuidadosa compara errores y resultados entre grupos pertinentes, revisa los datos y verifica si la herramienta realmente ayuda en el proceso. También define cómo una persona puede contestar una decisión y cómo se analizan los casos atípicos. El análisis debe respetar la privacidad y las reglas aplicables.
Para que serve
Identificar sesgo algorítmico sirve para evaluar si una herramienta distribuye errores y oportunidades de modo aceptable. Esto es importante en selección de personas, crédito, salud, educación, moderación y otros contextos en los que las decisiones afectan derechos o acceso a servicios.
Un equipo puede reducir riesgos combinando auditoría de datos, pruebas antes del despliegue, monitoreo continuo y revisión humana proporcional al impacto. Debe registrar la finalidad del sistema, los grupos evaluados, las métricas elegidas y las limitaciones encontradas.
No existe una única prueba que demuestre que un algoritmo es imparcial en cualquier situación. El objetivo es hacer los riesgos mensurables y debatidos, corregir las disparidades identificadas y mantener canales de contestación. Cuando el impacto potencial es alto y no hay mitigación adecuada, limitar o no usar el sistema también puede ser la decisión responsable.