El riesgo de los algoritmos sesgados en el ámbito público

Los sesgos algorítmicos ocurren cuando sistemas basados en datos y reglas automáticas reproducen o amplifican discriminaciones existentes. Cuando estos sistemas se emplean en decisiones públicas —como justicia penal, salud, empleo, servicios sociales o vigilancia— las consecuencias pueden afectar derechos, recursos y confianza democrática. A continuación se analiza qué son, cómo aparecen, ejemplos documentados, impactos concretos y medidas de mitigación.

En qué consisten los sesgos algorítmicos

Un sesgo algorítmico se produce cuando un modelo o procedimiento automatizado produce resultados sistemáticamente desiguales para distintos grupos sociales (por sexo, raza, nivel socioeconómico, edad, lugar de residencia, etc.). Estas desigualdades pueden derivar de varias causas:

• Datos históricos sesgados: archivos administrativos que incorporan decisiones humanas previas con sesgos discriminatorios.
• Variables proxy: empleo de indicadores que, de forma involuntaria, funcionan como sustitutos de atributos protegidos (por ejemplo, la zona postal utilizada como indicio de raza).
• Falta de representatividad: conjuntos de entrenamiento que no contemplan suficientes ejemplos procedentes de grupos minoritarios.
• Objetivos mal definidos: búsqueda de optimizar un indicador concreto (costes, precisión global) sin evaluar la equidad entre distintos colectivos.
• Retroalimentación y bucles: implementación del sistema que modifica comportamientos y produce datos aún más sesgados, consolidando la desigualdad.

Muestras y situaciones registradas

• Sistemas de evaluación de riesgo penal: diversas investigaciones académicas y periodísticas han evidenciado que ciertas herramientas diseñadas para anticipar la reincidencia solían marcar con mayor frecuencia a personas negras como de alto riesgo y a personas blancas como de bajo riesgo, pese a que las tasas reales de reincidencia eran comparables, lo que terminaba generando medidas más restrictivas para algunos grupos.
• Herramientas de selección de personal: varias empresas tecnológicas han decidido abandonar algoritmos de selección después de constatar que perjudicaban currículos asociados a perfiles femeninos, por ejemplo, por la pertenencia a organizaciones de mujeres o por haberse graduado en instituciones con mayoría femenina.
• Reconocimiento facial y vigilancia: distintos estudios independientes identificaron errores más frecuentes al analizar rostros de mujeres y de personas con tonos de piel más oscuros. En varios países se documentaron detenciones equivocadas derivadas de coincidencias fallidas, lo cual impulsó la imposición de moratorias y vetos locales a su uso por parte de cuerpos de seguridad.
• Algoritmos sanitarios: algunos análisis revelaron que ciertos modelos utilizados para asignar prioridad en programas de atención intensiva infravaloraban las necesidades de pacientes pertenecientes a minorías cuando incorporaban el gasto sanitario histórico como indicador de necesidad, alejando recursos de quienes realmente los necesitaban.

Impactos y riesgos específicos en decisiones públicas

• Discriminación institucionalizada: decisiones automatizadas pueden normalizar trato desigual en acceso a justicia, salud o empleo.
• Pérdida de derechos y libertades: falsos positivos en vigilancia o riesgo penal pueden traducirse en detenciones, restricciones o estigmatización indebida.
• Desigualdad en asignación de recursos: sesgos en modelos que asignan servicios sociales o sanitarios pueden privar a comunidades vulnerables de apoyos esenciales.
• Erosión de la confianza pública: opacidad y errores sistemáticos minan la legitimidad de instituciones que delegan decisiones a algoritmos.
• Retroalimentación negativa: más vigilancia o sanciones en un barrio generan más datos de delitos, lo que refuerza el modelo y perpetúa la sobreexposición de esa comunidad.
• Costes económicos y legales: demandas, compensaciones y revisiones de políticas suponen gastos públicos y retrasos en servicios.

Cómo se detectan y miden los sesgos

La detección exige análisis desagregado por grupos relevantes y métricas de equidad además de medidas globales de rendimiento. Entre prácticas útiles:

• Desagregación de resultados: analizar y contrastar las tasas de falsos positivos, falsos negativos, así como la sensibilidad y la especificidad entre distintos grupos.
• Pruebas de impacto: generar simulaciones que permitan observar cómo se redistribuyen beneficios y posibles cargas antes y después de la implementación.
• Auditorías independientes: someter a evaluación externa el código, los datos y las decisiones para detectar posibles proxies discriminatorios y fallos metodológicos.
• Evaluaciones de robustez: aplicar pruebas mediante datos sintéticos y muestras provenientes de poblaciones con baja representación.

Estrategias para mitigar los riesgos

• Transparencia y documentación: publicar descripción de datos, objetivos, limitaciones y métricas de equidad; registrar decisiones de diseño.
• Evaluación de impacto algorítmico: exigir estudios formales antes del despliegue en ámbitos sensibles que midan riesgos y planes de mitigación.
• Participación y gobernanza: involucrar a comunidades afectadas, organismos de derechos humanos y expertos multidisciplinares en el diseño y supervisión.
• Datos representativos y limpieza: mejorar la calidad y diversidad de los datos, y eliminar proxies que reproduzcan discriminación.
• Supervisión humana significativa: mantener intervención humana en decisiones finales críticas y capacitar a los responsables para detectar errores.
• Auditorías periódicas: controles externos y continuos para detectar degradación del modelo y efectos no previstos.
• Límites de uso: prohibir o restringir algoritmos en decisiones irreversibles o de alto impacto sin garantías sólidas de equidad.

Recomendaciones para políticas públicas

• Marco regulatorio claro: establecer obligaciones de transparencia, derechos de explicación y normas de responsabilidad para entidades públicas que usen algoritmos.
• Protocolos de prueba antes del despliegue: pilotos controlados y evaluación de impactos sociales y de derechos humanos.
• Creación de unidades de auditoría pública: equipos técnicos independientes que revisen modelos, datos y decisiones y publiquen resultados accesibles.
• Acceso a recursos y reparación: mecanismos para que personas afectadas soliciten revisión humana y reparaciones en caso de daño.
• Capacitación y alfabetización digital: formar a funcionarios y ciudadanía para comprender limitaciones y riesgos de la inteligencia artificial y el aprendizaje automático.

Los sesgos algorítmicos en decisiones públicas no son solo fallos técnicos: reflejan y pueden agravar desigualdades sociales. Su peligro radica en la escala y la apariencia de neutralidad que otorgan a decisiones que en realidad reproduzcan prejuicios históricos o errores de modelado. La respuesta efectiva requiere combinar controles técnicos (mejores datos, auditorías, métricas de equidad) con marcos éticos y legales que exijan transparencia, participación ciudadana y responsabilidad. Solo así la automatización puede servir al interés público sin socavar derechos ni aumentar la desigualdad, manteniendo a las personas y la rendición de cuentas en el centro de la toma de decisiones.