En el desarrollo de la inteligencia artificial (IA), se han evidenciado múltiples casos de discriminación derivados de los llamados algoritmos de caja negra, cuyo funcionamiento y decisiones son opacos incluso para sus creadores. Estos algoritmos, que constituyen la base de la mayoría de las aplicaciones de IA modernas, han llevado a situaciones de discriminación contra colectivos vulnerables, evidenciando un problema sistémico en la tecnología actual. La discriminación se manifiesta en diferentes ámbitos, desde la clasificación errónea de fotos por parte de Google hasta algoritmos que afectan decisiones educativas y de salud, favoreciendo a unos grupos sobre otros y perpetuando desigualdades.
Ante esta problemática, la Unión Europea ha propuesto una nueva legislación que busca atacar los sesgos en los sistemas de IA que representan un alto riesgo para la sociedad. La propuesta incluye medidas que deben ser implementadas en las fases de diseño, entrenamiento, validación y prueba de los algoritmos, asegurando que los datos utilizados sean representativos, estén libres de errores y sean completos para prevenir la incorporación de sesgos. Además, se enfatiza en la importancia de prácticas de gobernanza y gestión de datos, como análisis específicos dirigidos a la detección y corrección de sesgos, anticipando el surgimiento de un nuevo sector enfocado en esta tarea.
Tras la comercialización de los sistemas de IA, la normativa propone obligaciones específicas de transparencia y seguimiento para garantizar un uso e interpretación adecuados de los resultados generados por la IA. Esto incluye la creación de archivos de registro durante la fase de entrenamiento y operaciones posteriores para asegurar la trazabilidad del sistema y facilitar la investigación en caso de funcionamientos inadecuados. Se contempla, asimismo, la implementación de medidas de vigilancia humana durante el uso de los sistemas de IA, permitiendo una intervención rápida ante riesgos potenciales.
Para más información, visite el artículo original en The Conversation.
.
.
