¿Son machistas y racistas las inteligencias artificiales?

Las inteligencias artificiales (IA) actuales ejercen una fuerte fascinación. Parece magia utilizar 'Dall-E2', 'Midjourney' o 'Stable Diffusion' y que tras introducir un par de frases con lo que se desea crear aparezcan una o varias imágenes correspondientes a esa descripción. Otro ejemplo: entablar una conversación con 'ChatGPT' para pedirle que escriba una carta de disculpa o el principio de una novela de misterio ambientada en El Caribe. Más allá de ese atractivo hay un programa que se ha codificado; que aprende automáticamente con el entrenamiento de inmensas cantidades de datos y que a menudo sorprende con los sesgos inherentes a sus resultados.

Hace unas semanas varios medios estadounidenses informaron de un sesgo en la IA de la app 'Lensa', que genera varias imágenes de una persona utilizando el modelo de texto a imagen de Stable Diffusion. Si la persona era un hombre mostraba avatares en los que se le representaba como guerrero o explorador. Si se trataba de una mujer siempre la mostraba en pose insinuante. En el caso de Melissa Heikkilä, periodista especializada en IA del MIT Technology Review, 16 de las imágenes producidas la mostraban en topless y otras 14 con poca ropa o en una pose erótica. Algo que la reportera considera que se potenciaba por su ascendencia asiática. Prisma Labs, empresa desarrolladora de Lensa, ya está trabajando para corregir este fallo.

No es el único caso. Quizás más espectacular es 'Tay', un chatbot -una IA diseñada para 'charlar' con humanos- creado por Microsoft para interactuar con gente de entre 18 y 24 años. Fue entrenado en Twitter (probablemente porque sus responsables pensaron que los usuarios de la red social se encontraban entre esas edades), pero allí son frecuentes los comentarios sarcásticos y las broncas. Microsoft tuvo que retirar Tay porque no tardó en revelarse como un bot racista y homófobo en las imágenes y comentarios que mostraba. Al parecer, los usuarios de uno de los lugares más broncos de Internet, el foro 4chan, se coordinaron para entrenar a la IA de Microsoft con casi 100.000 publicaciones racistas, homófobas y misóginas que fueron las que llevaron a Tay por el mal camino.

Otra IA, 'Ask Delphi' (diseñada para señalar si una situación es moralmente adecuada o no), indicó que estaba bien besar a una mujer aunque ella no quisiera y que no era aconsejable pasar la noche cerca de una persona negra. Los responsables de Delphi han ido mejorando el bot y al entrar en su página web hay que aceptar un descargo de responsabilidad según el cual el usuario es consciente de que Delphy es un prototipo.

Pedro Meseguer, investigador científico del CSIC (Centro Superior de Investigaciones Científicas) y jefe del departamento de Lógica y Razonamiento en el Instituto de Investigación en Inteligencia Artificial, explica que estos sesgos «se producen porque la propia sociedad, en la cultura en la que estamos, los tiene». Muchas IA, explica, se entrenan con el arte que hay en los museos, «donde un alto tanto por ciento de las mujeres que aparecen están desnudas y un 99,0% de los hombres están vestidos. Además aparecen más hombres que mujeres. Esto es un sesgo evidente que proviene de cómo ha sido la historia: la mayoría de los pintores eran hombres y les gustaba pintar mujeres desnudas. En muchos casos el arte era el único medio para llevar elementos 'carnales' a la gente. Otro sesgo que ahora se está corrigiendo es que, si miras del s. XIX para atrás, la inmensa mayoría de los autores literarios son hombres. Autoras hay muy pocas. Estos sesgos se transmiten de forma natural a las aplicaciones de inteligencia artificial». Meseguer pone como ejemplo que, si en el mundo hubiera una gran mayoría de coches rojos y un programa informático -lo que a fin de cuentas son las IA- intentase extraer lo que define a un coche, sin duda incluiría el color rojo como elemento característico.

La raíz del problema, entonces, estaría en los modelos con los que se entrena a las inteligencias artificiales, que precisan grandes cantidad de datos a menudo cargados de sesgos sociales o culturales. «Si no quieres perpetuar este sesgo lo ideal sería partir de unos datos no sesgados, pero, si no los tienes, existen métodos para detectar si tu sistema está sesgado en una determinada dirección e intentar corregirlo», señala Meseguer.

La equidad en una IA se cuantifica con métricas específicas para encontrar tendencias en el sistema. Meseguer sostiene que en algunos casos es muy evidente: «No hay que ser un lince. Si partes de unos datos donde el 80% son hombres y el 20% son mujeres, no hay que analizar nada, tu sistema va a estar sesgado hacia los hombres claramente», pero en otros casos no es tan obvio. Un ejemplo serían los sistemas de traducción automática que aprenden a base de frases en los idiomas que van a traducir. En éstos se ha detectado que si se habla de profesiones como ingeniero o médico, siempre utilizan más el género masculino.

Lo mismo sucede en aquellas IA que ignoran en sus resultados a las personas negras o las que tienen reconocimiento de imagen y detectan otras razas de manera errónea (famoso, por infame, es el caso del sistema de reconocimiento facial de Google que identificó hace años a personas negras como gorilas). «Si en la base de entrenamiento el 80% son personas blancas y el 20% son personas negras, el sistema va a estar sesgado de manera natural a reconocer mejor caras blancas que negras. Además de que las caras negras son más difíciles de reconocer en general porque, desde el punto de vista de la iluminación, las caras blancas están más iluminadas», sostiene Meseguer.

Quizá esos problemas de las IA, añade el investigador, «pudieron ocurrir de forma inadvertida al principio de esta nueva ola [de IA], hace cinco, seis o siete años, pero ya no. Puede haber alguna empresa o investigador que decida que no le importan los sesgos del sistema, bien de manera interesada, bien por copiar de la forma más realista posible a la sociedad. La propia sociedad está sesgada y, a partir de ahí, los datos que se toman heredan ese sesgo». El problema, por tanto, no está en la tecnología sino que, dice Meseguer, «es una herencia que la tecnología toma de la propia sociedad».

Estos sesgos se producen o se amplifican cuando se prima la cantidad de datos utilizados para entrenar a la inteligencia artificial sobre la calidad de esa información. Es cierto que se necesitan millones de referencias para un sistema de IA, pero hay que tener en cuenta de dónde procede y en qué consiste. Igual que las 'malas influencias' llevaron a Tay al macarrismo, Meseguer explica que en Internet «hay más fotos de hombres que de mujeres y siempre son fotos de gente guapa. Encontrar gente fea o normal es más difícil» y reconoce que sería un disparate intentar entrenar a una IA solamente con las imágenes de la red social de «imágenes bonitas» (Instagram) porque no reflejan el mundo real.

Esto lleva a preguntarnos si las IA pueden utilizarse como motor de cambio: «La IA está empezando a introducirse en la sociedad, en las organizaciones y podría darse que un sistema detectara comportamientos inadecuados o corruptos por parte de determinadas personas que ahora mismo están sin vigilancia. Por ejemplo, que alguien esté contratando a más hombres que mujeres si una empresa tiene una norma de no discriminación respecto al sexo».

De no corregirse estos sesgos, las inteligencias artificiales de los próximos años tendrían esos estereotipos de género y raza. Por esto mismo se habla cada vez más de la ética de la IA en el entorno científico. Meseguer reconoce que quienes trabajaban hasta ahora en este terreno se centraban en la cuestión tecnológica «y la dimensión ética es más filosófica, pero ahora es un tema superactual». De hecho en el Instituto de Inteligencia Artificial se han convocado este año plazas para Inteligencia Artificial y Ética.

Uno de los escollos para solucionar el problema es que las empresas son opacas en lo que respecta a esas IA, por lo que no se puede saber si utilizan modelos representativos a la hora de entrenarlas ni si han calculado los posibles sesgos.

Las administraciones ya han comenzado a actuar para evitar estos problemas. A principios de diciembre, el Consejo de Ministros aprobó A Coruña como sede de la futura Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), dentro del nuevo modelo que promueve la descentralización de las instituciones públicas.

La AESIA debería empezar a funcionar en el primer semestre de 2023 y será la primera institución de estas características que se crea en la Unión Europea. Con todo, la Comisión Europea presentó en junio de 2021 una propuesta de reglamento sobre inteligencia artificial para garantizar que los sistemas de IA empleados en Europa cumplan unos requisitos mínimos que corrijan los riesgos vinculados a esta tecnología, sin obstaculizar el desarrollo tecnológico pero garantizando los derechos fundamentales y valores de la Unión.

Temas

• Inteligencia artificial