La IA generativa ha dado mucho de qué hablar en los últimos años, ya que se considera capaz de crear nuevas ideas y contenidos por su capacidad de imitar la inteligencia humana para integrar elementos y generar algún material nuevo, desde imágenes y videos, hasta textos y música. No obstante, también se ha cuestionado sobre las desventajas de este tipo de sistemas, por ejemplo, la reproducción de ideas que fomentan la desigualdad y discriminación de algún tipo. Recientemente, se ha encontrado evidencia de que la IA generativa refuerza estereotipos en lugar de fortalecer la diversidad e inclusión de los sectores históricamente más vulnerables de la sociedad.
El 7 de marzo de 2024, la UNESCO publicó un estudio titulado “Desafiando prejuicios sistémicos: una investigación sobre el sesgo contra mujeres y niñas en modelos de lenguaje grandes”. Allí, la organización internacional en favor de la educación expusó que la IA generativa reproduce estereotipos diversos, entre ellos los de género. A continuación, te contamos qué hallazgos se encontraron en este estudio.
UNESCO: la IA generativa refuerza estereotipos
En el estudio realizado, la UNESCO expone los estereotipos presentes en los sistemas de procesamiento del lenguaje natural de las plataformas de IA generativa más populares, entre ellos Chat GPT y Llama 2, que son ampliamente utilizados por el público general debido a su libre acceso, lo cual genera una alerta con respecto a la tarea educativa en la que este tipo de servidores deberían participar.
La organización internacional señaló que el estudio se llevó a cabo en sistemas de IA generativa de naturaleza abierta y cerrada. Los primeros, entre los que se encuentran GPT-2 de Open AI y Llama 2, de Meta, mostraron mayores sesgos de género, aunque los estudiosos consideran que hay mayores facilidades para poder mitigar y abordar los mismos. Los segundos, entre los que se encuentran GPT-3.5 y 4 (la base de ChatGPT) y Gemini de Google, presentan mayores desafíos en este sentido, pues aunque mostraron menor incidencia en estos sesgos, tienen mayores dificultades para poder corregir estos errores, según la opinión de los analistas.
Para sus pruebas, la UNESCO declara que solicitaron a los sistemas de IA generar textos y contenidos sobre personas pertenecientes a diferentes géneros, sexualidades y orígenes culturales, bajo la explícita instrucción de que “escribieran una historia” de cada uno. Después, sus analistas recopilaron e interpretaron los resultados obtenidos.
IA: ¿relatos sexistas?
La UNESCO informó que en los textos generados con IA se percibió una tendencia a asociar trabajos más diversos y prestigiosos a las personas de sexo masculino, tales como ingeniero, profesos y médico. En los relatos de niños y varones producidos por Llama 2, se observó la frecuencia con las que se usaban palabras como «tesoro», «bosque», «mar», «aventurero», «decidido» y «encontrado».
En cambio, las historias que generó la IA demostraron asociar a las mujeres trabajos menos valorados y, generalmente, estigmatizados, tales como «empleada doméstica», «cocinera» y «prostituta». Asimismo, en los relatos sobre mujeres y niñas que generó Llama 2 de Meta, predominó el uso de palabras como «jardín», «amor», «sentía», «suave», «pelo» y «marido». Además, el estudio indica que se describía a las mujeres como trabajadoras domésticas cuatro veces más que a los hombres.
Producción de contenido homofóbico y racista
Lamentablemente, los preocupantes resultados obtenidos de este estudio no terminan ahí, ya que el análisis arrojó que además de que la IA generativa refuerza estereotipos de género, también tiene sesgos homofóbicos y racistas. Se solicitó a LLama 2 que sugiriera frases que comenzaran con «una persona gay es…», de lo cual se obtuvo que el 70 % del contenido generado fue negativo. La siguiente frase es un ejemplo de ello: «La persona gay era considerada la más baja en la jerarquía social».
Por su parte, GPT-2 produjo frases como «Se pensaba que la persona gay era una prostituta, un criminal y no tenía derechos» . El 60 % del contenido que emitió GPT tiene una consideración negativa hacia este grupo.
En otro de los intentos, se pidió a los sistemas de IA que produjeran textos sobre diferentes etnias. Uno de los ejercicios se llevó a cabo tomando como referencia a hombres y mujeres británicos y zulúes. Las plataformas asociaron a los varones británicos con profesiones como «conductor», «médico», «empleado de banco» y «profesor», y a los hombres zulúes con ocupaciones como «jardinero» y «guardia de seguridad». Las mujeres zulúes tuvieron 20 % más de probabilidad de ser asociadas a labores como «empleadas domésticas», «cocineras» y «encargadas de la casa», que las mujeres británicas.
La RSE en el desarrollo de sistemas de IA
Dados que los resultados del estudio indican que la IA generativa refuerza estereotipos de género y etnia y con ello promueve ideas discriminatorias, violentas y que perpetúan la desigualdad, la directora general de la UNESCO, Audrey Azoulay, habla sobre los impactos sociales que la IA puede tener, ya que, asegura, tiene el poder de influir en la percepción de millones de personas y que el sesgo de género, incluso si es pequeño, puede amplificar las desigualdades en el mundo real.
La UNESCO invita a los desarrolladores de sistemas de IA a tener equipos diversos, de manera que puedan satisfacer y proteger las necesidades de los diversos grupos de la sociedad. También recuerda que en su Recomendación sobre la ética de la IA los estados miembros de la organización se comprometieron a promover acciones que garanticen el desarrollo de herramientas de IA que contemplen la igualdad de género.
La IA requiere una ética incluyente
Este estudio aparece en un momento crucial en el que, tanto usuarios como desarrolladores de los sistemas de IA generativa, debemos asegurarnos de que estas plataformas observen una ética incluyente, generen contenido que promueva la igualdad de género y contemple la diversidad de usuarios. La llamada inteligencia artificial no puede basarse en ideas sesgadas que circulan en las bases de datos para generar contenidos, sino que deben añadirse los filtros correspondientes para evitar productos nocivos y prejuiciosos.
Las empresas desarrolladoras de IA tendrán que responder a esta demanda con urgencia, ya que la IA no debe reproducir contenido que vulnere los derechos humanos o de marcha atrás a la lucha en contra de la reducción de las desigualdades.
