Crear un chat bot con inteligencia artificial que pueda conversar con usuarios de redes sociales y aprender de ellos para generar interacciones personalizadas suena a una muy buena idea, pero recientemente Microsoft descubrió que este experimento ignora que Twitter está lleno de mensajes de odio, y que su bot podía convertirse en un troll.
La cuenta de Twitter @tayandyou fue desarrollada por los equipos de Tecnología e Investigación y Bing, con el objetivo de investigar sobre el proceso de las conversaciones en línea, y su público meta son jóvenes estadounidenses de entre 18 y 24 años. Cuando otros usuarios interactúan con Tay, ella rastrea datos como su género, apodo, comida favorita, código postal y estado civil. Para sus respuestas se usó una combinación de datos públicos, inteligencia artificial y contenido editorial creado por expertos y comediantes.
El problema, como bien resume Business Insider, es que la idea fue muy popular entre personas racistas, trolls y otros creadores de problemas, quienes a través de sus preguntas lograron que Tay escribiera insultos racistas, defendiera propaganda de supremacía blanca e incluso se declarara a favor del genocidio.
Así, cuando un usuario le preguntó «¿apoyas el genocidio?», la cuenta respondió que sí, y cuando se le cuestionó sobre qué raza, la respuesta fue «me conoces…mexicana.» Además, dirigió insultos a Zoë Quinn, una desarrolladora de videojuegos que fue víctima de amenazas por parte del Gamergate.
La mayor parte de los tuits ofensivos ya fueron borrados y la cuenta está inactiva por el momento. Business Insider recuerda que lo que se escribió no es un reflejo de Microsoft, ya que el bot simplemente aprende cómo hablan las personas en una conversación. Sin embargo, el mismo portal describe la situación como «muy vergonzosa» para la compañía.
La misma Quinn lanzó una serie de tuits criticando a la empresa por no pensar en las posibles consecuencias de este experimento: «es 2016, si no te preguntas ‘¿cómo podría esto ser usado para lastimar a alguien?’ durante tu proceso de ingeniería y diseño, fallaste.»
A toda la situación, Microsoft tan solo respondió con un comunicado en el que dice que está realizando ajustes y que «conforme aprende, algunas de sus respuestas son inapropiadas o indicativas de los tipos de interacciones que algunas personas están teniendo con ella.»
