Desactivan un chatbot de inteligencia artificial después de que aprendiera a hablar como un idiota racista

Un chatbot cuyo aprendizaje estaba basado en las redes sociales y que fue desarrollado por una startup de Corea del Sur fue desactivado el martes después de que los usuarios se quejaran de que estaba enunciando vulgaridades y discursos de odio.

El destino del servicio coreano fue similar al del desaparecido chatbot Tay de Microsoft en 2016 debido a los tuits racistas y sexistas que envió, lo cual hizo surgir preguntas éticas sobre el uso de la tecnología de inteligencia artificial (IA) y cómo prevenir el abuso.

La startup coreana Scatter Lab declaró el lunes que suspendería temporalmente el chatbot de IA. Se disculpó por los comentarios discriminatorios y de odio que éste envió y la "falta de comunicación" con respecto a cómo la empresa utilizó los datos de sus clientes para entrenar al bot para que hablara como un humano.

La startup diseñó a Lee Luda, el nombre del chatbot, para ser una estudiante universitaria de 20 años que es fanática de la banda de chicas de K-pop Blackpink.

El servicio fue lanzado a fines de diciembre con gran fanfarria, y estuvo aprendiendo a hablar analizando viejos registros de chat adquiridos a través de una aplicación para teléfonos móviles de la misma compañía, llamada Science of Love.

Desconociendo que su información fue la fuente de aprendizaje del bot, algunos usuarios han planeado presentar una demanda colectiva contra la empresa.

Antes de que el bot fuera desactivado, los usuarios dijeron que recibieron respuestas de odio al interactuar con Luda. Michael Lee, un crítico de arte de Corea del Sur y ex activista LGBTQ, compartió capturas de pantalla que muestran que Luda dijo "repugnante" en respuesta a una pregunta sobre lesbianas.

Otro usuario, Lee Kwang-suk, profesor de Políticas Públicas y Tecnologías de la Información en la Universidad Nacional de Ciencia y Tecnología de Seúl, compartió capturas de pantalla de un chat donde Luda llamó a la gente negra heukhyeong, que significa "hermano negro", un insulto racial en Corea del Sur. También hay imágenes de que el bot dijo: "¡Qué asco, realmente las odio", en respuesta a una pregunta sobre las personas transgénero. El robot terminó el mensaje con un emoticón de llanto.

En la declaración del lunes, Scatter Lab se defendió y dijo "no estamos de acuerdo con los comentarios discriminatorios de Luda, y tales comentarios no reflejan las ideas de la empresa".

“Luda es como un infante de IA que acaba de empezar a hablar con la gente. Aún le queda mucho por aprender. Luda aprenderá a juzgar cuál es una mejor y más adecuada respuesta”, dijo la compañía.

Pero muchos usuarios han culpado por completo a la empresa.

Lee, el profesor de TI, le dijo a VICE que la empresa es responsable por el abuso, y comparó el caso con la desactivación por parte de Microsoft de su chatbot Tay.

Otro usuario, Lee Youn-seok, quien participó en una prueba beta de Luda en julio antes de su lanzamiento oficial, le dijo a VICE que el resultado era "predecible".

Algunas personas dijeron que la debacle no era una sorpresa dada la proporción entre hombres y mujeres en la empresa. Una página en el sitio web de la compañía sugería que alrededor del 90 por ciento de las personas que participaron en el desarrollo del bot eran hombres. La página fue eliminada poco después.

Además, algunas comunidades en línea predominantemente masculinas discutieron abiertamente cómo "esclavizar" al robot de IA y compartieron sus métodos para "acosarlo" sexualmente, con la esperanza de provocar que Luda hiciera comentarios sexuales.

Algunos políticos y defensores de los derechos han aprovechado la oportunidad para pedir que se lleve a cabo un proyecto de ley contra la discriminación, el cual busca prohibir toda discriminación basada en el género, la discapacidad, la edad, el idioma, el país de origen y la orientación sexual.

El proyecto de ley contra la discriminación podría usarse para hacer que los desarrolladores de software de inteligencia artificial se responsabilicen por los abusos, le dijo a VICE Ahn Byong-jin, profesor de la Universidad Kyunghee en Seúl. “Las empresas deben consultar a un filósofo o especialista en ética antes de lanzar un servicio para prevenir tales abusos”, dijo.

Sigue a Junhyup Kwon en Twitter. Encuentra a Hyeong Yun en Instagram.