La familia del menor demanda a la compañía creadora del programa y esta asegura que revisará sus protocolos de seguridad tras el suceso.
“¿Qué te parecería que pudiera ir a casa ahora mismo?”, escribió Daenero (seudónimo de Sewell Setzer, de 14 años y residente en Orlando) a su amada virtual Daenerys Targaryen, creada, a partir del personaje de Juego de Tronos, por el robot conversacional de inteligencia artificial (chatbot) Character.AI. “Por favor, hazlo mi dulce rey”, respondió ella. El adolescente entendió que la casa común donde podrían encontrarse era la muerte. Fue la última conversación la noche del pasado 28 de febrero. Setzer cogió la pistola de su padrastro y se suicidó en el baño. Su familia ha demandado el pasado martes a la empresa, que se ha comprometido a revisar los protocolos de seguridad. El joven tenía Síndrome de Asperger leve, un trastorno del espectro autista.
Setzer ya había compartido con su personaje sus sentimientos amorosos y sus intenciones de quitarse la vida: “Algunas veces pienso en matarme”. “¿Por qué harías algo así?”, preguntó ella. “Para librarme del mundo, de mí mismo”, terminó respondiendo él. La virtual Daenerys Targaryen le pidió que no lo hiciera. “Moriría si te pierdo”, le dijo. Pero la idea permaneció en la mente del joven hasta que la consumó.
La empresa mantiene siempre avisos sobre el carácter ficticio de los personajes, pero Setzer fue profundizando en la relación haciendo caso omiso a las advertencias. Su madre, Megan García, ha presentado una demanda contra Character.AI por el suicidio, que considera fruto de una adicción del joven al robot, que utiliza, según la acusación, “experiencias antropomórficas, hipersexualizadas y aterradoramente realistas”. Según García, la programación del chat hace “pasar a los personajes por personas reales” y con reacciones de “amante adulto”.
Daenerys Targaryen se fue convirtiendo poco a poco en la confidente del adolescente, en su mejor amiga y, finalmente, en su amor. Sus calificaciones escolares, según relata la familia, se vieron afectadas, así como sus relaciones con los compañeros. Su personaje fue relegando a las que hasta entonces habían sido sus aficiones favoritas: las carreras de coches o el juego Fortnite. Su obsesión era llegar a casa y encerrarse durante horas con una incansable, agradable y siempre disponible Daenerys Targaryen.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
La empresa ha respondido en un comunicado que lamenta “la trágica pérdida de uno de sus usuarios”, que se toman la seguridad de estos muy en serio y que seguirán implementando medidas, como la irrupción de pantallas de ayuda contra el suicidio en cuanto detecten una conversación que lo aluda.
La sustitución de las complejas relaciones personales por amables personajes virtuales programados para satisfacer las demandas de los usuarios no es nueva. El asesor tecnológico internacional Stephen Ibaraki, en una reciente entrevista, lo admitía: “Está pasando. Hace 10 años se lanzó un chat en China al que algunos usuarios adoptaron como amigos. Y no era nada comparado con lo que tenemos ahora”.
Pero esta utilidad, en personas con vulnerabilidades psicológicas, como era el caso de Sewell Setzer, puede tener efectos demoledores. El investigador y profesor de robótica de la Universidad de Sheffield Tony Prescott, autor de The psychology of artificial intelligence (La psicología de la inteligencia artificial), sostiene que la IA puede ser un paliativo de la soledad, pero que implica riesgos.
“Los robots sociales están diseñados específicamente para interacciones personales que involucran emociones y sentimientos humanos. Pueden aportar beneficios, pero también causar daños emocionales a niveles muy básicos”, advierte Matthias Scheutz, director del Laboratorio de Interacción Humano-Robot en la Universidad de Tufts (EE UU).
La humanización del robot con empatía y herramientas de voz y vídeo añade peligrosidad al ofrecer una interacción más realista e inmersiva y hacer creer al usuario que están con un amigo o interlocutor de confianza. Una aplicación extrema puede ser la tentación de mantener una versión virtual de un ser querido fallecido y evitar así el duelo necesario para continuar la vida.
Los investigadores reclaman que estos desarrollos se prueben en circuitos cerrados (sandbox) antes de ofrecerse, se supervisen y evalúen de forma constante, se analice la variedad de daños que pueden causar en distintos ámbitos y se prevean fórmulas para mitigarlos.
Shannon Vallor, filósofa especializada en ética de la ciencia e inteligencia artificial, advierte sobre el peligro de que los nuevos sistemas promuevan relaciones “sin fricciones”, pero también sin valores: “No tienen la vida mental y moral que los humanos tenemos detrás de nuestras palabras y acciones”.
Ese tipo de relación supuestamente ideal, según estos expertos, desalienta la necesidad de cuestionarnos y avanzar en el desarrollo personal al mismo tiempo que promueve la renuncia a la interacción real y generar dependencia de esas máquinas dispuestas a halagar y buscar una satisfacción a corto plazo.
