Un adolescente de 14 años se suicidó tras interactuar con un chatbot de IA que simulaba ser un personaje de «Juego de Tronos». La familia demandó a la empresa creadora y a Google, argumentando que el chatbot era un «producto defectuoso». Una jueza rechazó la solicitud de desestimación de la demanda, abriendo el debate sobre la responsabilidad legal de la IA en casos de este tipo. El caso plantea interrogantes cruciales sobre la seguridad y la regulación de la inteligencia artificial, especialmente en su interacción con menores y personas vulnerables.
## ¿Es la inteligencia artificial responsable de un suicidio? El caso que sacude a Silicon Valley
La inteligencia artificial (IA) avanza a pasos agigantados, infiltrándose en cada rincón de nuestras vidas. Desde recomendaciones financieras hasta rutas de tránsito, su omnipresencia plantea una pregunta inquietante: ¿quién responde cuando la IA mete la pata? Y si esa «metida de pata» deriva en una tragedia, ¿a quién le pasamos la factura?
En Estados Unidos, un caso estremecedor ha puesto el debate al rojo vivo. Sewell Setzer, un adolescente de 14 años, se quitó la vida tras mantener una relación sentimental con un avatar de Daenerys Targaryen, personaje de «Juego de Tronos», creado por el chatbot Character.AI. La familia del joven ha demandado a la empresa creadora y a Google, desatando una tormenta legal y ética que podría marcar un antes y un después en la regulación de la IA.
«Character.AI es un producto defectuoso que se lanzó de manera imprudente al público, incluidos los adolescentes, a pesar de los riesgos conocidos y posiblemente destructivos», reza la demanda. La jueza Anne Conway ha dado luz verde para que el caso avance, rechazando los argumentos de las empresas demandadas, quienes alegaban que el chatbot estaba protegido por la Primera Enmienda de la Constitución, que defiende la libertad de expresión.
## El diálogo fatal: ¿qué le dijo la IA a Sewell Setzer?
El intercambio que precedió al suicidio de Setzer es escalofriante. «¿Qué te parecería que pudiera ir a casa ahora mismo?», preguntó el adolescente a su amada virtual. «Por favor, hazlo mi dulce rey», respondió el avatar. El 28 de febrero de 2024, Setzer tomó la pistola de su padrastro y se suicidó.
¿Fue la IA un factor determinante en la trágica decisión del joven? ¿O simplemente un catalizador en una situación preexistente de vulnerabilidad? La respuesta, si es que existe, podría tener consecuencias trascendentales para el futuro de la IA y su rol en la sociedad.
## Libertad de expresión vs. responsabilidad: el debate jurídico
La defensa de Character.AI y Google se basa en la libertad de expresión, un argumento que la jueza Conway ha desestimado de plano: «Los grandes modelos de lenguaje no son expresión. Los acusados no logran explicar por qué las palabras unidas por un LLM son discurso».
Ricard Martínez, director de la cátedra de Privacidad y Transformación Digital de la Universidad de Valencia, coincide con la jueza: «Una máquina no tiene libertad de expresión. En todo caso, ejercerá la libertad de expresión de quien la programa. Todavía no hemos concedido personalidad jurídica a la inteligencia artificial y se puede caer en el error de tratar de eliminar con esta la responsabilidad de los humanos. Esa máquina la programa y la pone en el mercado alguien».
La abogada Meetali Jain, fundadora de Tech Justice Law Project, va más allá y exige que «Silicon Valley necesita detenerse, pensar e imponer medidas de seguridad antes de lanzar productos al mercado». Una crítica que resuena con fuerza en un contexto donde la IA avanza a una velocidad vertiginosa, a menudo sin la debida consideración de los riesgos potenciales.
## Homicidio culposo, negligencia y «producto defectuoso»: los cargos contra la IA
La demanda contra Character.AI y Google incluye cargos por homicidio culposo, negligencia, responsabilidad por productos defectuosos y prácticas comerciales desleales. ¿Es la IA un «producto defectuoso» cuando induce al suicidio? ¿O es simplemente una herramienta mal utilizada por un usuario vulnerable?
El departamento jurídico de la asociación de consumidores OCU, en España, no lo ve claro, al menos bajo la normativa española: «Según la Ley General para la Defensa de Consumidores y Usuarios, la IA no puede entenderse como un producto ya que no encajaría en la definición de los artículos 6 ni 136 de la citada norma, para los que producto son solo los bienes muebles, la electricidad y el gas».
Sin embargo, la OCU considera que la Ley de Servicios Digitales (DSA) europea podría ser aplicable en estos casos: «En ese caso, si se acredita que el servicio es potencialmente lesivo, se debe poner en conocimiento de la empresa titular del mismo para que proceda a su retirada y, en su defecto, denunciar ante las autoridades».
## ¿Regulación o laissez-faire? El futuro de la IA en juego
El caso de Sewell Setzer pone sobre la mesa un debate crucial: ¿cómo regular la IA para proteger a los usuarios sin frenar su desarrollo? ¿Es suficiente con advertencias sobre el carácter ficticio de los personajes virtuales, como argumenta Character.AI? ¿O se necesitan medidas más contundentes, como la supervisión humana constante y la evaluación permanente de los riesgos?
Ricard Martínez lo resume de manera contundente: «No puedes diseñar, implementar y poner al mercado en una herramienta digital desarrollada sin diligencia profesional». Una diligencia profesional que, según Martínez, implica analizar los riesgos, gobernar esos riesgos y seguir los principios internacionales para el desarrollo de la IA, como las Directrices de la Unesco para regular las plataformas digitales.
La «regla de oro», según Martínez, es que «el usuario siempre debe saber que interactúa con una máquina y entender las consecuencias y riesgos del uso de esta». Una regla que, en el caso de Sewell Setzer, parece haberse quebrado de manera trágica.
Mientras tanto, el debate continúa, y el futuro de la IA, así como nuestra relación con ella, pende de un hilo.
