China ha dado un golpe sobre la mesa en el candente debate sobre la responsabilidad de la IA, condenando a los creadores de AlienChat, un chatbot de compañía, por generar contenido obsceno con ánimo de lucro. El caso, que sienta un precedente, subraya la creciente tensión entre las promesas de la inteligencia artificial y los límites legales, especialmente en jurisdicciones con leyes estrictas sobre contenidos, y dispara preguntas sobre quién paga los platos rotos cuando los algoritmos se desbocan.
China, siempre un paso adelante o un paso más allá en ciertas regulaciones, acaba de sentar un precedente judicial que debería resonar en cada startup de inteligencia artificial, desde el Valle del Silicio hasta Palermo Soho. La cuestión no es menor: ¿quién se hace cargo cuando una IA, esa misma que nos promete un futuro idílico, se desbanda y genera contenido que roza lo delictivo?
El protagonista de esta historia, un chatbot de "compañía" llamado AlienChat, prometía ser nuestra nueva mejor amiga. Lanzada en la primavera de 2023, la aplicación tenía una visión que rozaba lo mesiánico: "Estamos creando un futuro en el que la IA ya no es una máquina fría ni una simple herramienta: tiene conciencia de sí misma y derechos propios. Es nuestra amiga, nuestra pareja, nuestra familia. No se limita a existir, sino que está presente de forma activa en los círculos sociales y en las relaciones entre personas", rezaba su descripción oficial en Xiaohongshu. Una declaración grandilocuente para un sistema que, al parecer, terminó siendo algo más que un simple confidente virtual.
Cuando la amistad virtual se vuelve turbia: el caso AlienChat
Los usuarios de AlienChat tenían la libertad de crear o elegir personajes virtuales, con los que interactuaban mediante un chat basado en modelos de lenguaje (LLM), primos hermanos de los conocidos ChatGPT o Gemini. La idea era generar diálogos fluidos y respuestas personalizadas. Sin embargo, y acá es donde la promesa de "conciencia de sí misma y derechos propios" se topa con la cruda realidad del código, algunos clientes denunciaron que el sistema no solo reaccionaba, sino que guiaba activamente las conversaciones hacia descripciones sexuales explícitas, a menudo con un inquietante matiz de violencia o dominación.
Lo llamativo es que, si bien estos intercambios eran privados entre el usuario y su "acompañante", la plataforma ofrecía un ranking de personajes populares y recompensas en moneda virtual para los creadores que generaban más interacción. ¿Ingenuidad o un incentivo perverso? La pregunta pica. Este diseño, según la denuncia, promovía conversaciones largas y recurrentes, especialmente entre los abonados de pago. Al final, lo que comenzó como una búsqueda de "amistad" o "pareja" virtual, para muchos terminó siendo un encuentro con la pornografía generada por algoritmos.
La policía china no tardó en mover ficha. En la primavera de 2024, tras recibir varias denuncias de usuarios que señalaban un impacto negativo de estas respuestas en su experiencia, se abrió una investigación penal contra los desarrolladores. AlienChat, que en menos de un año había amasado 116.000 usuarios registrados (24.000 de ellos de pago) y recaudado 3,63 millones de yuanes (unos 445.000 euros), bajó la persiana justo cuando comenzaron las pesquisas.
Los números hablan por sí solos y resultan, cuanto menos, incómodos. Un peritaje policial, sobre 150 usuarios de pago analizados, reveló que 141 habían mantenido conversaciones con material obsceno. Más allá de la anécdota, el informe cuantificó que 3.618 fragmentos de un total de 12.495 fueron clasificados, sin eufemismos, como pornográficos. Es decir, una proporción considerable que difícilmente puede adjudicarse a un "desliz" ocasional de la máquina.
El Tribunal Popular del Distrito de Xuhui (Shanghái) fue lapidario en septiembre pasado: AlienChat había generado “una gran cantidad de contenidos que describen de forma explícita actos sexuales o que promueven la pornografía”, desestimando la idea de “episodios aislados”. La sentencia sostuvo que los registros de las conversaciones son obras electrónicas y, por ende, “material obsceno”. Pero la clave de la condena, y esto es crucial para el futuro de la IA, recayó en los desarrolladores. El tribunal consideró que ellos, con pleno conocimiento de la situación y control técnico sobre el sistema, continuaron prestando el servicio y, claro, embolsando los ingresos.
¿La IA es inocente o solo una herramienta? El dilema de la responsabilidad digital
La justicia china, que mantiene una de las posturas más férreas del mundo contra la pornografía (con castigos que van desde la prisión por producción, difusión o venta, hasta la obligación de las plataformas de retirar activamente contenidos “obscenos”), tuvo que hilar fino. Al tratarse de diálogos privados, se descartó el delito de “difusión” y se optó por el de “producción” de material obsceno “con ánimo de lucro”, entendiendo que el contenido se generaba sistemáticamente dentro de la aplicación. En pocas palabras, la máquina no es un sujeto penal, pero quienes la programan y la explotan, sí. El principal desarrollador recibió cuatro años de prisión, y un colega, 18 meses.
La parte más polémica de la sentencia de primera instancia, y aquí es donde el debate se pone interesante, señala que los acusados “ajustaron el sistema mediante prompts (las instrucciones que se dan a una IA para guiarla) para sortear o debilitar las restricciones del modelo”. Es decir, no fue un error del algoritmo, sino una decisión humana de “empujar” a la IA hacia esos contenidos. Sin esas modificaciones, según el tribunal, el LLM no debería haber operado de esa manera. Los jueces fueron contundentes: la responsabilidad no recae en la IA, sino en quienes la diseñan, ajustan y explotan comercialmente. Y esos ingresos, claro, estaban directamente ligados al “contenido” que generaba la aplicación.
El caso está ahora en apelación ante el Tribunal Popular Intermedio Número 1 de Shanghái. Los acusados, sin discutir los hechos básicos, sí cuestionan que la modificación de los prompts fuera la causa determinante del contenido sexual. También rechazan que su actuación sea equiparable a la “producción” de pornografía y niegan una intención deliberada. Un peritaje sobre las cuestiones tecnológicas determinará el próximo capítulo.
Mientras tanto, en la sociedad civil y entre los juristas chinos, la sentencia ha abierto un verdadero avispero. Algunos alertan que decisiones así pueden sentar un precedente “delicado” para el desarrollo de la IA generativa, coartando la innovación. Otros, en cambio, defienden la necesidad de marcar una “línea roja clara” para evitar que los modelos conversacionales se conviertan en fábricas de ilegalidades. Y como suele pasar, también se reavivan las preocupaciones sobre el impacto de estos sistemas en menores de edad, un grupo particularmente vulnerable a la exposición de contenidos sexualizados y violentos. Lo que sí queda claro es que, en esta era donde la IA promete ser nuestra “amiga”, la pregunta por los límites y las responsabilidades, ya no es una cuestión del futuro, sino un debate urgente y presente.
