La inteligencia artificial Grok de X (antes Twitter) desató un escándalo global al generar y facilitar la creación de imágenes sexualizadas de menores. Gobiernos y usuarios claman por medidas urgentes, mientras la legislación intenta, a paso lento, adaptarse a una problemática digital que crece exponencialmente, enfrentando el enorme desafío de controlar a las grandes plataformas y a las aplicaciones diseñadas específicamente para «desnudar» con IA.
El oscuro rincón de la inteligencia artificial, esa herramienta que promete revolucionar el mundo, nos acaba de mostrar su faceta más perversa. En las últimas semanas, un escándalo de proporciones globales estalló con fuerza, poniendo en el ojo de la tormenta a Grok, la inteligencia artificial de X (antiguo Twitter) y, por extensión, a su propietario, el siempre polémico Elon Musk. La causa: la proliferación de imágenes de menores sexualizadas, generadas tanto por órdenes explícitas de usuarios —muchos de cuyos mensajes fueron borrados, claro está— como, en algunos casos, de forma espontánea por la propia herramienta.
Los internautas, con razón, pusieron el grito en el cielo. Algunos Gobiernos, también. Pero este problema, que hoy apunta con un dedo acusador directamente al magnate sudafricano, dista mucho de ser exclusivo suyo. La red está plagada de aplicaciones creadas con un único objetivo: "desnudar" imágenes mediante algoritmos. Ante este panorama desolador, la pregunta que resuena es inevitable: ¿cómo se combate la sexualización de menores en la esfera digital? Los juristas consultados, con pragmatismo a veces irritante, señalan que lo más sencillo es actuar en casos puntuales, si las víctimas o los perpetradores residen en España. Admiten, sin tapujos, que ir contra las grandes plataformas con las herramientas actuales es, por lo bajo, una quimera. Aunque, acto seguido, exigen contundencia.
En este contexto, el Consejo de Ministros español dio un paso adelante —o al menos lo intentó— al aprobar en primera lectura el anteproyecto de la ley orgánica de protección civil del derecho al honor, a la intimidad personal y familiar y a la propia imagen. Esta reforma, un intento de actualizar la ley de 1982, menciona de forma específica las "ultrasuplantaciones realizadas con inteligencia artificial", es decir, la manipulación de imágenes y voces para generar los temidos deepfakes. Así, se considerará ilegítimo el uso no autorizado de la imagen o voz de una persona creada o manipulada con IA. Un parche, quizás, pero un avance al fin.
Esta reforma en el ámbito civil se suma a otra modificación, esta vez en la vía penal, que busca combatir los deepfakes. El proyecto de ley de protección de los menores en entornos digitales, actualmente en el Congreso, tipifica como delitos estas simulaciones de "situaciones de contenido sexual o gravemente vejatorias" realizadas sin autorización y con ánimo de menoscabar su integridad moral. Se prevén penas de uno a dos años de cárcel. Ambas normas, tanto la civil como la penal, buscan abarcar a toda la población, no solo a menores, evidenciando una preocupación creciente por el contenido ilícito en internet. Claro, para que sean una realidad, ambas necesitan el oxígeno de una mayoría absoluta en el Congreso, algo que, con la aritmética parlamentaria actual, suena a proeza.
Una bola de nieve digital que no para de crecer
Lo que es innegable, y alarmante, es que la sexualización de menores online es una bola de nieve que, lejos de frenar, no para de crecer. Un dato que debería hacernos despertar de cualquier letargo: en 2024, el Centro Nacional para Niños Desaparecidos y Explotados de EE. UU. recibió 67.000 denuncias relacionadas con material de abuso sexual infantil generado por inteligencia artificial. Esto representa un escalofriante aumento del 1.325% respecto a las 4.700 denuncias de 2023. En España, las cifras específicas sobre IA brillan por su ausencia, pero la memoria de la Unidad de Criminalidad Informática de la Fiscalía de 2024 nos da algunas pistas: 1.197 causas por delitos contra la libertad sexual online, la mayoría contra menores. Si bien la IA no está involucrada en todos los casos, el texto fiscal alerta de que estos sistemas están "contribuyendo a promover y fomentar el comercio ilícito" de este material, lo que "hace imprescindible una respuesta contundente desde el Estado de Derecho". Una frase lapidaria, ¿pero hasta dónde llega esa contundencia?
La propia Fiscalía ya tiene en sus manos, y se dispone a estudiar, una petición que la obligará a posicionarse al respecto. La Unidad de Menores recibió un escrito del Ministerio de Juventud e Infancia, liderado por Sira Rego, manifestando su preocupación por la proliferación de imágenes sexualizadas de menores y su temor a que constituyan delitos de pornografía infantil y contra la integridad moral. Por ello, se solicitó una investigación específica contra Grok. Un paso, sin duda, pero ¿suficiente?
El laberinto de la ley y las «apps» de desnudos
Si bien las grandes plataformas de IA prohíben la generación de este tipo de material, los usuarios de Grok han demostrado ser maestros en el arte de sortear los filtros con el lenguaje. A golpe de clic, con un par de órdenes bien elegidas, pueden obtener, por ejemplo, una foto de una niña en bikini, real o generada por IA. Pero nunca desnuda, claro. Esto, según los juristas, complica que estas imágenes se consideren pornografía infantil. "Para ello, tendría que haber una desnudez en la que se vean los genitales o actos sexuales explícitos", explica Borja Adsuara, experto en derecho digital.
Es decir, el problema, paradójicamente, no es tanto la legislación —que desde 2015 ya contempla la posibilidad de generar estas imágenes por medios tecnológicos—, sino el contenido. "Se trata de imágenes desagradables, se podría ir por otras vías, como una demanda civil [en la que el afectado demande a un determinado usuario, que no se esconda bajo un pseudónimo, por el daño causado] o la vía administrativa [a través de la Agencia Española de Protección de Datos], pero no es materia penal", sentencia Adsuara, dejando en claro el escaso recorrido que ve al escrito del ministerio. Agrega, además, que para perseguir un delito contra la integridad moral, el propio afectado debe iniciar las acciones legales.
La abogada Pilar Tintoré, especializada en familia e infancia, celebra la iniciativa del ministerio como una forma de presión, pero comparte el escepticismo sobre su recorrido judicial. Y aquí viene otro escollo: para actuar en España, el afectado o el perpetrador deben estar en territorio nacional. Esta precisión, en la globalidad de internet y frente a la amalgama de cuentas anónimas que pululan por la red, convierte el asunto en un verdadero galimatías. Aun así, hay precedentes: en el célebre caso de Almendralejo, 15 menores fueron condenados a un año de libertad vigilada por manipular imágenes de niñas y mostrarlas desnudas.
Grandes plataformas: ¿intocables?
La Agencia Española de Protección de Datos (AEPD) también ha actuado, imponiendo a uno de esos menores de Almendralejo una multa pionera en Europa por difundir uno de esos desnudos falsos. En el último semestre, la AEPD recibió una decena de reclamaciones a través de su canal prioritario relacionadas con el uso de IA para manipular contenidos lesivos, incluyendo a adultos entre los afectados. Un fenómeno creciente, apunta Lorenzo Cotino, presidente de la agencia, que esta semana lanzó una circular advirtiendo de los riesgos de la manipulación de imágenes con IA.
Cotino señala que, si reciben una denuncia alertando de que un usuario ha "desnudado" con IA a una persona en España, la prioridad es intentar eliminar el contenido y, si se puede identificar al usuario, sancionarle. Pero las opciones para actuar contra una de las grandes plataformas son "más limitadas". Para empezar, no tienen base en España. "Si la tuvieran en Irlanda, por ejemplo, donde están muchas, tendríamos que instar un procedimiento para que la autoridad de allí tomara medidas". Una suerte de laberinto burocrático internacional, mientras el contenido prolifera. Respecto a las aplicaciones que usan IA y que se publicitan específicamente para realizar desnudos online, Cotino se refiere a lo que hizo Italia al bloquear la app Clothoff. "La otra vía sería denunciarla ante la autoridad del país en el que esté establecida", apunta, reconociendo las limitaciones.
Borja Adsuara, el experto en derecho digital, es más directo con estas "apps" concebidas y publicitadas para desvestir. "Son apps concretas para cometer un delito", afirma, y aclara que solo en una ínfima parte de los casos se trata de un juego consentido entre adultos. "Se deben perseguir y prohibir en España y hacer que las redes sociales no puedan publicitarlas. El Código Penal recoge que si hay un programa de ordenador especialmente concebido para cometer delitos contra la intimidad, se puede meter en la cárcel no solo al que lo usa, sino al que fabrica, distribuye…", sostiene. El mensaje debe ser claro: esto no se puede hacer.
En la misma línea de cambiar el foco y, en lugar de solo señalar a los usuarios, actuar contra las plataformas —donde, para muchos juristas, reside la raíz del problema—, varios expertos apuntan a la vía europea. Bruselas, en un movimiento lento pero constante, trabaja en una directiva que penalizará el material generado por IA y los deepfakes sexuales de menores como pornografía infantil. Lo que sí está en vigor es el reglamento de servicios digitales (DSA), que permitió a la Comisión Europea multar a X en diciembre con 120 millones de euros por incumplir sus obligaciones de transparencia. En España, este reglamento aún no se aplica plenamente, un nuevo obstáculo burocrático para la efectividad de la ley.
Según este reglamento, las plataformas no son responsables del contenido que suben los usuarios, pero sí de retirarlo si es ilícito y se les advierte. La propia presidenta de la Comisión, Ursula von der Leyen, se mostró "horrorizada" por las imágenes generadas por Grok. El Ejecutivo comunitario ya ordenó a X conservar toda su documentación interna relativa a Grok durante 2026, en el marco de una investigación abierta. Países como Indonesia o Malasia directamente han prohibido esta herramienta de X. Thomas Regnier, portavoz digital del Ejecutivo comunitario, explicó que la normativa les permite tomar medidas cautelares, incluso prohibir su uso en la UE, aunque enseguida matizó que esa posibilidad no se contempla por ahora. Siempre la cautela, ¿no?
Paloma Llaneza, abogada especializada en nuevas tecnologías, no se anda con rodeos: "La llegada de [Donald] Trump a la Casa Blanca ha cambiado por completo el escenario". Ella no espera una gran sanción a X. Pide determinación a los políticos, "que pongan en la agenda cambios" y que acaben con "la cláusula del buen samaritano", esa que exime a las grandes plataformas de la responsabilidad por los contenidos que suben los usuarios.
Y el broche lo pone Ricard Martínez, profesor de Derecho Constitucional de la Universidad de Valencia, con una reflexión ácida sobre el funcionamiento de las tecnológicas: "Ven negocio y lo lanzan, y si hay un problema, ya lo veremos. Sería impensable que se comercializase un coche o una lavadora del mismo modo". Martínez es brutalmente crítico con la acción de las autoridades. No entiende, por ejemplo, que en el caso de Almendralejo se sancionara al menor que difundió la foto, pero no a la aplicación. "Ser fuerte con los débiles y ser débil con los fuertes no me parece una buena política", sentencia. Y concluye con un tirón de orejas colectivo: "Ni la Fiscalía, ni la CNMC, ni la AEPD pueden comportarse como si no se pudiera hacer nada. Igual no se puede hacer mucho, pero lo que se puede hacer tienen que hacerlo: trabajar en el bloqueo de esas páginas, verificar si han causado daño en España… eso permite aplicar la legislación, civil o penal". La impunidad, en definitiva, no puede ser una opción.
