La reciente exposición de bases de datos vinculadas a plataformas de inteligencia artificial ha encendido las alarmas en el ciberespacio. Investigadores han detectado que entre el material filtrado, algunas imágenes parecían ser fruto exclusivo de algoritmos, con estilos que incluían el anime. Sin embargo, otras exhibían un «hiperrealismo» inquietante, sugiriendo una posible base en personas reales. La duración de esta exposición en la web aún es una incógnita. Frente a estas revelaciones, un vocero de DreamX afirmó categóricamente que «ningún sistema operativo se vio comprometido», una declaración que busca disipar preocupaciones sobre la seguridad fundamental de sus infraestructuras.
El Doble Estándar de la IA: Promesas y Realidades Explícitas
El sitio web de MagicEdit, mientras estuvo operativo, evitaba mencionar explícitamente su capacidad para generar «imágenes explícitas de adultos». No obstante, el informe del investigador Fowler subraya que su clasificación en la App Store de Apple era de 18+. Su página de inicio ya ofrecía una pista visual con una imagen generada por IA de una mujer que transicionaba de un vestido a un bikini. La plataforma listaba diversas «herramientas de IA», desde la «conversión de texto a video» hasta un «borrador mágico» y la ampliación de imágenes, con ciertas funcionalidades reservadas para un modo «profesional» de pago.
Entre sus ofertas, MagicEdit incluía una herramienta de «ropa con IA». Muchos de los «estilos» de generación de imágenes presentados en su portal mostraban representaciones sexualizadas de mujeres, frecuentemente con menos vestimenta –en bikini o ropa interior– tras aplicar la IA. Un post en la cuenta de Instagram de MagicEdit, actualmente eliminada, lo resumía sin rodeos: «Mira cómo este conjunto pasa de informal cotidiano a sexy en segundos».
Por su parte, el portal DreamPal, que se autodefinía como un «chat de juegos de rol de inteligencia artificial», era notablemente más directo en su orientación adulta. Sus páginas invitaban a los usuarios a «crear la novia IA de sus sueños». Algunos de los enlaces en el sitio, probablemente optimizados con fines de SEO, hacían explícita referencia a «AI Sexing Chat» (interacciones sexuales de IA), «Talk Dirty AI» (hablar sucio IA) y «AI Big Tits» (tetas grandes de IA). Unas preguntas frecuentes al pie de su web dejaban en claro su filosofía: «Hemos eliminado cualquier filtro de chat de IA NSFW que pudiera impedirte expresar tus fantasías más íntimas».
La sexualización es parte del problema
Fowler es contundente al señalar: «Han hecho una gran manera de promover sutilmente el contenido sexualizado». El investigador enfatiza que las herramientas de IA capaces de representar la desnudez pueden ser fácilmente «armadas» y utilizadas para fines maliciosos como el chantaje y el acoso. «Estas empresas realmente tienen que hacer algo más que una ventana emergente genérica: ‘Al hacer clic aquí, aceptas que tienes consentimiento para subir esta foto’. No puedes dejar que la gente se controle a sí misma, porque no lo hará. Tienen que tener alguna forma de moderación que incluso vaya más allá de la IA», advierte.
En respuesta a las críticas, un portavoz de OpenAI detalla: «Desde un punto de vista técnico, implementamos múltiples salvaguardas, mucho antes de recibir cualquier consulta externa, que incluyen la regulación de los prompt, el filtrado de entradas y la revisión obligatoria de todos los prompt de los usuarios a través de la API de moderación de OpenAI. Si un prompt viola las normas de seguridad, el sistema bloquea la petición automáticamente».
No obstante, Adam Dodge, fundador de EndTAB (Ending Technology-Enabled Abuse), una organización que capacita a escuelas y organizaciones para abordar el abuso tecnológico, opina que «Esto es la continuación de un problema existente en lo que se refiere a esta apatía que sienten las startups hacia la confianza y la seguridad y la protección de los niños».
Dodge concluye con una reflexión lapidaria: «Todo lo que estamos viendo era totalmente previsible. El impulso subyacente es la sexualización y el control de los cuerpos de mujeres y niñas. No es un problema social nuevo, pero estamos vislumbrando cómo es ese problema cuando está sobrealimentado por la IA».
Artículo originalmente publicado en WIRED. Adaptado por Alondra Flores.
