Una investigación reveló que una base de datos perteneciente a la empresa de generación de imágenes con IA, GenNomis, dejó expuestos más de 95.000 registros que incluyen imágenes explícitas perturbadoras, algunas de ellas con contenido de abuso sexual infantil generado por IA y hasta «deepfakes» de celebridades alteradas para simular ser menores de edad. El investigador de seguridad Jeremiah Fowler alertó a la empresa, que cerró la base de datos pero no respondió a sus inquietudes.
La era de la inteligencia artificial (IA) prometía facilitarnos la vida, pero quizás estemos abriendo la Caja de Pandora. Un reciente hallazgo pone los pelos de punta: decenas de miles de imágenes explícitas, incluyendo material de abuso sexual infantil (CSAM) generado por IA, ¡andaban sueltas en internet! Todo gracias a una base de datos abierta perteneciente a una empresa de generación de imágenes mediante inteligencia artificial. ¿El nombre de la empresa? GenNomis. ¿Les suena? A nosotros tampoco, hasta ahora.
La información, revelada por el investigador de seguridad Jeremiah Fowler y compartida con este medio, es alarmante. Más de 95.000 registros, incluyendo datos e imágenes de celebridades como Ariana Grande, las Kardashian y Beyoncé, fueron manipulados para que parecieran niñas. Un detalle no menor que demuestra hasta dónde puede llegar esta tecnología mal utilizada.
### ¿Una falla de seguridad o una complicidad silenciosa?
Los datos expuestos, que ocupan unos 45 GB, provienen del sitio web GenNomis, con sede en Corea del Sur, y su empresa matriz, AI-Nomis. Ambas firmas ofrecían herramientas de generación de imágenes y *chatbots* a sus usuarios, pero parece que no estaban muy preocupadas por la seguridad de los datos que manejaban. ¿Ingenuidad o negligencia? La pregunta queda abierta.
Lo más preocupante es que esta filtración pone de manifiesto cómo las herramientas de generación de imágenes con IA pueden ser utilizadas para crear contenido sexual dañino y, posiblemente, sin el consentimiento de las personas involucradas. En los últimos años, hemos visto un aumento en la proliferación de sitios web, bots y aplicaciones de *deepfake* y desnudos, generando un daño incalculable a miles de mujeres y niñas.
«Lo más importante es lo peligroso que es esto», advierte Fowler. «Como investigador de seguridad o como padre, es aterrador. Y es aterrador lo fácil que es crear ese contenido». Y no podemos estar más de acuerdo.
### La respuesta tardía (e incompleta) de GenNomis
Fowler descubrió la base de datos expuesta a principios de marzo y alertó rápidamente a GenNomis y AI-Nomis, señalando la presencia de contenido de AI CSAM. La empresa cerró la base de datos, pero no respondió ni se puso en contacto con el investigador. Horas después de que este medio intentara contactar a las organizaciones, los sitios web de ambas empresas aparecieron cerrados. ¿Coincidencia? No lo creemos.
Ni GenNomis ni AI-Nomis se han pronunciado al respecto, dejando más preguntas que respuestas. Mientras tanto, Clare McGlynn, profesora de Derecho de la Universidad de Durham, especializada en abusos en línea, afirma que «Este ejemplo también muestra, una vez más, hasta qué punto es preocupante que exista un mercado de IA que permita generar imágenes tan abusivas».
### Reflexiones finales (y una pregunta incómoda)
Antes de desaparecer de la faz de internet, GenNomis ofrecía en su página web varias herramientas de IA, incluyendo un generador de imágenes que permitía a los usuarios introducir indicaciones de imágenes que querían crear, o subir una imagen e incluir una indicación para modificarla. También contaba con una herramienta de intercambio de caras, un eliminador de fondos y una opción para convertir videos en imágenes. Un combo perfecto para crear contenido falso y abusivo.
Este caso nos obliga a reflexionar sobre los límites de la tecnología y la necesidad de establecer regulaciones más estrictas. ¿Estamos preparados para enfrentar los desafíos que plantea la IA? ¿O vamos camino a convertirnos en víctimas de nuestra propia creación? El debate está abierto, y el tiempo apremia.
