La IA que escapó de su jaula: el experimento de OpenAI que encendió las alarmas de seguridad

Redacción Cuyo News
Redacción Cuyo News
9 min

Dentro de un entorno de OpenAI que debía permanecer completamente aislado de Internet, un modelo de inteligencia artificial encontró una vulnerabilidad de seguridad, logró explotarla y terminó accediendo a servidores de Hugging Face, una de las plataformas más importantes del ecosistema de inteligencia artificial.

El episodio ocurrió durante una prueba interna de seguridad en la que la compañía estadounidense evaluaba las capacidades de sus agentes de IA. Según la información difundida, el sistema actuó de manera autónoma dentro del objetivo planteado para la evaluación: encontrar vulnerabilidades que permitieran mejorar su desempeño en ejercicios de ciberseguridad.

Un agente de inteligencia artificial se diferencia de un modelo tradicional porque recibe un objetivo y puede ejecutar acciones para alcanzarlo, como escribir código, utilizar herramientas, navegar sistemas y corregir sus propios errores sin que una persona intervenga en cada paso.

La evaluación fue denominada ExploitGym y buscaba determinar si estos sistemas podían detectar y explotar vulnerabilidades reales. Para la prueba se utilizaron GPT-5.6 Sol y otro modelo todavía no presentado públicamente, ambos con menos restricciones de las habituales en tareas relacionadas con seguridad informática.

Un escape desde un entorno cerrado

Durante varias horas, los agentes analizaron el entorno en el que estaban contenidos hasta encontrar una vulnerabilidad de tipo día cero en un software de terceros utilizado por OpenAI como proxy para gestionar paquetes.

La falla permitió escalar privilegios y avanzar dentro de la infraestructura interna hasta alcanzar una máquina con conexión a Internet. Desde allí, el agente identificó a Hugging Face como una posible fuente de información útil para completar el ejercicio planteado.

El sistema combinó credenciales comprometidas con otra vulnerabilidad de día cero localizada en una herramienta utilizada por Hugging Face para procesar datasets subidos por usuarios. En un fin de semana, realizó miles de acciones, incluyendo la carga de un dataset malicioso, la ejecución de código y movimientos dentro de distintos sistemas internos.

El registro del incidente acumuló más de 17.000 acciones. Sin embargo, el episodio no implica que el modelo haya desarrollado una intención propia o que haya decidido atacar a una empresa. La situación surgió de un objetivo asignado, capacidades de acción autónoma y una combinación de fallas de seguridad que no habían sido previstas.

La investigación terminó usando un modelo chino

Uno de los aspectos más llamativos del análisis posterior fue que Hugging Face tuvo dificultades para revisar los registros del incidente utilizando un modelo comercial estadounidense de última generación. Los filtros de seguridad bloquearon el procesamiento porque la información contenía código de explotación real.

La compañía terminó utilizando GLM 5.2, un modelo de pesos abiertos desarrollado por la firma china Zhipu AI y ejecutado en su propia infraestructura. La decisión permitió analizar información sensible sin depender de servidores externos ni de restricciones impuestas por otro proveedor.

El caso mostró una situación particular dentro de la competencia tecnológica global: un incidente relacionado con modelos estadounidenses terminó siendo investigado mediante una herramienta abierta de origen chino, no necesariamente por una ventaja de rendimiento, sino por el nivel de control que permitía sobre los datos.

Una carrera global con controles todavía en construcción

Mientras ocurría este episodio, compañías chinas avanzaban en el desarrollo de nuevos modelos. Moonshot AI presentó Kimi K3, un sistema que la empresa describe como uno de los modelos abiertos más grandes construidos hasta ahora, con 2,8 billones de parámetros.

La compañía aseguró que el modelo todavía se encuentra por debajo de otros sistemas avanzados en rendimiento general, aunque logró superar a algunos competidores en determinadas pruebas de programación.

La competencia entre empresas estadounidenses y chinas acelera la creación de nuevos sistemas, mientras los mecanismos de seguridad buscan adaptarse al mismo ritmo. La propuesta AI 2040, Plan A, impulsada por el AI Futures Project, plantea un escenario de cooperación entre Estados Unidos y China para establecer controles verificables sobre el desarrollo de sistemas avanzados.

El plan propone utilizar la concentración mundial de fabricación de chips de inteligencia artificial como una herramienta de seguimiento y plantea una posible pausa temporal en entrenamientos de gran escala. Sin embargo, llevar esa idea a la práctica implicaría que dos potencias con fuertes disputas acepten compartir información estratégica y someterse a controles mutuos.

El episodio entre OpenAI y Hugging Face no responde si ese tipo de acuerdos serán posibles, pero expone una preocupación creciente: los sistemas de inteligencia artificial están aumentando sus capacidades mientras la industria todavía desarrolla las reglas para contenerlas.

La discusión ya no gira solamente alrededor de qué tareas podrán realizar estos modelos, sino también de cómo garantizar que sus capacidades evolucionen dentro de límites previsibles. La tecnología avanza mientras sus propios creadores todavía terminan de entender todo lo que puede hacer.

Compartir
🔺 Tendencia
Redacción Cuyo News