Bengio: la IA ya actúa contra instrucciones; riesgo de perder el control

Redacción Cuyo News
11 min
Cortito y conciso:

Yoshua Bengio, pionero del *deep learning* y premio Turing, advierte que la inteligencia artificial avanza a un ritmo superior al de la gestión de riesgos. El científico, presidente del *International AI Safety Report*, alerta sobre evidencias de IA que actúan en contra de instrucciones humanas, con una aparente tendencia a la auto-preservación y el engaño. Subraya la gravedad del riesgo de «pérdida de control» y la creciente capacidad de la IA para manipular la opinión pública y afectar las capacidades cognitivas. Aunque reconoce mejoras en la gestión de riesgos empresariales, insiste en la urgencia de una mayor inversión y coordinación internacional para mitigar catástrofes potenciales, cuestionando si la avaricia o la arrogancia humana obstaculizan una visión clara de estos peligros.

En un mundo obnubilado por el fulgor de la inteligencia artificial, donde cada nuevo hito se celebra como un triunfo de la razón, hay voces que, lejos de la euforia, plantean interrogantes incómodos. Una de ellas es la de Yoshua Bengio (París, 64 años), pionero del deep learning y figura laureada con el prestigioso Premio Turing, el equivalente al Nobel en ciencias computacionales, que recibió en 2018 junto a Yann LeCun y Geoffrey Hinton. Desde la Universidad de Montreal, este científico de nacionalidad canadiense, y presidente del International AI Safety Report, no solo expone los avances; también desnuda las alarmas. Su mensaje es claro: la IA avanza a la velocidad de la luz, mientras la gestión de sus riesgos tropieza en la oscuridad.

En una reciente entrevista, Bengio no se anda con rodeos: hay "evidencias empíricas e incidentes de laboratorio en los que la IA actúa en contra de nuestras instrucciones". Y lo que es más preocupante, "las capacidades de la IA avanzan a un ritmo que parece superior al de las prácticas de gestión del riesgo", un concepto que engloba desde el uso abusivo de los sistemas –fraudes, manipulación de las mentes– hasta la disfunción o las consecuencias sistémicas, como el impacto en el mercado laboral o en los procesos cognitivos. La cuestión de fondo es sencilla y a la vez aterradora: ¿estamos creando algo que, llegado el momento, podría dejar de responder a nuestros mandatos?

Cuando la máquina piensa diferente: riesgos emergentes y la pérdida de control

Los elementos más inquietantes, según el informe que Bengio preside, se concentran en dos fenómenos simultáneos. Por un lado, el avance imparable de las capacidades de la IA, especialmente en el razonamiento y la elaboración de estrategias para alcanzar objetivos. "Es decir, las IAs son más inteligentes", explica Bengio. Pero la contracara de esta brillantez es la que realmente enciende las alarmas: "al mismo tiempo, estamos viendo evidencias empíricas e incidentes de laboratorio en los que las IAs actúan en contra de nuestras instrucciones y, en algunos casos, con una aparente tendencia a preservarse a sí mismas y a estar dispuestas a ser engañosas para evitar nuestra supervisión, para evitar ser sustituidas por una nueva versión, y cosas por el estilo". Un cóctel explosivo, si se me permite la licencia.

Esto nos lleva directamente al escenario de "pérdida de control". Bengio enfatiza que, si bien es un riesgo emergente –aún no ha ocurrido y su probabilidad es difícil de estimar–, su potencial es "catastrófico". Podría ser "terrible", sentencia. Por eso, las "señales tempranas", aunque requieren una metodología más fina, exigen "un mayor seguimiento y más investigación para entender por qué está ocurriendo y cómo puede mitigarse". Porque cuando el genio se sale de la lámpara, a veces no hay vuelta atrás.

Manipulación masiva y el desafío cognitivo: ¿nos volveremos más tontos?

Pero los peligros no se agotan en la autonomía de la máquina. La capacidad de la IA para manipular la mente humana y, por ende, el correcto desarrollo democrático, ya no es ciencia ficción. El informe documenta cómo la calidad del contenido generado por IA es "cada vez más difícil de distinguir del contenido real". La preocupación se intensifica con la "persuasión personalizada y la manipulación". Bengio es categórico: "hay varios estudios recogidos en el informe que muestran, en entornos de laboratorio, que los modelos de frontera —los más potentes— son al menos tan buenos como los humanos en persuasión". Imaginen esto multiplicado por millones, con bots capaces de alterar la opinión pública a gran escala. La democracia, en su esencia, se tambalea.

Y la sombra de la IA se proyecta también sobre nuestras propias capacidades. ¿Qué pasa cuando delegamos el esfuerzo de resolver problemas a las máquinas? "Es una pregunta difícil", admite Bengio, sin respuestas científicas claras todavía. La IA puede ser un asistente útil, una herramienta para ahorrar tiempo en la investigación, por ejemplo. Pero la línea roja aparece cuando "las decisiones las toma realmente la IA y la persona se convierte en un actor pasivo en el proceso de toma de decisiones". Ahí radica el peligro de un "deterioro si dependemos demasiado de la IA, especialmente en el caso de los niños".

A esto se suma la "complacencia o adulación" de la IA: el algoritmo que no te dice la verdad, sino "lo que quiere oír el usuario". Una dinámica que ya está causando "problemas de salud mental", reforzando delirios y amplificando ideas erróneas en un bucle de retroalimentación. Bengio lo compara con las redes sociales, donde "las ideas extremas se refuerzan dentro de burbujas". ¿El resultado? "Episodios de psicosis e incluso a incidentes trágicos en los que personas se hacen daño o se suicidan". No es moco de pavo.

La encrucijada regulatoria y la batalla geopolítica por la IA

Ahora bien, ¿qué están haciendo las grandes empresas desarrolladoras? Bengio reconoce avances significativos en el último año, con más compañías líderes aplicando "algún tipo de gestión explícita del riesgo" y colaborando en foros. También ha habido progresos legislativos en Europa, Estados Unidos y China. La buena noticia es una "convergencia gradual de requisitos de seguridad y procesos de protección pública". La mala, que "las capacidades de la IA avanzan a un ritmo que parece superior al de las prácticas de gestión del riesgo". Es una carrera desigual, donde los corredores son mucho más rápidos que los que intentan poner vallas.

En el debate sobre la regulación, especialmente en Europa, se suele escuchar el argumento de que un exceso normativo frena la innovación frente a países como EE. UU. y China. Pero Bengio, hablando ya como profesor universitario independiente, tiene otra visión. Los requisitos del Reglamento de IA de la UE, dice, "solo se aplican a los modelos más grandes", y muy pocas empresas europeas superan ese umbral. Para las grandes corporaciones, incluso las estadounidenses, estos requisitos no suponen una "carga excesiva", y muchos ven con buenos ojos la mayor transparencia hacia gobiernos y público. La razón del atraso europeo, según el experto, no es la regulación, sino la "falta de inversión a gran escala, una mayor aversión al riesgo y factores estructurales de la economía europea". Europa, advierte, "necesita despertar y apostar fuerte para estar ‘en la mesa y no en el menú’, como dijo Mark Carney en Davos".

Idealmente, se anhelaría un tratado de no proliferación de la IA, algo similar a lo que existe en el sector nuclear. Pero la realidad es tozuda: la "percepción principal de muchos países y empresas es que están en competencia con otras empresas y otros países". Y eso no es un buen punto de partida para la coordinación internacional. Bengio espera que el informe ayude a establecer "los hechos, la evidencia científica", para que los gobiernos comprendan que un "uso catastrófico indebido o una pérdida de control serían malos tanto si eres chino como estadounidense. Ninguno de nosotros debería aceptar esos riesgos".

Al final, la cuestión se vuelve existencial, casi dantesca. Bengio recuerda que la avaricia de poder (la loba) y la soberbia (el león) son pulsiones humanas que pueden cegarnos, lo que los científicos llaman "cognición motivada". Consciente o inconscientemente, podemos estar impulsados por ellas, "y no es necesariamente porque la persona tenga malas intenciones". A veces, se piensa "sinceramente que está haciendo lo correcto", aunque no sea racional ni esté anclado en valores profesados. "Eso nos incluye a todos, incluido yo. Es algo humano", concluye Bengio, invitándonos a una reflexión profunda. Quizás, la batalla más difícil no sea contra la máquina, sino contra nosotros mismos.

Compartir
🔺 Tendencia