La Autoridad Catalana de Protección de Datos (APDCat) presenta una metodología pionera en Europa para «humanizar» la inteligencia artificial, buscando evitar la discriminación y los sesgos en las decisiones automatizadas. La iniciativa surge tras casos donde algoritmos han perjudicado a ciudadanos, destacando la necesidad de supervisar la IA y cuantificar su impacto en los derechos fundamentales. La propuesta catalana, que genera debate y mucha expectativa, busca dar herramientas ante el auge de la IA, anticipando posibles daños a los usuarios y resaltando la importancia de considerar el contexto europeo al aplicar estos sistemas.
## Cataluña alza la voz: ¿se puede «humanizar» la inteligencia artificial?
La historia es conocida en los pasillos de la Autoritat Catalana de Protección de Datos (APDCat): una familia, laburante hasta el hartazgo para asegurar el futuro de su hijo con discapacidad, ve rechazada su solicitud de subsidio por un algoritmo que solo miraba la cifra de ingresos. «Si superamos la renta es porque nos deslomamos a trabajar para ahorrar un dinero que proteja a nuestro hijo cuando nosotros ya no estemos para ocuparnos de él», le dijeron los padres a un funcionario. La cosa terminó con la Generalitat rectificando y pagando la ayuda, pero la anécdota sembró la semilla de una pregunta urgente: ¿cómo evitar que las decisiones de la IA nos pasen por encima como una topadora?
La APDCat, ni lerda ni perezosa, decidió ponerse al frente de la discusión y presentó en el Parlament de Catalunya una metodología que busca, nada más y nada menos, que «evitar la discriminación y los sesgos» en los sistemas de inteligencia artificial. “Tenemos que supervisar los sistemas de inteligencia artificial”, afirmó Meritxell Borràs, presidenta de la APDCat, dejando bien claro que no se trata simplemente de enchufar un algoritmo y olvidarse.
## El riesgo de dejar todo en manos de la máquina
La movida de la APDCat llega en un momento clave, en el que la IA avanza a ritmos vertiginosos y pone en evidencia la necesidad de establecer límites claros. El Consejo Europeo ya dio el puntapié inicial aprobando un reglamento que exige evaluar el impacto en los derechos fundamentales de todo producto o servicio que use IA. Pero claro, como siempre, la teoría es una cosa y la práctica otra, ¿cómo se hace esa evaluación? Ahí es donde entra la propuesta catalana, que no se anda con vueltas y propone cuantificar este impacto a través de un modelo de matrices.
Esto no es un capricho, sino la respuesta a una realidad que ya nos golpeó la puerta: tribunales como el de los Países Bajos han comprobado que los gobiernos usan sistemas de análisis que «estigmatizan y discriminan», y en Nueva York ya se regula el uso de algoritmos en la selección de personal para frenar los «prejuicios raciales o sexistas». La cosa se pone seria cuando vemos que incluso un sistema como Compas, usado con frecuencia en EE.UU para determinar el riesgo de reincidencia de los presos, fue acusado de discriminar a minorías, especialmente a las personas de raza negra.
## ¿Y los algoritmos que vienen de afuera?
Pero la cosa no termina ahí. Los expertos señalan otro problema más: “Los modelos entrenados fuera de Europa que llegan a nuestro continente no tienen las mejores garantías para desarrollarse aquí porque no están pensandos en un contexto europeo”, advirtió Alessandro Mantelero, profesor de la Universidad Politécnica de Turín y uno de los cerebros detrás de la metodología catalana. Es decir, no basta con importar tecnología y replicarla, hay que adaptarla al contexto social y cultural local, como si de un buen asado se tratara, que cada quien lo hace a su manera.
La propuesta de la APDCat plantea una metodología para cuantificar el impacto de la IA, estableciendo que si el sistema tiene un alto índice de riesgo, los proveedores tecnológicos deberán laburar hasta reducirlo a lo que se llama «residual». Un debate necesario, si consideramos que ya son varias las administraciones que tuvieron que salir a ponerle el freno a la IA ante el daño que les ha causado a los usuarios. ¿Será esta la guía que necesitamos o un nuevo dolor de cabeza para los tecnólogos? La polémica está servida, y parece que recién empieza.
