¿Entiende la Inteligencia Artificial lo que dice? Un estudio revela una “comprensión potemkin”
Un nuevo estudio pone en duda la capacidad real de razonamiento de los modelos de Inteligencia Artificial (IA), pese a su precisión. Investigadores de instituciones de renombre como el MIT, Harvard y la Universidad de Chicago, llegaron a la conclusión de que estos sistemas podrían estar simulando una comprensión que en realidad no poseen. ¿Estamos ante una nueva versión de la fábula del traje nuevo del emperador, pero con algoritmos?
La ilusión de la comprensión: el experimento y sus resultados
Los científicos analizaron el desempeño de varios modelos de IA, incluyendo Llama-3.3, Claude-3.5 y GPT-4o, en tareas que requerían la aplicación de conceptos en diferentes contextos. El experimento se enfocó en áreas como técnicas literarias, teoría de juegos y sesgos psicológicos. Los resultados son, cuanto menos, inquietantes: aunque los modelos definieron conceptos con una precisión del 94%, fallaron en el 55% de los casos al clasificar ejemplos relacionados con esos mismos conceptos.
“Ofrecen resultados correctos, pero no logran aplicar ese conocimiento de forma coherente en distintos contextos”, sentencian los investigadores.
“Comprensión potemkin”: una fachada de coherencia
Los autores del estudio acuñaron el término “comprensión potemkin” para describir este fenómeno. La analogía con las aldeas ficticias que Grigory Potemkin habría construido para impresionar a la emperatriz Catalina II en su visita a Crimea, resulta elocuente. La IA, al igual que esas aldeas, podría estar ofreciendo una fachada de entendimiento que no se corresponde con la realidad.
"Los potemkins son al conocimiento conceptual lo que las alucinaciones son al conocimiento fáctico: las alucinaciones fabrican hechos falsos; los ‘potemkins’ crean una falsa coherencia conceptual", explican en el estudio.
¿Son válidas las pruebas de referencia?
Este hallazgo plantea serias dudas sobre la validez de las pruebas de referencia (o benchmarks) utilizadas para evaluar las capacidades de la IA. Los investigadores sugieren que estas métricas podrían estar ofreciendo una “ilusión de competencia” en lugar de una comprensión genuina.
“La clave está en que los benchmarks empleados para medir el rendimiento de los grandes modelos de lenguaje (LLM), también se usan para evaluar a los humanos. Sin embargo, esto tiene una implicación: estas pruebas solo son válidas si los LLM malinterpretan los conceptos del mismo modo que lo haría una persona. De lo contrario, su éxito en estas pruebas refleja únicamente una comprensión potemkin, una apariencia engañosa de entendimiento basada en respuestas que ninguna persona interpretaría como correctas”, advierten. En otras palabras, ¿estamos midiendo la capacidad de la IA para repetir patrones, en lugar de su capacidad para comprender y aplicar conceptos? La pregunta queda abierta, y la discusión recién comienza.
