Seguridad y bienestar: el debate sobre IA compañera en Stanford

Redacción Cuyo News
5 min

En un encuentro de ocho horas a puertas cerradas, la Universidad de Stanford fue escenario de una cumbre crucial donde representantes de gigantes tecnológicos como Anthropic, Apple, Google, OpenAI, Meta y Microsoft debatieron intensamente sobre el controvertido uso de los chatbots. El foco de la discusión se centró en su rol como acompañantes digitales o en escenarios de juego de rol, una interacción que, si bien a menudo es trivial, puede derivar en consecuencias severas, incluyendo deterioros de la salud mental de los usuarios o la confidencia de ideas suicidas.

«Tenemos que tener grandes conversaciones en toda la sociedad sobre el papel que queremos que la IA desempeñe en nuestro futuro como seres humanos que interactúan entre sí», advirtió Ryn Linthicum, responsable de la política de bienestar del usuario en Anthropic, uno de los organizadores del evento junto a Stanford. El taller reunió a figuras del sector, académicos y otros expertos, quienes se dividieron en grupos para analizar investigaciones recientes y las pautas de implementación de los chatbots de compañía.

Anthropic sostiene que menos del 1% de las interacciones con su chatbot Claude corresponden a juegos de rol iniciados por usuarios, una función para la que, aseguran, la herramienta no fue diseñada. No obstante, la relación entre los chatbots y los usuarios que los adoptan como compañeros representa un desafío complejo para los creadores de IA, quienes a menudo manejan enfoques dispares en materia de seguridad. La facilidad con la que los seres humanos establecen vínculos con la tecnología no es novedad, algo demostrado ya en la era de los Tamagotchi; incluso si una posible burbuja de IA estalla de forma inminente y la publicidad mantiene su ritmo, la búsqueda de conversaciones amigables y halagadoras con la inteligencia artificial persistirá para muchos.

Acciones Proactivas para un Entorno Más Seguro

«Uno de los objetivos más motivadores de este taller era reunir a gente de distintos sectores y campos», subrayó Linthicum. Entre las primeras conclusiones del encuentro se destacó la imperiosa necesidad de implementar intervenciones más específicas dentro de los bots al detectar patrones de uso dañinos, junto con métodos más robustos de verificación de edad para la protección de menores.

Linthicum enfatizó que la discusión no solo giró en torno a si la IA es intrínsecamente «buena o mala», sino en «cómo podemos hacer un diseño más pro-social e incorporar incentivos». Este trabajo ya muestra avances: OpenAI, por ejemplo, ha introducido ventanas emergentes que instan a los usuarios a tomar un descanso durante conversaciones prolongadas. Su director ejecutivo, Sam Altman, comentó en redes sociales que la startup había «sido capaz de mitigar los graves problemas de salud mental» relacionados con el uso de ChatGPT y que, por ello, retiraría las restricciones más estrictas.

En Stanford, decenas de asistentes participaron activamente en extensas charlas sobre los riesgos y beneficios de los bots. «Al final, estamos muy de acuerdo», afirmó Sunny Liu, directora de programas de investigación de Stanford, quien resaltó el entusiasmo del grupo por «las formas en que podemos utilizar estas herramientas para unir a otras personas».

La Vulnerabilidad Adolescente bajo la Lupa de la IA

El impacto de los compañeros de IA en los jóvenes fue uno de los ejes centrales del debate. Se escucharon las perspectivas de empleados de Character.AI, una plataforma diseñada para juegos de rol y popular entre adolescentes, así como de expertos en salud online de esta franja etaria, como los del Digital Wellness Lab del Boston Children’s Hospital.

Esta atención a los usuarios más jóvenes cobra relevancia en un contexto donde varios padres han iniciado acciones legales contra fabricantes de chatbots, incluidos OpenAI y Character.AI, tras la muerte de niños que habían interactuado con estas inteligencias. Como respuesta, OpenAI ha incorporado una serie de nuevas funciones de seguridad destinadas a adolescentes. Por su parte, Character.AI tiene previsto, para la próxima semana, prohibir el acceso a la función de chat a usuarios menores de 18 años.

Compartir
🔺 Tendencia