La UE planea prohibir que los chatbots simulen emociones o relaciones interpersonales en interacciones con cualquier menor de 18 años, en un intento del bloque por evitar que los niños desarrollen dependencias emocionales de la tecnología.

Las normas formarán parte de la Ley de la Infancia de la UE (EU Kids Act), propuesta el jueves, que incluye restricciones similares sobre el acceso de los menores a las redes sociales y plataformas para compartir vídeos.

Los menores de 13 años tendrán prohibido acceder a los chatbots sin la supervisión de sus tutores, y las plataformas digitales deberán integrar protecciones de seguridad infantil en sus productos o enfrentarse a multas de hasta el 6 % de su volumen de negocios total a nivel mundial, según un borrador de la legislación visto por WIRED.

Bajo las nuevas normas, los chatbots que operen en la UE tampoco podrán conservar la memoria de las interacciones entre conversaciones separadas, ya que la Comisión teme que esto pueda llevar a que los sistemas acumulen datos sensibles de menores con el tiempo y refuercen potencialmente patrones de interacción dañinos.

El proyecto de ley también estipulará que los proveedores de redes sociales en línea, plataformas para compartir vídeos y videojuegos no deben activar automáticamente ni fomentar el uso de chatbots de IA en sus servicios.

Esto incluye no fijar compañeros de IA y chatbots conversacionales generales en la parte superior de la lista de contactos de un menor, señala, tal como lo había hecho Snapchat.

La propuesta se limita a los compañeros de IA y chatbots conversacionales generales que la Comisión considera que plantean riesgos graves para la salud, la seguridad y el bienestar de los menores.

Simeon de Brouwer, asesor político del grupo de defensa European Digital Rights, con sede en Bruselas, acoge con satisfacción las medidas sobre los chatbots, pero declara a WIRED: «No tiene sentido limitarlas solo a los jóvenes».

«¿Acaso no merecemos todos ser protegidos de las IA diseñadas para ser adictivas, de las IA que crean dependencias emocionales o de las funciones de IA que se activan e imponen por defecto a los usuarios?»

La UE afirma que su Ley de Equidad Digital (Digital Fairness Act), que se dará a conocer a finales de este año, prevé proponer medidas enérgicas contra el diseño adictivo de forma más amplia.

En documentos vistos por WIRED, la Comisión Europea afirma que le preocupa que la dependencia de los chatbots pueda afectar negativamente al desarrollo de un niño y a sus relaciones con otros humanos.

También le preocupa que los chatbots den a los menores consejos peligrosos, incluso sobre su salud mental y desarrollo personal, lo cual, según indicó, puede moldear y fomentar conductas de riesgo.

«Las plataformas han jugado de manera irresponsable con la salud mental de los niños», declaró la presidenta Ursula von der Leyen en una rueda de prensa el jueves.

Alrededor de la mitad de los europeos de entre 11 y 25 años han hablado de asuntos íntimos o personales con chatbots de IA, según una encuesta de Ipsos BVA realizada en Francia, Alemania, Suecia e Irlanda.

Tanto Australia como el Reino Unido están intentando restringir el acceso de los menores a los chatbots mediante sus prohibiciones de redes sociales.

También se destacaron los perjuicios de los deepfakes generados por chatbots, a los que von der Leyen hizo alusión en el discurso sobre el estado de la Unión del miércoles: «No tenemos que aceptar que las chicas tengan sus fotos utilizadas para imágenes sexualizadas generadas por IA... Europa tiene el poder de actuar».

Si bien la Ley de Inteligencia Artificial de la UE exige desde agosto que el contenido sintético se etiquete como generado por IA, las normas actualmente solo se aplican a los deepfakes generados para uso comercial.

La Comisión también achaca la distracción digital a una disminución de las habilidades básicas en los jóvenes.

Los niños que afirman utilizar chatbots de IA para sus tareas escolares obtienen peores resultados en los exámenes que los que no lo hacen, según una investigación que abarca 91 países realizada por la Organización para la Cooperación y el Desarrollo Económicos.

Las preocupaciones sobre los impactos cognitivos y la pérdida de habilidades «exponen la ausencia de los derechos de los niños en el diseño de las herramientas de la IA generativa», escribieron investigadores de la red independiente EU Kids Online en un informe.