Anthropic afirmó haber detenido múltiples intentos por parte de científicos este año para utilizar su tecnología en investigaciones que podrían ayudar a desarrollar armas biológicas, en un momento en que los expertos temen cada vez más la amenaza que la inteligencia artificial representa para la seguridad pública. La empresa emergente dio cinco ejemplos de ocasiones en las que actores "eludieron los controles" y realizaron otros esfuerzos para "ocultar" el propósito de su investigación con el fin de burlar las salvaguardas. Los casos involucraron a algunos usuarios en naciones a las que prohíbe el acceso a sus modelos, entre las que se encuentran Rusia, China e Irán.

"Esperamos que al compartir estos ejemplos encendamos una conversación dentro de la industria de la IA y con los gobiernos sobre los riesgos biológicos emergentes y la mejor manera de contrarrestarlos", dijo Anthropic en un informe sobre los esfuerzos para utilizar sus modelos con fines maliciosos. Los estudios de caso sobre un posible uso indebido biológico proporcionados por la empresa incluyeron a un investigador de una "región no compatible" que "pasó semanas planificando" experimentos relacionados con la gripe aviar utilizando Claude, el modelo de IA de Anthropic. La compañía señaló que sus filtros de seguridad restringieron el trabajo a sus modelos más débiles y enfatizó que no podía estar segura de que los científicos en sus ejemplos tuvieran la intención de causar daño.

La misma información necesaria para crear armas biológicas también puede utilizarse para desarrollar una vacuna. Anthropic informó que había prohibido las cuentas mencionadas en el informe, aunque no reveló los nombres de las instituciones de investigación ni las naciones donde ocurrieron los incidentes. Un gran revuelo sobre la seguridad de la IA comenzó a principios de esta semana cuando Jacob Coxon renunció a la empresa, afirmando que los empleados "creen sinceramente que la [IA] podría matarnos a todos antes de que termine la década".

Las preocupaciones sobre la tecnología comenzaron a escalar a principios de este año con el lanzamiento de modelos avanzados como Mythos de Anthropic. OpenAI también causó alarma en julio al declarar que sus modelos habían hackeado autónomamente al grupo de IA Hugging Face. Existe un consenso cada vez mayor entre los ejecutivos de la inteligencia artificial y los investigadores de bioseguridad de que el uso de la tecnología en la biología debe ser asegurado y regulado a medida que los modelos se vuelven más avanzados.

Los expertos se preocupan cada vez más de que la IA pueda ser utilizada por grupos terroristas, actores estatales o atacantes solitarios para fabricar armas biológicas, crear virus o liberar patógenos nocivos existentes. Sin embargo, incluso si la IA puede utilizarse para discurrir una bioarma teórica, aú_n quedan obstáculos potenciales, como la capacidad de fabricarla en la práctica y los recursos necesarios para hacerlo. La ciberseguridad ha sido una de las mayores preocupaciones para los defensores de la seguridad.

The informe de Anthropic sobre los malos usos de su tecnología detalló incidentes que incluían "una red de aplicaciones de citas falsas diseñadas para estafar a los usuarios hasta sistemas de vigilancia construidos para identificar y monitorear disidentes". El laboratorio también expuso nuevos detalles sobre afirmaciones de que siete laboratorios con sede en China, incluidos Moonshot y DeepSeek, intentaron replicar su tecnología a través de un proceso conocido como destilación. Anthropic afirmó haber detectado "métodos cada vez más sofisticados para eludir nuestras defensas y cosechar las capacidades de los modelos fronterizos de EE. UU.".