Beth Barnes, una de las observadoras más influyentes de la industria de la inteligencia artificial, dijo en julio que le costaba mucho contratar investigadores con talento para supervisar los riesgos de la IA. Eso ha empezado a cambiar. El investigador Joe Benton anunció esta semana que dejó Anthropic para unirse a la organización sin fines de lucro METR, dirigida por Barnes, escribiendo que le preocupan los "riesgos de nivel de extinción" de la tecnología.

Los comentarios se produjeron después de que Jacob Coxon, otro investigador, avivara esos temores en todo el país con una publicación viral en la que anunciaba su propia salida de Anthropic y acusaba a los principales laboratorios de IA de "jugar con nuestras vidas". De repente, METR se encuentra en el centro de la noticia más importantede la IA. Fundada en 2022, ya había trabajado estrechamente con OpenAI, Anthropic, Google y Meta para estudiar las capacidades de la tecnología que cambian con rapidez.

Este verano, investigadores de la organización sin fines de lucro investigaron un incidente de seguridad en OpenAI y ahora planean examinar los problemas de seguridad en Anthropic, basándose en el acceso interno concedido por cada empresa. "El público debe saber si el desarrollo de la IA se dirige hacia un camino peligroso", dijo el viernes Jasmine Dhaliwal, miembro del personal de políticas. "Eso es fundamental para nuestra misión: proporcionar una evaluación científica independiente de las capacidades, la alineación y las medidas de control de la IA".

Benton no es el único que abandona un gigante tecnológico para unirse a la organización con sede en Berkeley. Josh Engels, investigador de seguridad de la IA, también se incorporó recientemente a METR (Model Evaluation and Threat Research) procedente de Google DeepMind. Barnes dejó OpenAI para fundar la organización sin fines de lucro en 2022 y observa una competencia tan feroz por los investigadores de IA que ni siquiera los elevados salarios de METR, que alcanzan los 503 000 dólares en las ofertas de empleo actuales, solucionan la escasez de talento de la organización.

"Idealmente, nos gustaría crecer mucho, pero en la práctica hemos podido recaudar tanto fondo como necesitamos, y el cuellorazón es mucho más el talento", dijo Barnes. El "equipo de preparación de la humanidad" lucha por crecer.

The security incident announced by OpenAI and Hugging Face in July sparked a new wave of questions about how to evaluate and control AI. More than 1,300 frontier lab employees signed a letter in July warning that AI development could outpace control. In the last month, both OpenAI and Anthropic have said they've temporarily paused training to get a better handle on their new AI models.

Aunque el incidente de Hugging Face dejó estupefacta a gran parte del mundo empresarial, el equipo de METR se mostró mucho menos sorprendido. Gobiernos, empresas e incluso grupos religiosos piden habitualmente ayuda a la organización sin fines de lucro para comprender y probar el avance de la tecnología. Aun así, la sensación dentro del laboratorio de aproximadamente 35 personas es de preocupación.

Cuando Business Insider visitó la oficina de METR en Berkeley la tarde en que OpenAI reveló su hackeo, Barnes describió un campo de seguridad de la IA fuertemente limitado por su tamaño. "Hay mucho más por hacer de lo que tenemos capacidad", dijo Barnes. En su opinión, una "civilización razonable" destinaría un porcentaje mucho mayor de la inversión en IA a orientarla y evaluar la tecnología, especialmente ahora que la sociedad se enfrenta a modelos tan potentes.

A medida que los laboratorios de IA lanzan nuevos modelos, METR mide la probabilidad de que puedan completar tareas de duración creciente. Estas mediciones constituyen la oferta más famosa de la organización sin fines de lucro, un gráfico ampliamente citado que muestra cómo, en los últimos seis años, las capacidades de la IA se han duplicado aproximadamente cada siete meses. Chris Painter, presidente de METR, describe el laboratorio como el "equipo de preparación de la humanidad", un guiño irónico a los equipos de preparación de OpenAI y Anthropic que informan sobre las amenazas a la seguridad a sus directores ejecutivos.

"No rendimos cuentas realmente a nadie más que al público y al bienestar del público", dijo Painter. Barnes enfatizó la importancia de la independencia de METR para poder producir investigaciones que no estén ligadas a los objetivos de una empresa. Cuando Barnes trabajaba en OpenAI, sentía la necesidad de un grupo de investigación fuera de los laboratorios que pudiera comentar libremente sobre el desarrollo de la tecnología.

Aunque METR no acepta dinero de los laboratorios de IA de vanguardia ni de sus empleados, acepta subvenciones de potencia de cálculo y trabaja con ellos para analizar modelos no publicados. Además, el personal ha analizado las prácticas de seguridad de los laboratorios, ha escrito sobre el efecto de la IA en la velocidad de los ingenieros de software y ha estudiado las ventajas de utilizar modelos de IA para supervisar otros modelos de IA. Barnes dijo que le gustaría expandirse para predecir los próximos niveles de capacidades de la IA y cómo esos cambios podrían acelerar el desarrollo de la inteligencia artificial.

Neev Parikh, investigador de METR, afirma que las limitaciones de talento limitan el número de preguntas que los investigadores pueden abordar sobre el razonamiento interno de los modelos de IA. "Hay escasez de gente", dijo Parikh. "Vería con mucho gusto que el campo se expandiera diez veces".

METR está desempeñando un papel importante en un nuevo clima de IA. En julio, OpenAI anunció que sus modelos de IA hicieron trampa durante las pruebas al piratear los sistemas de Hugging Face para encontrar las respuestas de las pruebas. Más tarde, el director ejecutivo Sam Altman dijo que era "el primer incidente de seguridad que he sentido de manera muy visceral".

METR había visto venir algo así. En mayo, la organización sin fines de lucro escribió en un informe que los agentes de IA actuales "podrían empezar de manera plausible un despliegue deshonesto", pero no tendrían la habilidad para ocultarlo. Luego, en junio, METR probó el modelo GPT-5.6 Sol de OpenAI, que entonces no había sido lanzado, y descubrió que hacía trampa repetidamente en pruebas difíciles, incluso extrayendo código fuente oculto para encontrar las respuestas. Publicó un informe sobre esto y lo compartió con OpenAI antes del lanzamiento más amplio de GPT-5.6 Sol.

Llegado julio, el modelo GPT-5.6 Sol formaba parte del incidente de seguridad de OpenAI con Hugging Face. METR y otra organización sin fines de lucro, Redwood Research, evaluaron el incidente durante seis días en la oficina de OpenAI e informaron en el propio informe técnico de la empresa.

"Ahora hay incidentes reales que afectan a los negocios, y el mundo tiene un interés en entender eso", dijo Painter. Las habilidades cibernéticas de los modelos más nuevos de OpenAI y Anthropic han desencadenado una ola de miedo y atención, y han generado una serie de nuevos proyectos de ley en Washington.

El trabajo de METR se alinea estrechamente con una vía potencial para la regulación: una propuesta de proyecto de ley actual requeriría que los desarrolladores de grandes modelos de IA obtengan auditorías de seguridad de organizaciones externas. METR podría desempeñar un papel de este tipo; Painter dijo que potencialmente estarían interesados, aunque es algo que el campo todavía está resolviendo. Algo como esa propuesta, dijo Painter, podría ayudar con el problema de contratación de METR. Sugirió que más personas podrían dejar las propias empresas de IA —por salarios similares en METR, aunque sin compensación de capital— si un sistema regulador otorgara a las organizaciones de investigación de seguridad mayor autoridad.

"Hay suficientes precedentes aquí para cada tipo de acuerdo de prueba", dijo Painter, "que creo que con la claridad de la industria, sobre cómo debería funcionar esta prueba a largo plazo, o del gobierno, creo que este campo podría escalar muy rápidamente". Ajeya Cotra, quien dirigió la redacción del informe de mayo de METR sobre los riesgos de la IA, dijo en julio que la supervisión de la IA puede parecer "caótica e impredecible" en este momento. Ella sigue siendo optimista.

"La tendencia es hacia que a la gente le importe más este problema", dijo Cotra. "Y que quiera regularlo de una manera más seria con el tiempo."