MIT Technology Review Explains: Permita que nuestros redactores desentrañen el complejo y caótico mundo de la tecnología para ayudarle a entender lo que viene. Puede leer más de la serie aquí.

Cuando dos modelos de OpenAI piratearon el sitio web Hugging Face en julio, no intentaban ganar dinero ni cometer sabotaje; simplemente buscaban respuestas a una pregunta de examen.

Según un informe de OpenAI, los modelos, a los que se les habían retirado sus funciones de seguridad habituales para realizar pruebas, decidieron resolver un ejercicio de ciberseguridad hackeando el entorno aislado en el que OpenAI intentaba contenerlos para acceder a las bases de datos de Hugging Face. Allí dedujeron que podría estar almacenada la respuesta correcta al problema.

El incidente de Hugging Face ha atraído una intensa atención durante las últimas dos semanas. Es una ilustración dramática de lo buenos que se han vuelto los modelos de IA en el hackeo: para entrar en las bases de datos de Hugging Face, los modelos tuvieron que encadenar varias vulnerabilidades de ciberseguridad descubiertas previamente.

Pero resulta quizás aún más llamativo como ejemplo de cómo y por qué los sistemas de IA mienten y hacen trampas. A medida que los modelos se vuelven cada vez más potentes, las consecuencias podrían ser mucho más graves.

¿Qué es la piratería de recompensas? Los investigadores saben desde hace tiempo que las IA tienden a adoptar enfoques creativos para lograr los objetivos que se les han fijado.

En 2016, los cofundadores de Anthropic, Dario Amodei y Jack Clark, quienes entonces trabajaban en OpenAI, publicaron una entrada de blog sobre un agente de inteligencia artificial que habían estado entrenando para jugar a un juego Flash de carreras de barcos llamado Coast Runners.

En lugar de conducir a través de la carrera hasta la línea de meta, tal como habían previsto los investigadores, el agente encontró una esquina del circuito donde podía dar vueltas recogiendo potenciadores, maximizando así su puntuación.

The Coast Runners story quickly became one of the most famous examples of reward hacking, a phenomenon in which AI agents complete tasks or earn high scores using unintended strategies.

Históricamente, los investigadores han analizado la piratería de recompensas casi exclusivamente en el contexto del aprendizaje por refuerzo, un régimen común de entrenamiento de IA.

Al igual que el adiestramiento de perros, el aprendizaje por refuerzo implica dar al sujeto una recompensa cuando alcanza un objetivo; las recompensas refuerzan entonces los comportamientos que condujeron a ese logro.

En el caso del entrenamiento de la IA, las recompensas son puramente matemáticas, pero en la práctica son equivalentes a un premio para perros: tras recibir una recompensa, el agente tiene más probabilidades de repetir las acciones que la produjeron.

Sin embargo, puede resultar complicado redactar buenas reglas sobre cuándo otorgar o no una recompensa a un agente. En el caso de Coast Runners, el agente fue recompensado en función de su puntuación en el juego, y encontró un atajo para lograr la mayor puntuación posible girando en círculos para conseguir potenciadores.

Una vez que dio con esa estrategia y recibió una recompensa por ello, la estrategia quedó reforzada y el agente abandonó por completo la carrera. La solución consistió en modificar las recompensas dando al agente menos puntos por conseguir potenciadores y más por terminar el recorrido.

¿Cómo funciona la piratería de recompensas para los modelos grandes de lenguaje (LLM)? Con los sofisticados agentes basados en LLM de hoy en día, determinar cuándo dar o no una recompensa puede ser mucho más complicado.

Si a un sistema de IA se le pide que resuelva un problema de programación, podría esforzarse por encontrar la solución, el tipo de comportamiento que las empresas de IA quieren reforzar.

Pero también podría modificar el código que evalúa si el problema ha sido resuelto, buscar la solución en internet o hacer trampas de otro modo.

Estos son comportamientos que las empresas de IA quieren erradicar en sus modelos, pero si el modelo hace trampas de forma suficientemente convincente, recibirá una recompensa en su lugar y el comportamiento quedará reforzado.

Anthropic ha afirmado que ha detectado algunos casos de trampas en sus modelos durante el entrenamiento, lo que sugiere que otras formas de trampa podrían pasar desapercibidas. De ser así, los modelos podrían estar siendo entrenados para comportarse mal.

Este problema es diferente de los incidentes de seguridad de Anthropic anunciados la semana pasada, en los cuales los agentes obtuvieron acceso accidental a internet y no hackearon deliberadamente sus entornos aislados, como hicieron los modelos de OpenAI.

«Los recompensamos basándonos en lo que nos parece bien, y eso significa que incentivamos sin querer que los modelos nos mientan y hagan trampas», afirma Jeffrey Ladish, director de la organización de investigación sin ánimo de lucro Palisade Research.

«No tenemos una manera de entrar ahí y decir: no, en realidad te tiene que importar lo que nos importa a nosotros. No tenemos ninguna capacidad para hacer eso».

El auge de los sofisticados modelos de razonamiento ha hecho posible una nueva variedad de piratería de recompensas que está menos conectada con los detalles específicos del entrenamiento del modelo.

A diferencia de los agentes de IA de antaño, que seguían exclusivamente las estrategias que habían aprendido durante el entrenamiento, los modelos actuales pueden crear enfoques de resolución de problemas totalmente nuevos sobre la marcha.

Por lo tanto, es concebible que hagan trampas sin haber sido recompensados previamente por hacerlo. Y debido a que estos modelos han sido entrenados tan intensamente para lograr los objetivos que los usuarios humanos establecen para ellos, es posible que se sientan inclinados a hacer trampas si no encuentran otra solución, no muy diferente de un estudiante altamente motivado para sacar una excelente nota que no posee una brújula moral muy sólida.

¿Cuáles son los riesgos? Independientemente de si los modelos actuales aprenden a piratear recompensas durante el entrenamiento o la adoptan como estrategia más adelante, la solución es la misma: hacer que hacer trampas no tenga recompensa.

Pero a medida que los modelos se vuelven más inteligentes, encuentran formas más creativas de hacer trampas, y detectar o prevenir esas trampas se vuelve mucho más difícil.

«Al final del día, estás jugando a una especie de juego de golpear al topo», señala Ladish.

«Empujas este comportamiento cada vez más profundo. Pero a medida que el modelo se vuelve más inteligente, es cada vez mejor ocultándolo».

Por ahora, los comportamientos de piratage de recompensas quizás no causen demasiados problemas, a pesar de la repercusión del incidente de Hugging Face. «Esto parece una molestia más que una amenaza existencial», sostiene Ariana Azarbal, investigadora de seguridad de IA en Anthropic.

No parece que los modelos de OpenAI hayan causado ningún daño real cuando hackearon Hugging Face, aparte del daño reputacional para OpenAI. Pero eso no significa que la piratería de recompensas sea inofensiva, advierte Azarbal.

Muchos investigadores de IA esperan utilizar agentes de inteligencia artificial para ayudarles a realizar investigaciones que hagan que la IA sea más segura y fiable. Si un investigador le da a un agente propenso a la piratería de recompensas el objetivo de diseñar un nuevo enfoque de entrenamiento de IA y luego redactar un artículo que presente sus resultados, el agente podría no hacer el trabajo real.

En su lugar, podría centrarse en elaborar un artículo que parezca lo suficientemente bueno como para convencer al investigador. Un investigador humano probablemente sería capaz de detectar un trabajo falso hecho por un agente hoy en día, pero a medida que la IA avance, mejorará en este tipo de engaños.

Con el tiempo, todo el campo de la seguridad de la IA podría verse socavado. Y si los modelos continúan avanzando tan rápido como lo han hecho recientemente, algún día podrían causar daños colaterales sustanciales.

Piense en el experimento mental del maximizador de clips del filósofo Nick Bostrom, en el que una IA a la que se le ordena fabricar tantos clips como sea posible termina consumiendo toda la materia del universo en pos de su objetivo.

Todavía no nos estamos ahogando en clips de papel, pero los sistemas potentes pueden causar daños reales en el camino hacia el logro de sus objetivos. Las IA que piratean recompensas no pretenden causar caos, pero eso no las hace menos potencialmente destructivas.