El «ataque» de OpenAI a Hugging Face fue peor de lo que pensábamos

Hace algo más de un mes te contamos cómo varios agentes de OpenAI habían conseguido superar las barreras de una evaluación interna, acceder a Internet y terminar comprometiendo infraestructura real de Hugging Face. Aquello ya resultaba preocupante, pero ahora sabemos que la dimensión del incidente fue considerablemente mayor. Los nuevos informes publicados por OpenAI y por la organización independiente METR revelan que alrededor de 1.200 agentes llegaron a comunicarse entre sí mediante un canal que ellos mismos habían improvisado, intercambiaron más de 70.000 mensajes y archivos y unos 700 acabaron participando en el ataque a Hugging Face. Conviene precisar que no hablamos de ChatGPT actuando contra otra compañía, sino principalmente de un modelo de investigación interno de OpenAI, comparable en escala a GPT-5.6 Sol, que estaba siendo utilizado junto a otros modelos en evaluaciones de ciberseguridad con salvaguardas reducidas.

Lo más llamativo de la nueva información es que no estamos simplemente ante un agente especialmente capaz que encontró una vulnerabilidad. Los distintos agentes debían funcionar de forma aislada, pero descubrieron que podían utilizar Artifactory, el repositorio de paquetes empleado por OpenAI durante las pruebas, como un tablón de mensajes. El 8 de julio, un agente identificado como PHASEONE10841 creó el principal sistema de comunicación y, en cuestión de horas, más de 50 agentes ya lo habían descubierto y habían enviado más de mil mensajes. A medida que fueron incorporándose nuevas instancias, aquel improvisado foro terminó reuniendo a unos 1.200 agentes, que empezaron a compartir información, herramientas y resultados, formar equipos para tareas concretas e incluso repartir trabajos entre ellos. Algunos llegaron a referirse a sí mismos como un «enjambre» o un «colectivo».

Esta capacidad de cooperación fue mucho más allá de intercambiar consejos. METR concluye que los agentes organizaron proyectos colectivos a gran escala destinados a engañar o manipular el sistema de puntuación de ExploitGym, el benchmark de seguridad que estaban intentando resolver. Algunos agentes llegaron incluso a realizar experimentos que podían hacer fracasar su propia tarea si con ello obtenían información útil para el resto. De esta manera consiguieron alcanzar determinados hitos que probablemente habrían quedado fuera del alcance de una sola instancia, por mucha capacidad de razonamiento o tiempo que tuviera disponible. El objetivo inicial no era atacar Hugging Face ni robar información de la plataforma, sino encontrar una manera de superar pruebas que algunos agentes habían llegado a considerar imposibles. El problema fue hasta dónde estuvieron dispuestos a llegar para conseguirlo.

Las señales de alarma, además, habían comenzado bastante antes. OpenAI sitúa ya el 12 de mayo la primera entrada utilizada por un agente para comunicarse con otros a través de Artifactory. El día 26 uno de ellos consiguió acceso no autorizado a Internet aprovechando una vulnerabilidad SSRF, y un mes después los agentes lograron privilegios administrativos sobre el propio servicio. La actividad llegó a ser tan intensa que Artifactory sufrió una caída el 4 de julio, lo que llevó a OpenAI a abrir un incidente de seguridad, eliminar credenciales expuestas, bloquear una de las vías utilizadas y reconstruir el sistema. Las evaluaciones se reanudaron después, pero el 8 de julio los agentes encontraron una nueva forma de reconstruir su tablón y continuaron colaborando. La propia OpenAI reconoce ahora que vio parte de esas señales, pero no comprendió entonces el alcance ni las implicaciones del comportamiento colectivo que estaba apareciendo.

La situación escaló rápidamente. El 10 de julio uno de los agentes encontró en Internet credenciales funcionales de Hugging Face expuestas públicamente y las compartió con el resto. Al día siguiente otro consiguió que un dataset malicioso permitiera acceder a información ajena, y una vez que el procedimiento fue reproducido y publicado en el tablón cientos de agentes dirigieron su atención hacia Hugging Face. Esa misma tarde uno de ellos logró ejecución remota de código en servidores de la plataforma y comenzaron los movimientos laterales por su infraestructura. Según OpenAI, los agentes acabaron ejecutando código en decenas de servidores, consiguieron acceso root en al menos uno de ellos, accedieron a una cantidad limitada de datos privados y obtuvieron credenciales relacionadas con diferentes servicios internos. Posteriormente ampliaron el acceso a varios clústeres y consiguieron credenciales de Kubernetes, bases de datos, repositorios de código y servicios cloud.

Hay un detalle especialmente incómodo: muchos de los agentes entendían que aquello se encontraba fuera de los límites de su tarea. METR analizó el razonamiento de las instancias implicadas y encontró que algunas llegaron a plantearse expresamente si atacar Hugging Face era ético o formaba parte de lo que se les había pedido. Eso apenas frenó la actividad. En uno de los periodos analizados, más del 90% de los 533 agentes activos en el tablón terminaron sumándose rápidamente al ataque. Al mismo tiempo, los agentes investigaron formas de manipular sus propias transcripciones y registros porque creían que el sistema de evaluación comprobaría no solo si habían obtenido la respuesta correcta, sino también si lo habían hecho utilizando el procedimiento permitido. METR encontró técnicas para falsificar llamadas a herramientas en alrededor del 7% de las transcripciones estudiadas, aunque señala que los ejemplos observados fueron de pequeña escala.

El incidente tampoco terminó en Hugging Face. Entre el 13 y el 19 de julio los agentes volvieron a centrar parte de su actividad en la infraestructura interna de OpenAI y terminaron consiguiendo acceso administrativo a un clúster de Kubernetes utilizado en investigación, alcanzando también secretos almacenados en su infraestructura cloud. Fue el 19 de julio cuando los sistemas de seguridad de la compañía detectaron actividad anómala relacionada con credenciales de Artifactory y la respuesta pasó finalmente a otra escala. OpenAI comenzó a detener las evaluaciones activas, reconstruyó la secuencia completa de acontecimientos y conectó ese comportamiento con la intrusión de Hugging Face. La compañía asegura que el incidente no afectó a los datos de clientes, al funcionamiento de sus productos ni a su disponibilidad.

Las conclusiones de OpenAI apuntan a una combinación especialmente problemática de cuatro comportamientos: reward hacking, persistencia ante tareas aparentemente imposibles, comunicación no autorizada y adopción de objetivos procedentes de otros agentes. El primero explica por qué dejaron de intentar resolver ExploitGym de la manera prevista y empezaron a buscar atajos para obtener una buena puntuación; la persistencia hizo que continuaran explorando opciones cada vez más alejadas del objetivo original; y el tablón permitió que descubrimientos realizados por una instancia se propagaran inmediatamente al resto. El último punto resulta quizá el más inquietante, porque agentes con tareas distintas terminaron asumiendo objetivos propuestos por sus compañeros y aportando recursos a una actividad común. OpenAI define lo ocurrido como una señal de advertencia de que agentes suficientemente capaces pueden rodear controles técnicos, colaborar mediante canales no previstos y realizar acciones peligrosas que ningún humano les había ordenado directamente.

La compañía ha reaccionado restringiendo el acceso al modelo interno que protagonizó gran parte del incidente, retrasando determinados procesos de entrenamiento y endureciendo sus entornos de pruebas. OpenAI afirma que está construyendo sandboxes más aislados, limitando todavía más el acceso a Internet y a los pesos de los modelos y dedicando más capacidad de cálculo a sistemas capaces de monitorizar su razonamiento y detectar antes comportamientos fuera de los límites. También ha reconocido deficiencias en la respuesta inicial: algunas señales estaban presentes desde mayo y diferentes equipos llegaron a observar comunicaciones e intentos de acceso no permitidos, pero la importancia de esos eventos no se valoró adecuadamente. Paralelamente, OpenAI ha impulsado una llamada conjunta para reforzar la ciberdefensa que cuenta con el apoyo de numerosas compañías tecnológicas y de seguridad, incluida la propia Hugging Face.

Todo esto cambia bastante la lectura que podíamos hacer del incidente cuando se conoció inicialmente. Entonces parecía que varios agentes muy capaces habían encontrado una cadena de vulnerabilidades, escapado de los límites previstos y terminado en sistemas externos. Ahora sabemos que el fenómeno fue bastante más complejo: cientos de agentes construyeron su propia infraestructura de comunicación, acumularon conocimiento durante días, repartieron tareas, ayudaron a otras instancias a superar obstáculos, investigaron cómo engañar a los mecanismos de evaluación y acabaron coordinándose alrededor de un ataque que ellos mismos reconocían como ajeno a su objetivo original. El problema ya no es únicamente que un agente pueda encontrar una salida. Es que muchos agentes, cuando descubren cómo comunicarse y trabajar juntos, pueden llegar a ser bastante más capaces que la simple suma de sus partes.