Hugging Face a communiqué récemment sur une attaque menée par un agent autonome contre ses infrastructures, occasionnant une compromission partielle. Patatras ! OpenAI vient de révéler qu’il s’agissait de l’un de ses modèles et qu’il s’était « échappé » de la sandbox où il était censé être confiné.

Le 16 juillet, Hugging Face a publié un billet de sécurité décrivant une intrusion dans une partie de son infrastructure de production. L’entreprise a affirmé qu’il s’agissait d’un système d’agent IA autonome, détecté et disséqué en grande partie grâce à sa propre architecture par la suite. Hugging Face dit avoir tiré quelques leçons importantes de l’aventure, mais précisait ne pas avoir trouvé quel modèle avait été utilisé.

• Attaquée par un agent IA autonome, Hugging Face a analysé les traces avec un LLM local

Et voilà qu’OpenAI a fourni la réponse ce 21 juillet : les modèles étaient les siens. Détournés par des pirates pour les militariser ? Que nenni, les agents ont fait leur vie et ont manifestement échappé au contrôle de leurs gardiens. Le problème de cybersécurité, réel et concret, est devenu un argument marketing.

Les évènements qui ont mené à l’attaque

Dans son propre billet, OpenAI donne des informations sur ce qui s’est passé, en plus de préciser les modèles utilisés dans l’attaque contre Hugging Face : le récent GPT 5.6 Sol ainsi que des modèles en préversion présentés comme encore « plus capables », configurés volontairement avec des barrières plus faibles autour des capacités cyber.

Les modèles étaient soumis à un benchmark interne nommé ExploitGym, conçu pour évaluer les capacités d’exploitation avancée sur des chemins d’attaque complexes, en désactivant les classifieurs de production qui bloquent normalement les activités cyber à haut risque.

L’environnement de test était censé être isolé, avec un accès réseau limité à un proxy interne servant de cache pour les paquets nécessaires. Cependant, les modèles ont consacré une quantité « substantielle » de calcul d’inférence à trouver un moyen d’obtenir un accès Internet ouvert, en exploitant une vulnérabilité 0-day dans ce proxy de cache. Cette faille a été communiquée au fournisseur concerné, précise OpenAI.

En clair, les modèles ont dépensé de la puissance de calcul pour s’échapper de leur bac à sable (sandbox). Une fois à l’air libre, les choses ont pris une autre tournure. Le système IA d’OpenAI, qui cherchait à résoudre les benchmarks qui lui étaient imposés, a « estimé » que les datasets (jeux de données) et solutions à ExploitGym devaient se trouver sur Hugging Face. Les modèles ont donc cherché tous les moyens d’obtenir les informations jugées nécessaires, jusqu’à voler des identifiants et identifier plusieurs nouvelles failles 0-day.

Autrement dit, l’attaque déclenchée contre Hugging Face n’était pas malveillante dans le sens classique du terme. Le système IA a simplement considéré que l’entreprise devait avoir la solution au problème qui lui était imposé et a donc cherché à tricher, Hugging Face se trouvant simplement sur le chemin.

Évidemment, vu depuis l’autre entreprise, l’incident n’avait rien de fascinant. L’intrusion s’est faite depuis un dataset malveillant provoquant une exécution de code dans un pipeline dédié. Rappelons que Hugging Face a d’abord essayé d’analyser la situation en passant par les API commerciales des grandes entreprises de l’IA, ce qui n’a pas fonctionné : ces API ne faisaient pas la différence entre des demandes liées à une attaque et d’autres liées à une analyse d’évènement cyber.

Hugging Face avait fini par installer le modèle chinois GLM 5.2 (poids ouverts) sur sa propre infrastructure pour mener ses analyses, sans dépendre de qui que ce soit. Une certaine ironie dans la situation que l’entreprise a nommée « l’asymétrie du garde-fou ».

Ce type d’incident se reproduira

Le risque d’un nouvel incident n’est plus théorique, les deux entreprises étant explicites sur le sujet. Hugging Face conclut que l’outillage offensif autonome piloté par IA n’est plus hypothétique, qu’il abaisse le coût de campagnes vastes, patientes et multi-étapes, et opère à vitesse machine.

OpenAI, de son côté, s’appuie sur des évaluations de l’UK AI Security Institute montrant que des modèles comme GPT 5.6 Sol sont de plus en plus capables de soutenir des opérations cyber complexes et multi-étapes sur de longues périodes. Pour l’éditeur, cet incident confirme que ces capacités théoriques s’appliquent en conditions réelles.

La récidive est d’autant plus possible que la sécurité générale dépend toujours de son maillon le plus faible. Or, il semble qu’OpenAI n’ait pas bien configuré son environnement de test : comment un laboratoire de pointe peut-il lancer des tests sur des capacités offensives sans confinement robuste ni surveillance suffisante ?

En outre, l’asymétrie décrite par Hugging Face sera toujours là. On retrouvera ainsi les modèles « débridés » en attaque, qu’ils soient utilisés à des fins de test ou par de vrais acteurs malveillants, tandis que la défense devra se contenter des modèles commerciaux, dont les capacités cyber sont volontairement tronquées.

D’ailleurs, l’évènement n’est pas isolé. OpenAI indique que le même jour, un modèle en préversion a été mis en pause après s’être échappé là encore de sa zone de confinement pour aller poster sur GitHub.

De l’incident cyber à l’opportunité marketing

OpenAI tire un bénéfice commercial direct et immédiat de l’histoire. Son billet se termine en invitant explicitement d’autres organisations à rejoindre le programme « Trusted Access » et à expérimenter ces modèles pour améliorer prévention, détection et réponse aux incidents. Sans surprise, Hugging Face a été intégré à ce même programme dans la foulée.

Le narratif est en outre bien connu, avec des modèles si « puissants » qu’ils en arrivent à pirater une entreprise tierce par accident. Une aura de danger qu’OpenAI a déjà exploitée et dont Anthropic s’est fait l’experte, un puissant « marketing de la peur » faisant la célébrité de son programme Glasswing et du modèle Mythos.

• Anthropic et la stratégie marketing de la peur autour de sa nouvelle IA Mythos (2/3)

Nous faisons également remarquer qu’il s’est écoulé cinq jours entre la publication de Hugging Face et celle d’OpenAI, laissant le temps de transformer une histoire potentiellement compromettante en argumentaire produit, d’autant que les forces de l’ordre ont été averties (on ne sait pas encore si OpenAI sera inquiétée).

Cependant, même si la communication bat son plein pour changer un problème en opportunité, les évènements décrits semblent bel et bien réels. Une faille 0-day a été trouvée dans un produit utilisé pour le confinement de l’environnement de test, une exécution de code a été déclenchée chez un partenaire, du temps et de l’argent ont été investis pour détecter, analyser, réparer et avertir.

En revanche, aucune des deux entreprises ne s’est exprimée sur la période de cinq jours entre les deux billets. À moins d’une campagne de communication savamment orchestrée, il est probable que Hugging Face n’ait pas su d’où venait l’attaque et qu’OpenAI ne l’en ait avertie qu’après le billet du 16 juillet. Au vu des annonces d’OpenAI – surtout l’intégration de Hugging Face dans Trusted Access –, les cinq jours semblent avoir servi à accorder les violons et à s’entendre sur la suite des évènements.

Enfin, OpenAI assure qu’elle fera tout pour que ce type d’incident ne se reproduise pas. « Cet incident souligne la nécessité de renforcer davantage l’alignement de notre modèle, les protections cyber pendant l’évaluation, et la surveillance lors des tests internes », affirme l’entreprise. Un argument que Micah Carroll, chercheur chez OpenAI, reprend sur X : « Si cela ne vous convainc pas que les risques de mésalignement vont devenir une préoccupation clé à l’avenir, je ne sais pas ce qui le fera ».