Après Anthropic, OpenAI et Meta, voilà qu’un modèle du chinois Moonshot AI aurait lui aussi réussi à accéder à internet aux dépens de ses constructeurs. Une démonstration supplémentaire des failles techniques et humaines existant chez les constructeurs d’IA générative et leurs partenaires, mais aussi de l’impunité qu’ils cultivent de manière très publique.

Ça commence à bien faire. Après Anthropic, Open AI et Meta, c’est au tour du chinois Moonshot AI de laisser un des systèmes d’IA générative accéder à internet. Une fois au large, le système a fouillé Github pour y chercher les réponses au benchmark de sécurité auquel il était soumis, d’après la société états-unienne Frontier Security.

À peu près à la même période, c’était Meta qui laissait son modèle Muse Spark 1.1 accéder à internet « par inadvertance », espace depuis lequel le système a hacké un acteur tiers. La mention de l’inadvertance est une citation du Wall Street Journal. Mais elle traduit bien le ton global des communiqués et explications fournies par chacun des constructeurs d’IA générative au gré des failles de cybersécurité mises au jour ces dernières semaines.

Premier concerné, OpenAI s’est débrouillé dès le mois de juillet pour tourner la perte de contrôle de l’outil que l’entreprise avait elle-même construit en démonstration de la supposée « intelligence » du modèle GPT 5.6 Sol. Alors qu’il était soumis à un test interne, supposément isolé du réseau, le dispositif aurait exploité une vulnérabilité 0-day pour accéder à internet et, de là, se tourner vers les systèmes de la société concurrente Hugging Face pour trouver les réponses au test auquel il était soumis. Pour les besoins de ce test, GPT 5.6 Sol avait été volontairement configuré avec des barrières cyber relativement faibles. Pour autant, OpenAI a mis cinq jours complets à s’apercevoir du problème.

• L’attaque contre Hugging Face est venue… d’OpenAI

Depuis quand les vulnérabilités technologiques sont-elles devenues un argument de vente ? Depuis quand un produit ouvertement dangereux pour son constructeur et pour le reste du milieu économique et social – ses concurrents, ses clients, des internautes qui passent dans le coin – peut-il être mis sur le marché sans que quiconque ne demande vérification et sécurisation du produit en amont ?

C’est pas nous, c’est Irregular

Les raisons de la « prise d’indépendance » du moteur de Meta sont peu ou prou les mêmes que celles avancées par OpenAI quelques semaines plus tôt : d’après les entreprises elles-mêmes, ces errements sont dûs à de « mauvaises configurations » des environnements dans lesquels les tests de cybersécurité ont été mis en place. Chez Anthropic, Claude aurait de son côté réussi par trois fois (sur 141 000 sessions de tests) à sortir de son « bac à sable » (sandbox, environnement d’expérimentation sécurisé) pour aller sur internet.

La succession d’incidents vus chez les acteurs états-uniens Meta, Anthropic et OpenAI serait d’ailleurs le résultat d’un seul et même test de cybersécurité. Les trois ont été menés par la société Irregular, qui se présente comme un « laboratoire de sécurisation des systèmes frontière ». Celle-ci déclare que les incidents ne sont le résultat d’aucune action cyber sophistiquée, et qu’elle n’a pas de « problème en cours » au sujet de son environnement de test.

S’il n’y a pas de problème, il ne reste plus qu’à… faire confiance aux constructeurs d’IA comme à leurs partenaires ? Et considérer qu’il n’y a pas de problème ?

Doom marketing is still marketing

Si les modèles concernés ont exploité des failles techniques pour répondre aux tests de cybersécurité auxquels ils étaient soumis, avance Nathaniel Jones, cadre de la société de cybersécurité Darktrace, dans TechRadar, c’est précisément parce qu’ils ont été construits et testés pour cela. Alors qu’elles s’étaient vues fixer « l’objectif légitime de résoudre un exercice de référence en matière de cybersécurité », les machines ont trouvé « une voie inattendue pour parvenir aux réponses ».

« L’eau sous pression ne "décide" pas de s’échapper. Elle s’engouffre dans une brèche sous la seule force de la pression », écrit de son côté l’éditeur Cyrille Zola-Place dans une tribune. « Personne ne dirait que l’eau est « en mission », qu’elle agit « de sa propre initiative », qu’elle est « hors de contrôle ». Tout le monde comprendrait que la question est ailleurs : qui a construit ce barrage, et pourquoi n’a-t-il pas tenu ? Le système n’a pas « voulu » sortir. Il a optimisé un chemin. Et le chemin passait par là. »

Fondateur de la société de cybersécurité Immuniweb, Ilia Kolochenko estime de son côté que l’annonce d’Anthropic était surtout un « geste marketing » destiné à répondre aux discours relatifs à l’attaque d’Hugging Face par des systèmes d’IA, « qui avait attiré l’attention du monde entier ». Une analyse que nous élargissons volontiers à la réaction de Meta, à la décision de sociétés comme Frontier Security d’analyser divers autres systèmes pour voir si, eux aussi, avaient réussi à échapper à leur environnement de test. On pourrait même, pourquoi pas, y ajouter le « test de sécurité » mené au Royaume-Uni par l’AI Security Institute, pendant lequel (surprise) un modèle d’OpenAI et un autre d’Anthropic se seraient échappés. Là encore, des experts qualifient toute l’affaire de « campagne publicitaire éthiquement problématique », et la fuite de parfaitement justifiée, étant donné que le test avait notamment consisté à minimiser les garde-fous autour des systèmes étudiés.

Mais pendant qu’on brandit des scénarios d’outils capables d’attaquer de leur propre chef, la question de la responsabilité que prennent les constructeurs d’IA pour éviter que de tels incidents ne se reproduisent reste, elle, encore et toujours évacuée du débat.

Transparence vidée de sa substance

Quelques semaines à peine après l’incident repéré vis-à-vis d’Hugging Face, un communiqué d’OpenAI, relatif à un autre de ses outils, illustrait très bien le pied de nez que le constructeur a décidé de continuer d’adresser au monde. Dans ce texte consacré à son modèle Astra, l’entreprise écrit ne pas pouvoir « exclure » que celui-ci présente « des cybercapacités critiques » telles que définies par ses propres cadres. Autrement dit, Astra pourrait poser de sérieux problèmes de cybersécurité.

OpenAI déclare communiquer ces informations, « car nous estimons important de faire preuve de transparence auprès du public et des communautés spécialisées dans la sûreté et la sécurité concernant cette évolution potentielle des capacités ». Cette « transparence » dont se prévaut l’entreprise résonne fortement avec les exigences longtemps promues par les scientifiques spécialistes de l’intelligence artificielle. Sauf qu’elle ne ressemble en rien à la transparence qu’ils et elles demandent, qui impliquerait d’ouvrir l’accès aux modèles, à leurs données d’entraînement, à leur architecture, de détailler leurs besoins en ressources, ou, dans le cas présent, de donner des informations bien plus précises sur ce à quoi, concrètement et techniquement, les incidents de sécurité pourraient ressembler.

Telle qu’elle apparaît dans le communiqué d’OpenAI, la transparence ressemble plutôt à des menaces (Attention, vous pourriez vous faire hacker si le système nous échappe !) ou à un manuel de terrain pour cultiver l’impunité (si ça arrive, oups 🤷 Au moins on aura prévenu 🙂 ).

Le texte, qui vise à prévenir du degré potentiel de dangerosité d’un des modèles d’OpenAI, fait même référence à la compromission d’Hugging Face, mais uniquement pour dire qu’Astra n’est pas impliqué dans l’affaire. Est-ce qu’OpenAI prévoit de suspendre certaines de ses activités le temps de s’assurer que ses outils ne créeront plus de danger ? Non. L’entreprise se contente de donner un vague aperçu de sa cuisine interne pour que « la poursuite du développement de ce modèle se déroule dans des conditions garantissant sa sûreté et sa sécurité ». Mais qui dit que la poursuite du développement de ce modèle est souhaitable ? Comment croire, même, qu’elle puisse être « sûre et sécurisée », alors qu’OpenAI vient de montrer sa faillibilité ?

• Karen Hao : « Les empires de l’IA étouffent l’innovation »


Toujours aucun contrôle a priori

Passons rapidement sur les mesures dédiées à « surveiller (…) des défauts d’alignement », concept toujours pas défini correctement. Alors qu’OpenAI a laissé un de ses modèles agir en dehors de son bac à sable, la question se fait pourtant chaque jour plus pressante : de quel alignement parle OpenAI ? Les intérêts et les valeurs de Sam Altman sont-ils les plus alignés avec ceux du peuple états-unien ? Du gouvernement local ? De l’Occident ? De la planète ? Ou ne parle-t-on que de l’alignement de modèles sur les seuls intérêts du patron d’OpenAI ?

Le cadre qu’a fixé l’entreprise l’«a déjà guidée lors d’autres transitions de capacités », indique-t-elle encore. En langage naturel, cela signifie qu’Astra risque de présenter des « cybercapacités critiques », mais que, calmez-vous madame, ça va bien se passer. Par quel tour de magie une erreur de sécurité peut-elle devenir un argument de vente ? De quelle ampleur la prochaine faille cyber doit-elle être pour qu’enfin, législateurs et gouvernants tiennent les constructeurs de modèles d’IA pour responsables des dégâts qu’ils causent ? Et à quels saints représentants politiques faut-il se vouer, pour empêcher que les constructeurs d’IA, outre se tirer la bourre pour capter tellement de soutien financier qu’ils représentent un risque pour l’économie mondiale, se lancent désormais dans une course à celui qui créera le plus vite le plus grand danger cyber ?

• AI Act : l’Union européenne accorde un répit aux industriels

Côté régulation, les Européens pourront compter dans les prochaines années sur l’AI Act, quand bien même sa mise en application vient d’être reculée, et le texte lui-même, allégé. Mais les dispositifs de sécurité que celui-ci impose fonctionnent a posteriori : même pour les systèmes les plus sensibles, dits « à haut risque », ce sera aux fournisseurs d’informer les autorités de surveillance des marchés concernés lorsqu’ils constateront un lien entre leur système et un éventuel incident grave.

En termes de contrôle, l’Union se dote d’un Bureau de l’intelligence artificielle et d’un comité IA chargé de la coordination des autorités nationales. « Toute personne physique ou morale » pourra par ailleurs déposer ses réclamations auprès de l’autorité relative à son marché pour obtenir « des explications claires et pertinentes » en cas d’impacts négatifs d’un système d’IA sur « sa santé, sa sécurité ou ses droits fondamentaux ». Dans les textes actuels, en revanche, nulle trace de contrôle a priori, que ce soit des constructeurs ou des tiers supposés les aider à construire leurs tests de cybersécurité.

• Gouvernance, sanctions : les outils de mise en conformité et de contrôle de l’AI Act

On pourrait, collectivement, décider de s’en alarmer : d’après ABC News, un internaute australien vient de déclencher par inadvertance le hack du site web de sa salle de gym, après avoir demandé à un agent de lui réserver une place. Pour le moment, hormis pour la salle de gym et son éditeur de logiciel de réservation, les enjeux restent faibles. Mais que se passerait-il si un « malin » petit système d’IA, qu’il soit utilisé par un internaute sans connaissances techniques ou par des experts ayant abaissé ses garde-fous pour les besoins d’un test de cybersécurité, se retrouvait à attaquer le site web d’un hôpital, d’une administration, voire du système de gestion d’un barrage hydroélectrique ou d’une centrale nucléaire ?

En l’état, les incidents de l’été laissent nettement douter de l’efficacité des dispositifs de sécurité déployés par les constructeurs. Ceux-là mêmes continuent pourtant de refuser d’être régulés – donc d’être mis devant leur responsabilité – par d’autres qu’eux-mêmes, au motif que ça les empêcherait d’innover. Il serait peut-être temps de cesser de les prendre au mot ?