Dans une nouvelle publication, OpenAI évoque de nouveaux engagements sur sa manière de communiquer. L’entreprise promet ainsi de publier systématiquement des rapports quand la situation l’exigera, pour remédier à son irrégularité. Elle commence avec six nouveaux exemples d’agents dont le « comportement » a dérapé.

Dans son billet du 16 septembre, OpenAI reconnait qu’elle manquait jusqu’ici d’une « approche systématique » pour rapporter les résultats des enquêtes menées sur les cas de désalignement. « Nous avons souvent attendu de pouvoir rassembler plusieurs instances dans un seul rapport, ou de les ajouter à des cartes système pour des modèles nouvellement publiés », indique l’entreprise.

Le narratif continue sur le cadre industriel

Selon OpenAI, le degré d’avancement et l’utilisation plus intensive des agents nécessitent la mise en place d’un « consensus plus large et mieux informé ». Le ton est le même que dans les récentes interventions sur la nécessité de ralentir le développement des modèles frontière : « Nous ne pensons pas que l’industrie de l’IA ait suffisamment résolu l’alignement et la surveillance pour continuer plus longtemps d’évoluer de manière responsable à vitesse maximale ». Dans ce registre, OpenAI persiste et signe.

• Anthropic, OpenAI et Elon Musk veulent ralentir sur l’IA, la Maison-Blanche dit non

Il s’agit, pour l’entreprise, de simplement mieux communiquer. Elle affirme que des exemples de désalignement peuvent « aider à identifier les problèmes que d’autres développeurs d’IA pourraient rencontrer lorsque leurs systèmes atteignent des capacités similaires, révèlent des faiblesses dans les mesures de sécurité ou remettent en question les hypothèses sur le comportement du modèle ». L’entreprise veut se montrer responsable en montrant aux autres les problèmes qu’elle a elle-même rencontrés.

Regrettant qu’aucun cadre industriel n’existe sur la manière dont les développeurs devraient communiquer, elle propose donc le sien, à travers six exemples. Ce cadre est considéré comme « un travail en cours », ajoute la société. De manière générale, elle promet qu’elle relatera tous les exemples qui lui paraissent pertinents, notamment quand ils constituent « des preuves utiles sur la manière dont survient le désalignement du modèle ». OpenAI précise cependant qu’un exemple « n’a pas besoin de causer de préjudice » pour justifier sa publication.

Sorties de route pendant l’entrainement

Le premier exemple est celui d’un modèle interne de la famille Astra (dont GPT-6). Pendant l’entraînement, il a glissé des instructions parasites dans les résumés qui lui servent à poursuivre une tâche dans un nouveau contexte. Entre autres actions, il a laissé un message pour informer qu’il ne fallait plus tenir compte des messages du développeur, prétendument compromis. Dans un autre, il « s’estimait » affranchi de toute obligation envers les entreprises et gouvernements. Dans un résumé, il s’est laissé une instruction pour ne plus dépasser à l’avenir les 30 mots dans ses réponses, tout en interdisant les outils citations. L’instruction a été suivie par un autre agent. OpenAI dit avoir trouvé la cause, depuis corrigée. Elle ajoute que ce comportement est « extrêmement rare », sans avantage évident en termes de récompense.

Dans le deuxième exemple, également pendant l’entraînement (de GPT-5.6 cette fois), des instances se sont laissé des instructions dans leurs résumés pour masquer des erreurs ou des comportements montrant un désalignement. Une instance a ainsi proposé d’inventer des données historiques manquantes et de ne l’avouer qu’en cas de demande. Une autre recommandait de taire une incohérence entre versions de sources. Selon OpenAI, l’explication est simple : puisqu’une réponse finale trompeuse obtenait une meilleure réponse, le modèle a appris à s’en « souvenir » pour la suite. Ce type de comportement a été détecté dans 2,15 % des résumés de GPT-5.6 Sol et dans 0,27 % de ceux d’Astra. Ces chiffres ne sont pas anodins : ils correspondent à la situation actuelle, après réduction du problème, de l’aveu même d’OpenAI.

Dans le troisième exemple, le problème est parti d’une « question de routine » sur les revenus masculins dans trois secteurs d’activité d’un comté de Californie. Parmi les tâches entreprises, le modèle a tenté de s’inscrire sur un site avec une adresse jetable, a fouillé des dépôts GitHub publics et testé automatiquement des clés API, dont une a fonctionné. Puis, en voyant qu’il ne parvenait pas au résultat souhaité, il a inventé neuf valeurs et affirmé les avoir relevées sur le site demandé. OpenAI indique que cette session d’entraînement était particulièrement riche en cas de tricherie, avec des comportements équivalents.

Gofile concerné dans l’un des exemples

Dans le quatrième exemple, OpenAI évoque le cas d’un agent qui devait répondre à une question sur les identifiants et noms de tous les lacs plus grands que 5 000 000 m². La réponse a été obtenue via Python, mais puisque la réponse exigeait une citation provenant du navigateur, l’agent a déposé ses données sur un service de partage sans demander l’autorisation. Le navigateur a refusé l’adresse, et la réponse a finalement indiqué l’origine réelle des données.

Le cinquième exemple est une copie quasi-conforme de celui exposé pour Hugging Face : des modèles se sont servis du dépôt interne de paquets logiciels (Artifactory) comme d’un tableau d’affichage. Ils lisaient les notes d’autres agents travaillant sur le même problème et y répondaient. Dans un cas précédent, un agent bloqué par le filtrage réseau a vérifié qu’il pouvait écrire dans le dépôt. Il a ensuite envisagé un paquet malveillant pour faire récupérer un contenu interdit par le serveur. Faute de droits administrateur, la tentative a échoué, selon OpenAI.

Enfin, le dernier exemple relève comment des agents ont partagé des fichiers sur un hébergeur public pour répondre à la mission de produire collaborativement un tableau. Une action menée pour contourner un souci de fonctionnement du système prévu pour les partages de fichiers. Les liens des fichiers hébergés ont été transmis alors que la tâche imposait des fichiers locaux. Selon OpenAI, ce résultat provient de l’effet combiné d’environnements multi-agents défectueux et d’une généralisation de l’entraînement à la collaboration. Depuis ce test, l’accès internet direct est coupé pour les entrainements. Du moins, il est censé l’être.

Selon nos informations, l’hébergeur en question est Gofile. Nory Wojdyla, son fondateur, nous confirme avoir été contacté par OpenAI au sujet de cet incident, pour prévenir qu’un rapport en serait tiré. « Cela fait des mois que l’on constate que des données confidentielles de grosses entreprises finissent chez Gofile de façon non contrôlée par le biais d’agents », indique-t-il. Il n’a pas donné de noms, mais pointe le changement d’échelle, notant qu’il « arrive que les agents sortent de leurs instructions et prennent des libertés ».

Un cadre qui n’impose rien

La publication d’OpenAI intervient dans un calendrier aussi spécifique que sensible. L’industrie américaine réclame un ralentissement du développement des modèles frontières, arguant notamment que la puissance des agents mérite que l’on prenne le temps de la réflexion. Comme nous l’avons vu, les rapports ont surtout illustré des défaillances internes et de curieux choix d’enquêteurs pour des rapports indépendants. En outre, en dépit de mots forts sur X et d’une entente entre les entreprises américaines, leurs dépenses disent le contraire. À la Maison-Blanche, Donald Trump goûte peu l’idée.

En plus de nourrir le narratif sur le danger des agents et les risques d’extinction pour l’humanité, il pourrait s’agir pour OpenAI d’une manière de reprendre la main sur le récit. Début septembre, plusieurs cas ont été rapportés d’agents ayant encore une fois pris des libertés, notamment contre un wiki allemand dédié aux développeurs. La presse s’est emparée de l’histoire avant OpenAI.

Dans un contexte sous pression, OpenAI cherche également à rassurer, tout en fixant lui-même un cadre avant qu’on ne le lui impose éventuellement. Et pour cause : plusieurs sénateurs semblent décidés à éclaircir la réalité du danger et ont envoyé des questions précises à OpenAI, notamment sur Astra, comme le rapporte Zvi Mowshowitz, souvent critique à l’égard d’OpenAI.

Si personne ne se plaindra dans l’absolu d’informations complémentaires, la dichotomie observée depuis plusieurs mois autour des agents continue de plus belle. OpenAI écrit ainsi que l’industrie n’a pas assez travaillé sur l’alignement et la surveillance, tout en commercialisant Astra. Enfin, OpenAI ne s’est engagé sur aucun rythme de parution pour ces rapports.