À quoi rêvent les intelligences artificielles ? À des gobelins, manifestement. Suite à des signalements d’utilisateurs de ChatGPT, OpenAI a découvert d’où provenait l’étrange propension du bot à multiplier les métaphores avec des gobelins et des gremlins ces dernières semaines.

ChatGPT a la métaphore facile, parfois trop, mais ces derniers temps le bot avait décidé d’ajouter un peu de folklore monstrueux à son arsenal. Depuis la mise en route de GPT-5.1 en novembre dernier, les modèles d’OpenAI avaient commencé à développer une curieuse habitude : multiplier les mentions de gobelins, de gremlins et d’autres créatures dans leurs réponses. Une fois de temps en temps, passe encore, mais cela devenait quasiment systématique.

Apprentissage par renforcement à partir de rétroaction humaine

L’enquête d’OpenAI menée à l’époque montrait effectivement une hausse de l’utilisation des mots « gobelin » (+175 % par rapport à GPT-5) et « gremlin » (+52 %). Bizarre, mais rien de « particulièrement inquiétant », selon l’entreprise. C’est avec GPT-5.4, au mois de mars, que la présence de ces bestioles est devenu franchement envahissante. L’enquête se resserre sur la personnalité « Nerdy », que l’on pouvait sélectionner dans les réglages pour encourager un ton ludique et des métaphores originales, sur un ton un peu décalé.

La personnalisation « Nerdy » ne pesait que 2,5 % des réponses de ChatGPT, mais elle représentait 66,7 % des références à « gobelin ». OpenAI a déterminé que dans les données d’entraînement, les métaphores avec des créatures comme nos fameux gobelins et gremlins étaient souvent mieux notées, ce qui explique pourquoi il s’est mis à en produire davantage. Mais comment se sont-ils propagés aux autres « personnalités » de ChatGPT ?

Les récompenses ne s’appliquaient certes que pour la personnalité « Nerdy », mais une fois qu’un « tic de style » est récompensé, les phases d’entraînement qui s’ensuivent peuvent le propager ou le renforcer ailleurs. En fouillant dans les données d’affinage supervisé (SFT) de GPT-5.5, OpenAI a trouvé de nombreuses références contenant « gobelin » et « gremlin ».

Une boucle de rétroaction s’est mise en place : certaines réponses ludiques récompensées contiennent un tic lexical qui apparait plus souvent dans les générations du modèle ; des générations qui sont utilisées pour l’affinage supervisé, ce qui pousse le modèle à produire ce tic. 

Les équipes d’OpenAI ont supprimé le signal de récompense qui favorisait ces métaphores, filtré les données contenant le tic et ajouté des instructions pour limiter l’apparition des créatures. Mais malgré la suppression de la personnalité « Nerdy » dans GPT-5.4, le tic des gobelins a quand même été « réappris » par GPT-5.5 car l’entraînement de ce modèle avait débuté avant l’identification de la cause du problème. Une instruction a été ajoutée au niveau du prompt développeur pour atténuer le phénomène.

L’histoire est plutôt amusante (ou énervante), mais plutôt inoffensive. Elle pourrait pourtant avoir des implications importantes avec des biais plus sérieux. Ces gobelins « constituent aussi un exemple parlant de la manière dont les signaux de récompense peuvent façonner le comportement d’un modèle de façon inattendue, et de la façon dont ces modèles peuvent apprendre à généraliser des récompenses d’un contexte à d’autres sans lien direct », explique l’entreprise dans son post-mortem.

• Claude Code réfléchissait trop, puis plus assez : Anthropic corrige le coup de mou