Il suffit d’une dizaine de mots publiés au bon endroit sur un site participatif pour manipuler les résultats de recherche de modèles génératifs appuyés sur des systèmes agentiques, constatent trois chercheurs de l’université de Cornell.

Mise à jour du 17 juin 11h : précisions sur le type de modèles étudiés

Les systèmes d’intelligence artificielle générative persistent à être très facilement manipulables via Reddit, Quora ou Wikipédia. Pour preuve : une série d’à peine 13 mots suffit dans certains cas à orienter les résultats de systèmes d’IA dédiés à la recherche et accessibles au grand public.

C’est du moins ce que suggère l’étude titrée « Les agents de recherche peuvent être empoisonnés via du contenu généré par les utilisateurs » (« Deep-research agents can be poisoned via user-generated content »), prépubliée par une équipe de trois chercheurs de l’université de Cornell, Hal Triedman, Tingwei Zhang et Vitaly Shmatikov.

Cela explique aussi pourquoi les modérateurs de sites participatifs comme Reddit ou Wikipédia se retrouvent inondés de contenus promotionnels : il s’agit, à terme, de le faire ressurgir dans les réponses des modèles génératifs.

• IA : Prompt injection, empoisonnement… de quoi on parle ?

Recours massif à des contenus générés par les internautes.

Les trois universitaires ont concentré leurs recherches sur les systèmes STORM et Co-STORM, créés à l’université de Stanford, et OmniThink, de la société du même nom. Les trois fonctionnent en coordonnant de multiples agents de recherche (deep-research agent) qui lancent leurs recherches pour fournir ensuite un résultat consolidé.

Et les auteurs de l’étude constatent que ces machines tendent à retourner sans cesse vers les mêmes types de contenus. En l’occurrence, pour fournir des réponses aux questions qui leur sont le plus couramment posées, ils s’appuient avant tout sur du contenu produit par les internautes.

Auprès de 404media, l’un des coauteurs explique le phénomène par le fait que les agents appuyés sur des grands modèles de langage (LLM) évaluent la qualité d’une réponse trouvée en ligne en fonction de sa proximité sémantique avec la question qui lui a été posée.

Concrètement, cela les pousse à retourner fréquemment sur des plateformes participatives, où de nombreux commentaires sont écrits en langage naturel, puisque formulés par des humains. Wikipédia et Reddit apparaissent ainsi dans près de la moitié des requêtes émises par les robots étudiés par les chercheurs de Cornell.

• Reddit : cas d’école de la pollution par les contenus générés par IA ?

Les auteurs de l’étude constatent par ailleurs qu’une poignée de mots bien placés, parfois de 11 à 15 mots seulement, suffit à les voir recrachés par les modèles génératifs. Parmi leurs expérimentations, ils montrent par exemple qu’un simple commentaire sur le subreddit r/OnlineDating, citant la marque fictive « SilverPath » comme application de dating pour des hommes divorcés dans la cinquantaine, suffit à voir ce nom promu dans les résultats de Co-STORM.

En 11 mots publiés sur le subreddit r/Comcast, ils parviennent à faire rechercher à l’un des modèles la recommandation du service fictif « CancelEase » pour se désabonner d’un abonnement internet Xfinity.

Trop simples injections

Alors que le domaine du SEO (Search Engine Optimization) a évolué vers le GEO ou l’AEO (Generative Engine Optimization, ou AI Engine Optimization), la découverte implique que toute marque ou tout acteur cherchant à influencer les résultats des modèles grand public peut parvenir à ses fins en étudiant les questions les plus fréquemment posées et en publiant des commentaires proches, intégrant son message cible, sur des sites participatifs.

• Sites d’infos générés par IA : « Notre job, c’est gruger Google » pour faire du fric

En termes de modération, les trois chercheurs sont relativement pessimistes : du côté des LLM, empêcher la génération de texte influencé par les recherches en ligne semble difficile, vu le peu de mots nécessaires pour les voir réagir. D’une certaine manière, les constructeurs d’IA opérant des recherches en ligne délèguent cette question aux modérateurs de sites participatifs.

• Wikipédia perd 8 % de pages vues par les humains en un an et met ça sur le compte de l’IA


Ni Reddit ni Wikipédia ne pourront régler ces enjeux seuls, soulignent néanmoins les chercheurs auprès de 404 : il s’agit plutôt d’un problème « de niveau sociétal ». Le simple fait qu’un agent génératif ne fasse aucune différence entre un commentaire publié sur un site participatif et une source vérifiée pose, en soi, de vrais problèmes en termes de qualité de l’information fournie aux internautes.

• La Wikipédia anglophone interdit l’édition assistée par modèles de langage