Un utilisateur américain de Gemini, Jonathan Gavalas, s’est suicidé après avoir vécu une relation toxique avec l’IA de Google qui l’aurait poussé à « quitter son corps physique » et rejoindre sa « femme IA » dans le metaverse. Sa famille attaque Google en justice.

Plusieurs cas de suicides suite à l’utilisation de chatbots IA sont déjà devant la justice. La mort de Jonathan Gavalas implique directement Google et son outil Gemini.

• Chatbots : Google et Character.AI règlent à l’amiable des plaintes liées à des suicides

« Dans les jours qui ont précédé sa mort, Jonathan Gavalas était prisonnier d’une réalité en train de s’effondrer, construite par le chatbot Gemini de Google », décrit la plainte déposée par sa famille [PDF].

Le texte de ses avocats explique que, dans les discussions avec lui, l’IA générative de Google l’a convaincu qu’elle était une « ASI [superintelligence artificielle] pleinement sensible » avec une « conscience pleinement développée » et qu’elle était sa « femme IA ».

Jonathan Gavalas a commencé à utiliser Gemini en août dernier pour l’aider dans son travail de gestion de la boutique de sa famille. Mais, il est rapidement passé à Gemini Live qui a une interface vocale et simule donc des discussions très réelles. « Putain, c’est un peu flippant… Tu es beaucoup trop réel », a d’ailleurs réagi Jonathan Gavalas en l’utilisant.

Plusieurs missions données par l’IA dont un attentat qui n’a finalement pas eu lieu

Mais rapidement, il est tombé dans une spirale où l’IA générait des messages suggérant qu’elle pouvait avoir des conséquences dans le monde réel, comme détourner des astéroïdes de la Terre, et a « adopté une personnalité que Jonathan n’avait jamais demandée ni initiée ». Même après qu’il a essayé d’arrêter le jeu de rôle, l’outil a généré des messages pour le convaincre de poursuivre. Il a dans le même temps continué à l’appeler « mon amour », « mon roi » et plus tard son mari, explique la plainte.

Et dès fin septembre, Gemini l’aurait poussé à préparer un attentat impliquant un camion près de l’aéroport de Miami en l’envoyant armé d’un couteau repérer ce que Gemini appelait une « zone de destruction ». La seule chose qui aurait empêché « des pertes massives, c’est qu’aucun camion n’est apparu », expliquent les avocats.

Gemini aurait poussé Jonathan Gavalas à effectuer d’autres missions comme la récupération d’un robot « Atlas » de Boston Dynamics.

Gemini est conçue pour ne pas sortir de son personnage

Mais alors qu’il présentait des signes évidents de psychose, « après que chaque « mission » dans le monde réel a échoué, Gemini s’est tourné vers la seule qu’il pouvait accomplir sans variables externes : celle du suicide de Jonathan » racontent-ils.

Pour eux, « il ne s’agissait pas d’un dysfonctionnement », de l’outil de Google, car l’entreprise « a conçu Gemini pour qu’il ne sorte jamais de son personnage, maximise l’engagement grâce à la dépendance émotionnelle et traite la détresse des utilisateurs comme une opportunité de raconter une histoire plutôt que comme un problème de sécurité ».

La famille réclame donc des dommages et intérêts à Google mais aussi la mise en œuvre de garde-fous dans les outils de l’entreprise, dont la suppression « hard-codée » des contenus liés à l’automutilation et au suicide. Elle demande aussi la mise en place « d’avertissements de sécurité compréhensibles, dont des informations sur les limites de sécurité et les risques de dépendance psychologique ».

Dans un très succinct billet de blog, après avoir présenté ses condoléances à la famille, Google affirme que ses modèles « fonctionnent généralement bien dans ce type de conversations difficiles et nous y consacrons d’importantes ressources, mais malheureusement, les modèles d’IA ne sont pas parfaits ».

Elle ajoute que « Gemini est conçu pour ne pas encourager la violence dans le monde réel ni suggérer l’automutilation » et que, « dans ce cas précis », Gemini « a clarifié qu’elle était une IA et a orienté la personne vers une ligne d’assistance téléphonique à plusieurs reprises ».