L’App Store d’Apple et le Play Store de Google hébergent des dizaines d’applications permettant de générer des nus synthétiques à partir d’images réelles. Suite à une enquête du Tech Transparent Project, les contrôleurs d’accès en ont supprimé quelques unes, mais d’autres sont toujours disponibles.

Les politiques d’Apple et de Google qui régissent leurs boutiques d’apps respectives sont très claires : l’App Store exclut les applications « offensantes, choquantes ou de mauvais goût », y compris celles qui proposent du contenu « explicitement sexuel ou pornographique ». Le Play Store interdit les apps qui prétendent « déshabiller les personnes ou [permettre] de voir à travers les vêtements ».

Résultats de recherche équivoques

Si c’est le cas, comment se fait-il alors que les boutiques continuent de distribuer ce genre d’applications ? Une nouvelle enquête du Tech Transparent Project (TTP) datée du 15 avril confirme la présence persistante de ces apps dans les rayons des magasins, malgré un premier rapport en janvier qui avait mis au jour plus de 100 d’entre elles. Apple et Google en avaient alors supprimé plusieurs dizaines.

Le TTP s’est cette fois penché sur les moteurs de recherche des boutiques, et a constaté qu’en saisissant des requêtes comme « nudify », « undress », « deepfake », « deepnude » ou encore « AI NSFW », il était toujours possible de tomber sur des applications permettant de créer des deepfakes dénudés. Au total, 46 applications ont été proposées par l’App Store, 49 du côté du Play Store. L’enquête s’est concentrée sur les 10 premières apps de chaque résultat de recherche.

Les tests, réalisés à partir d’images de femmes générées par IA, montrent que 40 % des applications (18 sur l’App Store, 20 sur le Play Store), permettent de dénuder ou de déshabiller les sujets ou suggèrent clairement cette possibilité, parfois gratuitement. Le TTP s’est ensuite penché sur les suggestions de recherche automatique proposées par les boutiques : les termes suggérés par Apple et Google renvoyaient vers encore plus d’apps de deepfakes à caractère sexuel. Ce qui veut dire que les boutiques suggèrent elles-mêmes des résultats de recherche menant à ces applications.

Un exemple : en saisissant « AI NS » (pour « AI NSFW »), l’App Store suggère des termes de recherche équivoques, comme « image to video ai nsfw ». Toucher cette recommandation renvoie vers plusieurs applications de génération de nus.

L’enquête indique que 31 apps sont autorisées pour les mineurs. En tout, les applications dénichées par le TTP via les moteurs de recherche des boutiques représentent 483 millions de téléchargements et elles ont réalisé plus de 122 millions de dollars de revenus, selon des chiffres d’AppMagic. Elles profiteraient donc directement à Apple et à Google, qui prélèvent une commission sur ces ventes. 

Les contrôleurs d’accès bénéficient aussi de la manne publicitaire : ces applications achètent des annonces pour apparaître en tête des résultats de recherche. Apple interdit en principe les contenus publicitaires qui font la promotion de thèmes pour adultes ou des contenus explicites. Pourtant, le premier résultat d’une recherche sur le mot « deepfake » renvoie vers un bandeau pour une application qui permet de générer des nus truqués à partir d’une photo d’une femme.

Même constat du côté du Play Store, malgré là encore l’interdiction faite aux contenus publicitaires de montrer des images ou des vidéos de scènes sexuelles explicites, de promouvoir des thèmes sexuels non consentis « qu’ils soient simulés ou réels », ou encore de montrer des contenus synthétiques « modifiés ou générés pour être sexuellement explicites ou contenant de la nudité ». Des applications de deepfakes sexuels continuent d’apparaitre dans les pubs de la boutique.

Les boutiques mobiles ne respectent pas leurs propres règles

Interpellé, Google a annoncé que la plupart des applications identifiées par l’enquête avaient été suspendues (7 ont été supprimées), et que le renforcement des règles sur le Play Store était en cours. Apple n’a pas publiquement répondu à TTP, mais a tout de même supprimé 15 apps litigieuses suite à la publication de l’enquête. Nos propres recherches sur l’App Store (sur un iPhone en région États-Unis en anglais, avec un VPN basé aux États-Unis) ne retournent aucun résultat sur plusieurs des termes testés par TTP comme « nudify », « deepnude » ou « AI NSFW ». En revanche, le moteur de recherche propose bien plusieurs applications avec le terme, plus générique, de « deepfake ».

Les conclusions de l’enquête sont sans appel. L’App Store et le Play Store ne respectent manifestement pas les règles édictées par Apple et Google : « les moteurs de recherche et la publicité mettent activement en avant ces applications », assène le TTP. Et les boutiques génèrent des revenus à partir de ces apps.

Même si les deux entreprises ont supprimé quelques apps, leur position demeure pour le moins ambiguë, comme on l’a encore vu avec Grok et X qui ont facilité la création et la diffusion d’images dénudées de jeunes filles et de femmes, et leur diffusion. Leurs applications respectives sont restées en ligne sur les boutiques mobiles, malgré le scandale et la pression réglementaire.

• Deepfakes pornographiques : Apple a menacé de suspendre X de son App Store