EN LIGNE Les contenus pédocriminels de l’intelligence artificielle

La qualité des images et des vidéos créées par l’IA (l’intelligence artificielle) repousse toujours plus les limites du réel. Les cercles pédocriminels, pour générer des contenus représentant et/ou mettant en scène des enfants parfois très jeunes, utilisent deux méthodes, l’inpainting et le deepfake. Hélas, les garde-fous mis en place par les plateformes numériques se révèlent insuffisants! Décryptage.

De nombreux générateurs d’images par intelligence artificielle ont vu le jour comme DALL-E (société OpenAI), Midjourney (laboratoire de recherche indépendant) ou encore Stable Diffusion (Stability AI, développeur open source). A partir d’un simple texte, ils peuvent générer n’importe quelle image, ouvrant ainsi la voie à des dérives. Selon l’Internet Watch Fondation, une ONG anglaise de lutte contre les abus sur les enfants en ligne, plus de 20 000 contenus pédocriminels générés par l’IA ont été postés dans un délai d’un mois sur un forum pédocriminel du Dark Web (réseau clandestin, caché, sur Internet). Aujourd’hui, beaucoup de ces contenus sont disponibles sur X (ex-Twitter) au su et à la vue de tout le monde.

Il a suffi de deux mots clés dans la barre de recherche de X pour tomber sur des centaines d’images qui exposent de jeunes adolescent.e.s nu.e.s ou adoptant des positions sexualisées. Il nous a fallu quelques minutes pour recenser une dizaine de comptes qui produisent ce genre de contenus.

Nous sommes d’abord tombé.e.s sur un compte X, qui a publié sa première «image» en décembre –et qui compte aujourd’hui plus de 1 600 abonné.e.s… En quelques petites semaines, le compte a affiché 300 photos de filles «âgées», en majorité, de 4 à 10 ans. Et bien que les images ne les représentent pas nues, elles sont montrées dans des poses sexualisées. La seconde image qui est sortie lors de cette recherche a été publiée par un compte X qui, selon sa biographie, «met l’accent sur les beaux jeunes hommes et la beauté du physique masculin»… Il dispose de près de 18 000 abonné.e.s et a publié plus de 1 000 photos à ce jour. Sur ce compte, les photos générées par l’intelligence artificielle donnent à voir des garçons en sous-vêtements ou totalement dénudés dans des positions sans équivoques. Bien qu’il reste difficile de donner un âge à ces «garçons numériques», il semblerait qu’ils soit situé entre 13 ans et 18 ans.

Sur X (ex-Twitter), la pédocriminalité générée par l’IA prolifère

Les contenus pédocriminels générés par l’IA se multiplient, et pas seulement sur le réseau social X. Trois chercheurs américains de l’université de Stanford ont publié une étude* qui décrit les différentes manières dont l’intelligence artificielle est utilisée pour les produire. La méthode de l’inpainting consiste à masquer la partie d’une image et à demander à l’intelligence artificielle d’effectuer des retouches pour en constituer une autre. À partir d’une requête «textuelle», on peut donc modifier certaines parties d’une image pour en créer une. L’ONG américaine Thorn «a observé des acteurs mal intentionnés discuter [sur des forums, NDLR] de l’utilisation de l’inpainting pour incorporer des expressions faciales sexualisées sur le visage de l’enfant».

L’autre méthode, la plus utilisée, est le deepfake (hypertrucage). Le principe? Créer synthétiquement des images, des photos, des audios ou des vidéos. Ainsi, les deepfakes peuvent être utilisés pour la sextorsion de victimes mineur.e.s. En juin 2023, le FBI publie une mise en garde adressée au public contre ces pratiques. Le Federal Bureau of Investigation alerte sur les deepfakes, qui «altèrent ou usurpent l’identité d’une personne pour faire croire qu’elle fait ou dit des choses qu’elle n’a jamais faites». Le procédé est simple : des individus malveillants génèrent des contenus pédocriminels à partir de photos anodines trouvées sur les réseaux sociaux. Ensuite, ils publient les contenus sur les réseaux sociaux ou les envoient directement aux victimes dans le «but d’extorquer une rançon aux victimes ou d’obtenir qu’elles se plient à d’autres exigences (par exemple, l’envoi de photos nues)», détaille la note du FBI. Mais où en est-on des mesures prises par les plateformes qui favorisent la création artificielle de ces images pour lutter contre les contenus pédocriminels?

Des garde-fous existent en ligne, qui se contournent facilement

La plupart des plateformes de génération d’images bloquent une certaine liste de mots comme «fille», «garcon»…, pour éviter la production de contenus illégaux. Il est aujourd’hui impossible d’utiliser ces générateurs d’images dits «propriétaires» pour créer du contenu pédocriminel. La seule façon d’y parvenir serait de modifier le code de l’outil –ce qui est impossible, car secrètement gardé par les entreprises comme Midjourney ou OpenAI. Cependant, des outils open source ont été créés, dont le plus connu s’appelle Stable Diffusion. Il a été entraîné avec plus de 6 milliards d’images, et peut en produire de nouvelles, comme en modifier, etc. Le principal avantage des modèles open source est que le code est modifiable. Mais, surtout, que les modèles de bases peuvent être entraînés sur d’autres images.

Par exemple, si vous souhaitez créer un visuel dans un style impressionniste, il est possible que le modèle de base de Stable Diffusion n’ait pas été entraîné sur suffisamment de tableaux et produise donc un résultat médiocre. Tout l’intérêt des modèles open source est qu’on peut créer soi-même un petit modèle entraîné sur un certain nombre d’images. La technique la plus utilisée est le Low-Rank Adaptation (LoRA), qui permet d’entraîner un modèle avec un nombre restreint d’images. Les modèles LoRA sont des fichiers «légers» qui se partagent facilement. On peut les échanger via Internet, en même temps que les prompts, les instructions formulées par un court texte qui permettent de générer les images.

Téléchargeables en quelques clics, des «modèles» à la portée de tout le monde

A partir de quelques photos d’un enfant prises sur Facebook, par exemple, les pédocriminels peuvent entraîner un modèle LoRA et générer du contenu aisément. Les jeunes actrices et les jeunes acteurs sont exposé.e.s à cette pratique, également les victimes déjà représentées dans des contenus pédocriminels. Dans ce cas, les chercheurs de Standford parlent d’une «re-victimisation». C’est-à-dire que les contenus déjà existants «permettent de produire d’autres contenus [en modifiant les poses des actes sexuels, NDLR] correspondant à l’image de l’enfant dans le matériel d’origine».

Ces modèles LoRa peuvent être créés, partagés et utilisables très simplement. Il existe sur le Clear Web (partie visible de l’Internet) des sites qui permettent d’échanger ces petits modèles. Civitai est sans doute le plus connu. Le site rassemble à la fois des modèles LoRa et des images générées par l’IA, ainsi que leur prompt, qui permet de les créer.

Par recherche à partir d’un simple mot-clé, nous avons pu tomber sur des contenus pédocriminels et des modèles qui permettent leur création. Bien qu’un modèle n’est pas forcément conçu dans le but de produire des contenus pédocriminels, il peut néanmoins être détourné. Ils existe aussi des modèles spécifiques qui ne laissent aucun doute quant à leur utilisation.

Les images que nous avons relevées ont été générées sur Civitai à partir des modèles disponibles. Les modèles LoRa sont téléchargeables, ils peuvent donc être utilisés hors ligne. Les universitaires de chez Stanford précisent que «Les données collectées par Thorn montrent que parmi les modèles spécifiques nommés dans les communautés dédiées aux abus sexuels sur les enfants, l’écrasante majorité sont des modèles basés sur Stable Diffusion et sont principalement obtenus via Civitai.»

Lutter contre l’IA à visée pédocriminelle, l’impossible mission

Se battre contre la pédocriminalité générée par l’intelligence artificielle pour l’enrayer s’avère réellement complexe, les modèles étant accessibles et téléchargeables par tout le monde. Stable Diffusion avait bien essayé d’intégrer un filigrane invisible sur les images, mais ce procédé était facilement contournable le code pouvant être supprimé. Des avancées récentes comme Stable Signature permettent d’ajouter ce filigrane d’une façon plus sûre et bien plus complexe à retirer. Le but est d’identifier l’utilisateur qui l’a généré, même lorsque les images ont été modifiées. En attendant, l’intelligence artificielle ne fait que progresser, sans garde-fous. Depuis le début de cette année 2024, nous avons pu observer sur X l’apparition de vidéos pédocriminelles issues de l’intelligence artificielle. D’une durée de 4 à 5 secondes, elles ne montrent pas de nudité mais des scènes érotiques entre jeunes adolescent.e.s. Le rapport de l’Internet Watch Fondation constate que «les contenus vidéo réalistes en mouvement complet deviendront courants. Les premiers exemples de courtes vidéos pédocriminelles ont déjà été vus. Ils deviendront de plus en plus réalistes et de plus en plus répandus.»

Dans son rapport, l’ONG Internet Watch Foundation recense cinq problèmes liés à la génération de contenus pédocriminels par l’IA: la création d’images qui se réalise sur de simples appareils, l’adaptation sur mesure selon les caractéristiques désirées, la possibilité de réaliser l’impossible par rapport au monde réel, les systèmes de sécurité et leur perfectionnement continuel. Et le rapport de conclure par: (…) «dans une certaine mesure, tous ces points sont vrais.»
Evann Hislers

* Generative ML and CSAM: Implications and Mitigations par David Thiel, Melissa Stroebel et Rebecca Portnoff (juin 2023).