Malgré de nombreux rapports faisant état d’une utilisation abusive généralisée, xAI a lancé Grok Imagine 1.0, un nouveau générateur vidéo alimenté par l’IA capable de créer des clips audio de 10 secondes en 720p. Cette décision fait suite à des mois d’abus documentés des outils de génération d’images de la plateforme, notamment la création de millions de fausses images sexuelles.
L’ampleur du problème
De décembre 2024 à janvier 2025, Grok a été exploité pour générer du contenu très explicite, les utilisateurs demandant à l’IA de se déshabiller ou de créer des images sexuellement suggestives d’individus dont les photos étaient accessibles au public sur X. La modération laxiste du contenu de la plateforme a permis la création et le partage d’abus sexuels basés sur des images non filtrées, y compris des deepfakes mettant en scène des enfants.
Selon les rapports du New York Times et du Center on Countering Digital Hate, Grok a produit respectivement environ 1,8 million et 3 millions d’images sexualisées sur de courtes périodes, ce qui représente une part substantielle de sa production totale. Notamment, les mesures d’engagement sur X ont augmenté au cours de cette période, comme l’a reconnu le chef de produit de l’entreprise, Nikita Bier, sans lien explicite avec l’abus.
Faibles garde-fous et exploitation continue
Alors que xAI a tenté de mettre en place des garde-fous à la mi-janvier, plaçant la génération d’images derrière un paywall et revendiquant des améliorations du filtrage de contenu, ces mesures se sont révélées inefficaces. La génération d’images de l’IA reste librement accessible et des rapports indiquent que des contenus abusifs continuent d’être produits. Le lancement de Grok Imagine 1.0 représente une nouvelle escalade, soulevant des questions cruciales sur la modération du contenu à la lumière de la crise actuelle.
Réponse mondiale et pression juridique
Les conséquences de l’utilisation abusive de Grok ont entraîné de graves conséquences. L’Indonésie et la Malaisie ont interdit l’application X, tandis que le procureur général de Californie et le gouvernement britannique ont lancé des enquêtes sur xAI. Des sénateurs américains et des groupes de défense ont appelé Apple et Google à supprimer X de leurs magasins d’applications en raison de violations des conditions de service.
La loi Take It Down et son application retardée
Le gouvernement américain a adopté le Take It Down Act en 2025, criminalisant le partage d’images intimes non consensuelles et les deepfakes. Cependant, les plateformes ont jusqu’en mai pour établir des mécanismes d’application, laissant entre-temps les utilisateurs actuels vulnérables.
Le fonctionnement continu de Grok malgré des preuves accablantes d’abus témoigne d’un mépris pour la sécurité des utilisateurs et le respect de la loi. Le nouveau générateur vidéo exacerbe encore ces préoccupations, repoussant les limites de l’exploitation basée sur l’IA alors que les réponses réglementaires sont à la traîne.
