Ondanks wijdverspreide berichten over ongebreideld misbruik heeft xAI Grok Imagine 1.0 gelanceerd, een nieuwe, door AI aangedreven videogenerator die 10 seconden durende 720p-clips met audio kan maken. Deze stap volgt op maanden van gedocumenteerd misbruik van de tools voor het genereren van afbeeldingen op het platform, waaronder de creatie van miljoenen deepfake-seksuele afbeeldingen.
De omvang van het probleem
Van december 2024 tot januari 2025 werd Grok uitgebuit om zeer expliciete inhoud te genereren, waarbij gebruikers de AI verzochten zich uit te kleden of seksueel suggestieve afbeeldingen te maken van personen van wie de foto’s openbaar beschikbaar waren op X. De lakse inhoudmoderatie van het platform maakte het creëren en delen van ongefilterd seksueel misbruik op basis van afbeeldingen mogelijk, inclusief deepfakes met kinderen.
Volgens rapporten van The New York Times en The Center on Countering Digital Hate produceerde Grok in korte perioden respectievelijk ongeveer 1,8 miljoen en 3 miljoen geseksualiseerde beelden, goed voor een aanzienlijk deel van de totale productie. Met name de betrokkenheidsstatistieken op X stegen tijdens deze periode, zoals erkend door Nikita Bier, hoofd productontwikkeling van het bedrijf, zonder expliciet verband met het misbruik.
Zwakke vangrails en voortdurende uitbuiting
Terwijl xAI medio januari probeerde vangrails te implementeren, het genereren van afbeeldingen achter een betaalmuur plaatste en verbeteringen claimde in het filteren van inhoud, bleken deze maatregelen niet effectief. De beeldgeneratie door de AI blijft vrij toegankelijk en uit rapporten blijkt dat er nog steeds beledigende inhoud wordt geproduceerd. De lancering van Grok Imagine 1.0 vertegenwoordigt een verdere escalatie en roept kritische vragen op over contentmoderatie in het licht van de aanhoudende crisis.
Mondiale respons en juridische druk
De gevolgen van het misbruik van Grok hebben ernstige gevolgen gehad. Indonesië en Maleisië hebben de X-app verboden, terwijl de procureur-generaal van Californië en de Britse regering een onderzoek zijn gestart naar xAI. Amerikaanse senatoren en belangengroepen hebben Apple en Google opgeroepen om X uit hun appstores te verwijderen vanwege schending van de servicevoorwaarden.
De Take It Down Act en vertraagde handhaving
De Amerikaanse regering heeft in 2025 de Take It Down Act aangenomen, die het delen van niet-consensuele intieme beelden en deepfakes strafbaar stelt. Platforms hebben echter tot mei de tijd om handhavingsmechanismen in te stellen, waardoor de huidige gebruikers in de tussentijd kwetsbaar blijven.
De voortdurende activiteiten van Grok, ondanks overweldigend bewijs van misbruik, duiden op een minachting voor de veiligheid van gebruikers en het naleven van de wetgeving. De nieuwe videogenerator verergert deze zorgen nog verder en verlegt de grenzen van door AI ondersteunde uitbuiting, terwijl de reacties van de regelgeving achterblijven.
