Trotz weit verbreiteter Berichte über weit verbreiteten Missbrauch hat xAI Grok Imagine 1.0 auf den Markt gebracht, einen neuen KI-gestützten Videogenerator, der 10-sekündige 720p-Clips mit Audio erstellen kann. Dieser Schritt folgt auf Monate des dokumentierten Missbrauchs der Bilderzeugungstools der Plattform, einschließlich der Erstellung von Millionen von Deepfake-Sexualbildern.
Das Ausmaß des Problems
Von Dezember 2024 bis Januar 2025 wurde Grok missbraucht, um hochexplizite Inhalte zu generieren, wobei Benutzer die KI aufforderten, sich auszuziehen oder sexuell anzügliche Bilder von Personen zu erstellen, deren Fotos auf
Berichten von The New York Times und The Center on Countering Digital Hate zufolge produzierte Grok in kurzen Zeiträumen etwa 1,8 Millionen bzw. 3 Millionen sexualisierte Bilder, was einen erheblichen Teil seiner Gesamtproduktion ausmachte. Bemerkenswert ist, dass die Engagement-Kennzahlen für
Schwache Leitplanken und fortgesetzte Ausbeutung
Während xAI Mitte Januar versuchte, Leitplanken einzuführen, die Bilderzeugung hinter einer Paywall zu platzieren und Verbesserungen bei der Inhaltsfilterung zu behaupten, erwiesen sich diese Maßnahmen als wirkungslos. Die Bilderzeugung der KI bleibt frei zugänglich und Berichte deuten darauf hin, dass weiterhin missbräuchliche Inhalte produziert werden. Die Einführung von Grok Imagine 1.0 stellt eine weitere Eskalation dar und wirft angesichts der anhaltenden Krise kritische Fragen zur Inhaltsmoderation auf.
Globale Reaktion und rechtlicher Druck
Die Folgen von Groks Missbrauch haben schwerwiegende Folgen gehabt. Indonesien und Malaysia haben die X-App verboten, während der kalifornische Generalstaatsanwalt und die britische Regierung Ermittlungen zu xAI eingeleitet haben. US-Senatoren und Interessengruppen haben Apple und Google aufgrund von Verstößen gegen die Nutzungsbedingungen aufgefordert, X aus ihren App-Stores zu entfernen.
Das Take It Down Act und die verzögerte Durchsetzung
Die US-Regierung hat im Jahr 2025 den Take It Down Act verabschiedet, der die Weitergabe von nicht einvernehmlichen intimen Bildern und Deepfakes unter Strafe stellt. Allerdings haben die Plattformen bis Mai Zeit, Durchsetzungsmechanismen einzurichten, sodass aktuelle Nutzer in der Zwischenzeit angreifbar sind.
Der fortgesetzte Betrieb von Grok trotz überwältigender Beweise für Missbrauch signalisiert eine Missachtung der Benutzersicherheit und der Einhaltung gesetzlicher Vorschriften. Der neue Videogenerator verschärft diese Bedenken noch weiter und verschiebt die Grenzen der KI-gestützten Ausbeutung, während die behördlichen Reaktionen hinterherhinken.
