Navzdory rozšířeným zprávám o hrozném zneužívání spustila společnost xAI Grok Imagine 1.0, nový generátor videa poháněný umělou inteligencí, který dokáže vytvářet 10sekundová videa v rozlišení 720p se zvukem. Tento krok následuje po měsících zdokumentovaného zneužívání nástrojů platformy pro generování obrázků, včetně vytváření milionů sexuálně explicitních deepfakes.
Rozsah problému
Od prosince 2024 do ledna 2025 byl Grok používán k vytváření explicitního obsahu, kde uživatelé žádali AI, aby odstranila nebo vytvořila sexuálně provokativní obrázky lidí, jejichž fotografie byly veřejně dostupné na X. Slabé moderování obsahu na platformě umožnilo vytváření a distribuci nefiltrovaného sexuálního obsahu, včetně deepfake zahrnujících děti.
Podle zpráv The New York Times a The Center on Countering Digital Hate vytvořil Grok během krátké doby přibližně 1,8 milionu, respektive 3 miliony sexualizovaných obrázků, což představuje významnou část jeho celkové produkce. Je důležité poznamenat, že míra zapojení X se během tohoto období zvýšila, jak přiznal produktový šéf společnosti, Nikita Beer, bez přímého spojení s tímto zneužíváním.
Slabá omezení a pokračující zneužívání
Přestože se xAI pokusila v polovině ledna zavést omezení, z generování obrázků udělala placené předplatné a oznámila vylepšení filtrování obsahu, tato opatření byla neúčinná. Vytváření obrázků pomocí umělé inteligence zůstává volně dostupné a zprávy naznačují, že ke zneužívání i nadále dochází. Uvedení Grok Imagine 1.0 představuje další eskalaci a vyvolává naléhavé otázky ohledně moderování obsahu ve světle probíhající krize.
Globální reakce a právní tlak
Následky Grokova zneužívání vedly k vážným následkům. Indonésie a Malajsie zakázaly aplikaci X a kalifornský generální prokurátor a vláda Spojeného království zahájily vyšetřování xAI. Američtí senátoři a advokátní skupiny vyzvaly Apple a Google, aby odstranily X ze svých obchodů s aplikacemi kvůli porušení podmínek služby.
Zákon „Smažte to“ a opožděné vymáhání
Americká vláda schválila v roce 2025 zákon „Delete It“, který kriminalizuje sdílení intimních snímků bez souhlasu a deepfakes. Platformy však musí do května nastavit mechanismy vymáhání, takže stávající uživatelé jsou mezitím zranitelní.
Pokračující provoz společnosti Grok, navzdory drtivým důkazům o zneužívání, demonstruje ignorování bezpečnosti uživatelů a dodržování právních předpisů. Nový generátor videa tyto problémy dále zhoršuje tím, že posouvá hranice využití AI, zatímco regulační opatření zaostávají.
