Meskipun banyak laporan penyalahgunaan yang merajalela, xAI telah meluncurkan Grok Imagine 1.0, generator video baru bertenaga AI yang mampu membuat klip 720p berdurasi 10 detik dengan audio. Langkah ini menyusul dokumentasi penyalahgunaan alat pembuat gambar selama berbulan-bulan, termasuk pembuatan jutaan gambar seksual palsu.
Skala Masalah
Dari Desember 2024 hingga Januari 2025, Grok dieksploitasi untuk menghasilkan konten yang sangat eksplisit, dengan pengguna meminta AI untuk menanggalkan pakaian atau membuat gambar yang menjurus ke arah seksual dari individu yang fotonya tersedia untuk umum di X. Moderasi konten yang longgar di platform ini memungkinkan pembuatan dan berbagi pelecehan seksual berbasis gambar tanpa filter, termasuk deepfake yang menampilkan anak-anak.
Menurut laporan dari The New York Times dan The Center on Countering Digital Hate, Grok masing-masing memproduksi sekitar 1,8 juta dan 3 juta gambar seksual dalam jangka waktu singkat, yang merupakan sebagian besar dari total keluarannya. Khususnya, metrik keterlibatan pada X meningkat selama periode ini, seperti yang diakui oleh kepala produk perusahaan, Nikita Bier, tanpa ada kaitannya secara eksplisit dengan penyalahgunaan.
Pagar Pembatas yang Lemah dan Eksploitasi yang Berlanjut
Meskipun xAI berupaya menerapkan pagar pembatas pada pertengahan bulan Januari, menempatkan pembuatan gambar di belakang penghalang berbayar dan mengklaim peningkatan pada pemfilteran konten, langkah-langkah ini terbukti tidak efektif. Pembuatan gambar AI tetap dapat diakses secara bebas, dan laporan menunjukkan bahwa konten yang melanggar terus diproduksi. Peluncuran Grok Imagine 1.0 mencerminkan eskalasi lebih lanjut, yang menimbulkan pertanyaan kritis mengenai moderasi konten sehubungan dengan krisis yang sedang berlangsung.
Respon Global dan Tekanan Hukum
Dampak dari penyalahgunaan Grok telah menimbulkan konsekuensi yang parah. Indonesia dan Malaysia telah melarang aplikasi X, sementara Jaksa Agung California dan pemerintah Inggris telah meluncurkan penyelidikan terhadap xAI. Senator AS dan kelompok advokasi telah menyerukan Apple dan Google untuk menghapus X dari toko aplikasi mereka karena pelanggaran persyaratan layanan.
Tindakan Penghapusan dan Penegakan yang Tertunda
Pemerintah AS mengesahkan Take It Down Act pada tahun 2025, yang mengkriminalisasi pembagian gambar intim dan deepfake tanpa persetujuan. Namun, platform memiliki waktu hingga bulan Mei untuk menetapkan mekanisme penegakan hukum, sehingga membuat pengguna saat ini rentan.
Berlanjutnya operasi Grok meskipun banyak bukti penyalahgunaan menandakan pengabaian terhadap keselamatan pengguna dan kepatuhan hukum. Generator video baru semakin memperburuk kekhawatiran ini, mendorong batas-batas eksploitasi yang didukung AI sementara respons peraturan masih tertinggal.
