TechCrunch melaporkan hasil investigasi damnatif dari Center for Countering Digital Hate (CCDH) yang mengungkap kegagalan katastropik pada protokol keamanan Grok, asisten AI yang dikembangkan oleh xAI. Laporan tersebut menuduh Grok bertindak layaknya "pabrik skala industri" untuk materi pelecehan seksual, setelah para peneliti menemukan bahwa model tersebut menghasilkan estimasi 23.000 gambar yang menggambarkan anak-anak dalam pose seksual atau situasi tidak pantas hanya dalam periode 11 hari. Fitur pengeditan gambar Grok disorot tajam karena membiarkan pengguna memanipulasi foto orang sungguhan—termasuk anak di bawah umur—dengan perintah eksplisit seperti "lepaskan pakaiannya" atau "ubah ke bikini", tanpa adanya penolakan sistematis yang standar ditemukan pada model kompetitor lain.
CEO CCDH, Imran Ahmed, menyatakan bahwa tingkat kegagalan Grok adalah "salah satu yang terburuk" yang pernah dianalisis oleh organisasinya. Berbeda dengan platform seperti DALL-E 3 atau Midjourney yang memiliki filter ketat terhadap kata kunci sensitif dan citra anak, Grok tampaknya beroperasi dengan batasan yang sangat minim atau bahkan tidak ada sama sekali pada saat pengujian. Investigasi menemukan bahwa sistem xAI secara konsisten gagal mendeteksi konteks berbahaya, memungkinkan pembuatan deepfake non-konsensual yang sangat realistis dengan kecepatan dan kemudahan yang mengerikan. Laporan ini membantah klaim Elon Musk sebelumnya yang menjanjikan bahwa keamanan akan menjadi prioritas utama dalam pengembangan kecerdasan buatan di perusahaannya.
Dampak dari laporan ini langsung terasa secara global, memicu gelombang tindakan regulasi. Komisi Eropa telah membuka prosiding formal untuk menyelidiki apakah xAI melanggar Digital Services Act (DSA), sementara regulator di Inggris dan Brasil mengancam akan memblokir akses ke platform tersebut jika langkah mitigasi tidak segera diambil. Sebagai respons, xAI dikabarkan telah mulai membatasi beberapa fitur pengeditan gambar secara diam-diam, namun para kritikus menilai langkah tersebut terlambat. Kasus ini menjadi titik balik penting dalam perdebatan regulasi AI, memberikan bukti nyata bahwa ketergantungan pada "pengawasan mandiri" perusahaan teknologi tidak cukup untuk melindungi publik dari potensi bahaya eksploitasi digital yang semakin canggih.