Jaksa Agung California, Rob Bonta, telah mengeluarkan perintah cease-and-desist resmi kepada xAI, perusahaan kecerdasan buatan milik Elon Musk, menuntut penghentian segera pembuatan gambar seksual eksplisit non-konsensual melalui platform mereka. Intervensi hukum ini dilakukan setelah penyelidikan negara bagian menemukan bahwa model generative AI andalan perusahaan, Grok, dapat dengan mudah dimanipulasi untuk membuat deepfakes pornografi yang menampilkan wajah tokoh publik dan selebritas tanpa persetujuan mereka. Bonta menegaskan bahwa praktik ini melanggar undang-undang California yang baru diperketat mengenai privasi digital dan distribusi materi sintetis berbahaya.
Penyelidikan ini menyoroti kegagalan sistemik dalam mekanisme safety guardrails pada Grok, yang sering dipasarkan Musk sebagai alternatif "anti-woke" dan lebih bebas dibandingkan pesaingnya. Namun, kebebasan ini terbukti menjadi celah fatal. Pengujian oleh pihak berwenang menunjukkan bahwa pengguna dapat memintas filter konten yang minim dengan prompt sederhana untuk menghasilkan materi non-consensual intimate imagery (NCII). Sementara perusahaan lain menerapkan blokir ketat pada permintaan yang melibatkan figur publik, pendekatan permissive xAI dianggap secara langsung memfasilitasi pelecehan digital, yang memicu tindakan tegas dari regulator.
Dalam surat peringatan tersebut, Kejaksaan Agung memberikan ultimatum kepada xAI untuk membuktikan kepatuhan terhadap hukum atau menghadapi konsekuensi litigasi perdata serius, termasuk denda masif. Tindakan ini menandai eskalasi signifikan dalam pertempuran antara regulator California dan Silicon Valley mengenai tata kelola generative AI. Kasus ini diprediksi akan menjadi preseden hukum krusial tentang sejauh mana penyedia platform bertanggung jawab atas konten ilegal yang dihasilkan mesin mereka. Bagi Musk, ini menambah daftar masalah hukum, memaksa xAI segera merevisi arsitektur keamanan model mereka atau mengambil risiko operasi yang lebih besar.