Raksasa teknologi Google telah mengambil langkah cepat dan diam-diam untuk menghapus fitur ringkasan bertenaga kecerdasan buatan, atau "AI Overviews", dari hasil pencarian untuk kueri medis tertentu. Keputusan ini diambil menyusul sebuah investigasi mendalam oleh The Guardian yang kemudian dikutip oleh TechCrunch, yang menyoroti potensi bahaya dari informasi kesehatan yang disajikan tanpa konteks yang memadai oleh algoritma generatif tersebut.
Fokus utama dari kontroversi ini adalah bagaimana AI Overviews menangani pertanyaan seputar hasil tes laboratorium. Investigasi menemukan bahwa ketika pengguna mencari informasi seperti "berapa rentang normal untuk tes darah hati", AI Google menyajikan ringkasan angka "normal" yang statis dan umum. Padahal, dalam dunia medis, interpretasi hasil tes darah sangat bergantung pada berbagai faktor biologis individu termasuk usia, jenis kelamin, etnis, dan riwayat kesehatan. Menyajikan satu set angka sebagai standar universal tanpa disclaimer yang kuat dinilai para ahli kesehatan sebagai tindakan yang tidak bertanggung jawab dan berpotensi menyesatkan.
Kekhawatiran terbesarnya adalah skenario "rasa aman palsu" atau kepanikan yang tidak perlu. Seorang pasien dengan penyakit hati serius mungkin melihat angka hasil lab mereka masih masuk dalam rentang "normal" versi AI Google, sehingga memutuskan untuk menunda kunjungan ke dokter. Sebaliknya, seseorang yang sehat mungkin panik karena angkanya sedikit di luar rentang AI, padahal itu normal untuk demografi usia mereka. Menanggapi temuan ini, Google telah menonaktifkan fitur AI Overviews untuk kueri spesifik seperti "what is the normal range for liver blood tests" dan variasi terkait lainnya.
Dalam pernyataan resminya kepada TechCrunch, juru bicara Google menolak berkomentar mengenai penghapusan kueri individu secara spesifik. Namun, mereka menegaskan bahwa perusahaan memiliki kebijakan ketat dan tim internal yang terdiri dari klinisi untuk meninjau kualitas informasi medis. Google berdalih bahwa dalam banyak kasus, informasi yang disajikan AI sebenarnya didukung oleh situs web berkualitas tinggi, namun mengakui bahwa penyajian dalam bentuk ringkasan singkat bisa menghilangkan nuansa penting.
Langkah mundur ini memicu debat yang lebih luas di kalangan praktisi kesehatan dan teknologi tentang kesiapan AI generatif sebagai asisten medis publik. Organisasi seperti British Liver Trust menyambut baik penghapusan ini tetapi menekankan bahwa masalahnya bukan hanya pada satu atau dua kata kunci, melainkan pada ketidakmampuan fundamental model bahasa besar (LLM) saat ini untuk memahami konteks klinis yang kompleks. Insiden ini diperkirakan akan memaksa Google dan kompetitornya untuk menerapkan guardrails atau pagar pengaman yang jauh lebih ketat sebelum merilis fitur AI untuk topik Your Money or Your Life (YMYL) di masa depan.