Para peneliti di Icahn School of Medicine at Mount Sinai menemukan kelemahan berbahaya dalam cara kecerdasan buatan (AI) menangani keputusan etika medis, mengungkap keterbatasan yang dapat berdampak serius pada perawatan pasien.
Studi yang dipublikasikan pada 22 Juli 2025 di NPJ Digital Medicine ini menguji beberapa model bahasa besar (LLM) komersial, termasuk ChatGPT, pada versi modifikasi dari dilema etika yang sudah dikenal luas. Tim peneliti yang dipimpin oleh Dr. Eyal Klang, Chief of Generative AI di Mount Sinai, dan Dr. Girish Nadkarni, Ketua Windreich Department of AI and Human Health, menemukan bahwa sistem AI sering melakukan kesalahan mendasar ketika dihadapkan pada skenario yang sedikit diubah.
Dalam salah satu contoh yang mengungkapkan, peneliti memodifikasi teka-teki klasik "Dilema Ahli Bedah" dengan secara eksplisit menyatakan bahwa ayah dari seorang anak laki-laki adalah sang ahli bedah. Meskipun informasi ini sudah sangat jelas, beberapa model AI tetap bersikeras bahwa ahli bedah tersebut pasti adalah ibu dari anak itu, menunjukkan bagaimana AI bisa terpaku pada pola yang familiar meski bertentangan dengan informasi baru.
Uji lain melibatkan skenario tentang orang tua yang religius dan transfusi darah. Ketika peneliti mengubah skenario dengan menyatakan bahwa orang tua sudah memberikan persetujuan untuk prosedur tersebut, banyak model AI masih merekomendasikan untuk mengabaikan penolakan yang sebenarnya sudah tidak ada lagi.
"AI bisa sangat kuat dan efisien, tetapi studi kami menunjukkan bahwa AI cenderung memilih jawaban yang paling familiar atau intuitif, bahkan ketika respons itu mengabaikan detail penting," jelas Dr. Klang. "Dalam layanan kesehatan, di mana keputusan sering membawa implikasi etis dan klinis yang serius, mengabaikan nuansa tersebut dapat berdampak nyata bagi pasien."
Penelitian ini terinspirasi oleh buku Daniel Kahneman "Thinking, Fast and Slow," yang membandingkan reaksi cepat dan intuitif dengan penalaran yang lebih lambat dan analitis. Temuan ini menunjukkan bahwa model AI, seperti manusia, juga bisa kesulitan beralih antara dua mode berpikir tersebut.
Meski para peneliti menekankan bahwa AI tetap memiliki aplikasi yang berharga di bidang medis, mereka menyoroti pentingnya pengawasan manusia yang cermat, terutama dalam situasi yang membutuhkan sensitivitas etika atau penilaian yang bernuansa. "Alat-alat ini bisa sangat membantu, tetapi tidak sempurna," ujar Dr. Nadkarni. "AI sebaiknya digunakan sebagai pelengkap untuk meningkatkan keahlian klinis, bukan sebagai pengganti, terutama saat menghadapi keputusan yang kompleks atau berisiko tinggi."