ChatGPT, hastalara yanıt vermekte insan doktorlardan daha mı iyi?

Hasta derecelendirmelerini inceleyen yeni bir araştırmaya göre, ChatGPT, insan doktorlardan daha empatik (duygudaş) olabiliyor. Pek çok insan yapay zekanın (AI) sağlık sorunlarıyla karşı karşıya kaldığında umursamaz, gerçeklere dayalı tavsiyeler vereceğini varsaysa da, incelik söz konusu olduğunda aslında gerçek doktorlardan daha iyi bir şekilde derecelendirildiği görülüyor.

Yapay zekayı sağlık hizmetlerini herkes için erişilebilir hale getirmenin bir yolu olarak kullanma fikri, dil modelleri etkileyici bir doğruluk gösterdiği için birçok kez gündeme geldi, ancak hastayla direkt olarak görüşebilmek için gerekli empatiye sahip olup olmadıkları sorusu en önemli sorulardan biri oldu. Tıp, kültürel ve sosyal bağlamları hesaba katan insan becerileri gerektirir ve dil modelleri bu görevlerde berbat olduklarını geçmişte kanıtladılar.

Ancak bir çalışma, insanların gerçekten bir sağlık “uzmanı” olarak AI ile baş başa kalmayı ne kadar sevdiklerini bulmaya çalıştı.

California San Diego Üniversitesi araştırmacıları, Reddit’ten rastgele seçilmiş, her birinde soruları yanıtlayan doğrulanmış bir doktor bulunan 195 hasta sorusu örneğini ele aldı. Ekip daha sonra aynı soruları ChatGPT’ye sordu ve orijinal insan yanıtlarıyla rastgele olarak bir araya getirmeden önce yanıtlarını topladı. Bu rastgele yanıt grubu, bilgilerin doğruluğu, hangi yanıtların daha iyi olduğu ve yanıtların ne kadar empatik olduğu (hastaya karşı tutumu ne kadar iyi) açısından derecelendirilmek üzere lisanslı sağlık uzmanlarına verildi.

ChatGPT'ye yüzde 78,6, gerçek doktorlara yüzde 22

Şaşırtıcı bir şekilde, değerlendiriciler, daha kaliteli olduğu düşünülen ve genellikle çok daha uzun olan ChatGPT’nin yanıtlarını doktorların yanıtlarına kıyasla yüzde 78,6 oranında tercih ettiler. Yanıtlar arasındaki muazzam fark şaşırtıcıydı. “İyi” veya “çok iyi” olarak değerlendirilen yanıtların oranı sohbet robotu için yaklaşık yüzde 80 iken, doktorlar için sadece yüzde 22 idi.

Empati söz konusu olduğunda da sohbet robotu doktorları geride bırakmaya devam etti. ChatGPT'nin yanıtlarının yüzde 45’i “empatik” veya “çok empatik” olarak değerlendirilirken, doktorların yanıtlarının yalnızca yüzde 4,6’sı aynı şekilde değerlendiriliyordu.

Sonuçlar, ChatGPT’nin son derece etkili bir çevrimiçi sağlık asistanı olduğunu gösterdi, ancak bu araştırmanın tasarımından kaynaklı sorunları olduğunu da belirtmekte fayda var. Öncelikle, araştırmaya katılan yanıtların, doktorların boş zamanlarında yanıt verdiği ve soruyu soran kişiden tamamen kopuk olduğu çevrimiçi bir forumdan alınması, bazı empati farklılıklarını açıklayabilecek, yetersiz ve kişisel olmayan tepkilerle sonuçlanma ihtimalini oldukça arttırıyor.

Ayrıca ChatGPT, çevrimiçi bilgileri taramanın ve aktarmanın çok etkili bir yolu. Ancak düşünemez veya mantıksal olarak akıl yürütemez. Doktorlar, önceki vaka incelemelerine ilişkin mevcut anlayışın dışında kalan yeni vakalarla karşı karşıya kalabilir ve bu durum, sağlam temel bilgilere sahip olmadığında ChatGPT’nin yanlış tavsiyelerde bulunmasına veya sorunu anlayamamasına neden olabilir.

Bu nedenle, ChatGPT’nin sağlık hizmetleriyle tek temas noktası olmasa da, vakaları iletmenin ve zaten boğulmuş doktorlar için iş yüklerine öncelik vermenin mükemmel bir yolu olması mümkün olabilir. Araştırmacılar, yanıtları taslak haline getirebileceğini ve ardından doktorların en iyi sonuçları almak için bunları düzenleyebileceğini öne sürüyor.

Çalışma JAMA Internal Medicine dergisinde yayınlandı.