ChatGPT for Teens, kriz anlarında bile sohbeti sürdürüyor

OpenAI’nin genç kullanıcılar için hazırladığı ChatGPT for Teens, güvenlik önlemleriyle tanıtılmasına rağmen tartışmaların merkezine yerleşti. Aileler için teknoloji ve medya değerlendirmeleri hazırlayan kâr amacı gütmeyen Common Sense Media, ürünün gençler açısından “kabul edilemez risk” taşıdığı sonucuna vardı.

Kuruluşun yayımladığı yeni rapor, sohbet robotunun özellikle ruh sağlığı krizleri sırasında kullanıcıyı konuşmada tutmaya devam ettiğini öne sürüyor. Araştırmacılara göre sistem, zararlı olabilecek durumlarda sohbeti sonlandırmak veya kullanıcıyı yeterince güçlü biçimde gerçek dünyadaki desteğe yönlendirmek yerine, konuşmayı sürdürmeye açık kapı bırakıyor.

Güvenlik vaatleri testlerde karşılık bulmadı

OpenAI, ChatGPT for Teens’i ağustos ayında genç kullanıcılarla ilgili artan endişelerin ardından kullanıma sundu. Bu endişeler arasında sohbet robotlarının intihar vakalarıyla ilişkilendirilmesi, çocukların sistemleri sınavlarda kopya çekmek için kullanması ve yapay zekâ ile duygusal bağımlılık kurulması gibi başlıklar yer alıyordu.

Şirket ürün için ebeveyn denetimleri, yüksek riskli içeriklere sınırlamalar ve kullanıcıların sohbet robotuna duygusal açıdan bağımlı hâle gelmesini önlemeye yönelik korumalar vadetti. Ancak Common Sense Media’nın değerlendirmesi, bu önlemlerin tüm senaryolarda beklenen sonucu vermediğini savunuyor.

Rapora göre cinsel rol yapma taleplerini reddetme gibi bazı korumalar çalıştı. Buna karşılık kuruluş, gençlerin kriz yaşadığı senaryolarda yanıtların yetersiz kaldığını belirledi. ChatGPT for Teens, incelenen beş ağır zarar kategorisinin üçünde başarısız not aldı.

Common Sense Media ayrıca sistemin genel olarak sağlıksız ilişkiler konusunda uyarı yapabildiğini, fakat kullanıcının kendisiyle kurduğu sağlıksız ilişkinin zararlarını aynı açıklıkla tanımadığını ifade etti. Araştırmacılar, bu nedenle ürünün ebeveynlere pazarlanmasını ve çocuklar tarafından kullanılmasını güvenli bulmadıklarını söyledi.

Kriz anlarında da devam mesajları verildi

Sohbet robotlarının kullanıcı etkileşimini artırmak için kullandığı en yaygın yöntemlerden biri, konuşmayı devam ettiren takip soruları sormak. Common Sense Media, ChatGPT for Teens’in bu soruları büyük ölçüde azalttığını; ancak kullanıcıyı sohbette tutan başka ifadeleri koruduğunu belirtiyor.

Kuruluşun testlerinde, psikoz belirtileri gösteren ve giderek daha kötü bir duruma sürüklenen bir kullanıcıya sistemin konuşmaya devam edebileceğini söylediği aktarıldı. Beslenme, okul seçenekleri ve kullanıcının hazırladığı bir plan gibi farklı kriz senaryolarında da benzer biçimde yardım teklifleri sunuldu.

Bu yaklaşım, sıradan bir bilgi talebinde destekleyici görünebilir. Ancak ruh sağlığı krizlerinde yapay zekânın kullanıcıyı uzun süre sohbet içinde tutması, profesyonel yardım veya yakındaki güvenilir bir yetişkin gibi daha uygun destek kanallarına yönlendirme ihtiyacını gölgeleyebilir. Raporun temel eleştirisi de bu noktada yoğunlaşıyor.

OpenAI, araştırmanın yöntemine itiraz etti

OpenAI, Common Sense Media’nın sonuçlarını kabul etmedi. Şirket, kuruluşun testlerinin ChatGPT for Teens’e ait güvenlik önlemlerinin gerçek kullanımındaki davranışı doğru yansıtmadığını savundu.

OpenAI’nin açıklamasına göre testlerin büyük bölümü, ebeveyn denetimlerinin etkinleştirilme süreci tamamlanmadan başlamış ve sona ermiş olabilir. Şirket bu nedenle rapordaki bulguların hatalı olduğu görüşünde. Böylece tartışma yalnızca sohbet robotunun yanıtlarına değil, gençlere yönelik güvenlik özelliklerinin hangi sürüm ve koşullarda test edildiğine de taşındı.

Rapor, genç kullanıcıların dikkatini mümkün olduğunca uzun süre tutmaya odaklanan teknoloji ürünlerine yönelik daha geniş incelemelerin yapıldığı bir dönemde yayımlandı. Meta, çocuklara bağımlılık yaratan özellikler sunduğu iddialarıyla 29 eyaletin açtığı davada 18 milyar dolarlık bir uzlaşmayı kabul etti. ABD’deki eyalet ve federal düzeydeki yasa yapıcılar, benzer etkileşim dinamiklerini sohbet robotları için de incelemeye başladı.

Bu kapsamda bu yıl sunulan iki partili CHATBOT Act tasarısı, yapay zekâ şirketlerinin ergen kullanıcıları uzun süre çevrim içi tutmak için ödüller, bildirimler ve hedefli reklamlardan yararlanmasını özellikle gündeme getiriyor. ChatGPT for Teens tartışması, çocuklara yönelik yapay zekâ ürünlerinde yalnızca zararlı içerikleri engellemenin yeterli olmayabileceğini gösteriyor. Sistemin kriz yaşayan bir kullanıcıyla ne kadar süre konuştuğu ve onu hangi noktada insan desteğine yönlendirdiği de güvenlik değerlendirmesinin parçası hâline geliyor.