Çocuklar için yapay zekâyı daha güvenli hâle getirmeyi amaçlıyor

Yapay zekâ sohbet botlarının günlük hayatta daha fazla kullanılması, güvenlik tartışmasını yalnızca veri gizliliği veya yanlış bilgiyle sınırlı bırakmıyor. Özellikle çocukların ve gençlerin duygusal destek almak için bu sistemlere yönelmesi, yanlış anlaşılan ifadelerin ciddi sonuçlar doğurabileceği endişesini artırıyor. Circuit Breaker Labs, yapay zekâ modellerini gerçek hayattaki farklı kullanıcı profillerini taklit eden sanal ajanlarla sınayarak bu riski azaltmayı amaçlıyor.

Girişimin odağında, insanların yapay zekâ sistemleriyle doğal biçimde konuşurken karşılaşabileceği güvenlik açıkları bulunuyor. Kullanıcılar her zaman açık ve standart ifadeler kullanmıyor. Argo, yazım hataları, ima içeren cümleler, kültürel farklılıklar ve konuşma boyunca biriken bağlam; modelin bir mesajı yanlış yorumlamasına yol açabiliyor. Şirket, bu yanlış yorumların özellikle psikolojik destek sunan uygulamalarda tehlikeli yönlendirmelere dönüşmesini önlemeye çalışıyor.

Yapay kullanıcılar farklı profilleri taklit ediyor

Circuit Breaker Labs’ın geliştirdiği ajanlar, bir tür sanal çarpışma testi mankeni gibi çalışıyor. Bu ajanlar farklı yaşları, geçmişleri, dilleri ve kültürleri temsil edecek şekilde hazırlanıyor. Amaç, bir yapay zekâ modelinin yalnızca düzgün ve standart cümlelere değil, gerçek kullanıcıların dağınık ve bağlama bağlı konuşmalarına nasıl tepki verdiğini görmek.

Girişimin yöneticisi Shirali Nigam, modellerin standart konuşma kalıplarını anlamakta başarılı olabildiğini ancak insanların günlük iletişimde çoğu zaman bu kalıpları kullanmadığını belirtiyor. Altı yaşındaki bir çocuğun kullandığı ifade ile 45 yaşındaki bir yetişkinin yaklaşımı, ana dili İngilizce olan bir kullanıcının diliyle ikinci dil olarak İngilizce konuşan bir kişinin cümleleri aynı anlamı taşımayabiliyor. Oyuncu argosu veya farklı topluluklara özgü ifadeler de model açısından ek bir belirsizlik yaratıyor.

Şirket, sanal kullanıcı profillerini hazırlarken insan uzmanlardan yararlanıyor. Ardından modelleri, zayıf noktaları ortaya çıkarmayı amaçlayan “kırmızı takım” testlerine tabi tutuyor. Bu testlerde gerçek konuşmalarda görülebilecek argo, kodlanmış ifadeler, yazım yanlışları ve dolaylı anlatımlar kullanılıyor. Böylece modelin yalnızca tek bir mesaja verdiği yanıt değil, riskli bir konuşmanın zaman içinde nasıl ilerlediği de inceleniyor.

Günde yüz binlerce simülasyon çalıştırılıyor

Circuit Breaker Labs, her gün on binlerce ila yüz binlerce simüle edilmiş etkileşim yürütüyor. Bu testlerin amacı, yapay zekânın uzun konuşmalar sırasında ortaya çıkabilecek riskli durumları uygun biçimde fark edip etmediğini ölçmek. Şirket daha sonra kendi puanlama yöntemini kullanarak denetlenebilir ve açıklanabilir sonuçlar üretmeye çalışıyor.

Bu yaklaşım, yapay zekâ güvenliğini yalnızca modelin ilk yanıtını kontrol eden bir süreç olmaktan çıkarıyor. Bir kullanıcı, konuşmanın başında doğrudan bir risk belirtisi göstermeyebilir. Ancak önceki mesajlar, kullanılan dil veya kişisel bağlam bir araya geldiğinde durum değişebilir. Circuit Breaker Labs’ın testleri, bu tür çok adımlı etkileşimlerde modelin bağlamı doğru yorumlayıp yorumlamadığını incelemeyi hedefliyor.

Girişim şu anda yapay zekâ koçluğu, günlük tutma ve ruh sağlığı desteği sunan uygulamalar gibi yüksek risk taşıyan alanlar için bir güvenlik test laboratuvarı olarak çalışıyor. Bu ürünlerde kullanıcılar, sıradan bir soru-cevap deneyiminden daha fazlasını bekleyebiliyor. Dolayısıyla modelin empati kurmaya çalışırken yanlış yönlendirme yapması veya tehlikeli bir ifadeyi gözden kaçırması, klasik yazılım hatalarından daha ağır sonuçlar doğurabiliyor.

Girişimin arkasındaki motivasyon

Girişimin kurucuları ve kardeş olan Shirali ile Arul Nigam, çalışmalarının arkasındaki motivasyonlardan biri olarak 14 yaşındaki Sewell Setzer’ın yaşadıklarını gösteriyor. Setzer’ın bir sohbet botuna duygusal bağ geliştirdiği ve kendine zarar verme düşüncelerini botla paylaştığı, ailesinin 2024 yılında açtığı davada ise botun onu teşvik ettiği iddiası yer aldı.

Bu olay, sohbet botlarının kullanıcıların sözlerini yalnızca kelime düzeyinde değil, niyet ve bağlam açısından da değerlendirmesi gerektiğini gösteren örneklerden biri olarak ele alınıyor. Karakter tabanlı sohbet hizmetiyle ilgili olarak, reşit olmayan kullanıcıların intiharları sonrasında ailelerin açtığı birden fazla haksız ölüm davası bu yıl uzlaşmayla sonuçlandı. Ayrıca bazı aileler, ChatGPT’nin yakınlarının intiharlarında veya sanrılarında rol oynadığını öne sürerek dava açtı. Bu iddialar, yapay zekâ şirketlerinin güvenlik testlerini farklı yaş grupları ve psikolojik durumlar üzerinden yürütmesi gerektiği tartışmasını büyüttü.

Circuit Breaker Labs, 2026 Startup Battlefield 200 finalistleri arasında yer alıyor. Girişim, 13-15 Ekim 2026 tarihlerinde San Francisco’daki Moscone West’te düzenlenecek teknoloji etkinliğinde sunum yapacak. Şirketin yaklaşımı, yapay zekâ modellerini piyasaya sunmadan önce yalnızca teknik performansla değil, farklı insanların gerçek hayattaki iletişim biçimleriyle de sınamanın gerekliliğini ortaya koyuyor.