Anthropic ve OpenAI’dan yapay zekâ için fren önerileri

Anthropic ve OpenAI, güçlü yapay zekâ sistemlerinin tehlikeli hâle gelmesi durumunda nasıl müdahale edilmesi gerektiğine ilişkin önerilerini Kaliforniya yönetimine iletti. İki şirket de bağımsız teknik değerlendirme ve olayların raporlanması konusunda ortak noktada buluşuyor. Ancak sistemlerin geçici olarak durdurulması için önerdikleri yöntemler birbirinden farklı.

Anthropic, ciddi zarar riski doğrulandığında eyalet başsavcısının mahkemeden müdahale talep edebilmesini istiyor. OpenAI ise yapay zekâ geliştiricilerinin gerekli acil kapatma mekanizmalarını kurmasını ve gerektiğinde kullanmasını savunuyor. Tartışmanın merkezinde yalnızca tek bir “kapatma düğmesi” değil; bir modelin, ajanın veya hizmetin hangi koşullarda ve kimin kararıyla sınırlandırılacağı da bulunuyor.

Kaliforniya’nın hazırlık süreci

Öneriler, Kaliforniya Valisi Gavin Newsom’un 18 Eylül’de imzaladığı N-9-26 sayılı kararname sonrasında gündeme geldi. Kararname, eyalet kurumlarından en güçlü yapay zekâ sistemleri için ek güvenlik önerileri hazırlamalarını istiyor. Kurumların bu önerileri sunması için belirlenen son tarih 16 Kasım. Mevcut kararname ise şirketlere doğrudan yeni bir yükümlülük getirmiyor.

Dolayısıyla Anthropic ve OpenAI’ın yazıları, yürürlüğe girmiş kurallar değil; eyaletin değerlendireceği politika önerileri niteliğinde. Kaliforniya’nın hazırlayacağı çerçevenin, geliştiricilerin güvenlik iddialarını nasıl kanıtlayacağını ve ciddi risk karşısında hangi yetkilerin kullanılabileceğini belirlemesi bekleniyor.

Anthropic bağımsız denetim ve yargı yolunu öne çıkarıyor

Anthropic’in önerisi, şirketlerin güvenlik savlarını bağımsız uzmanlara inceletmesini ve değerlendirme sonuçlarını kamuoyuyla paylaşmasını içeriyor. Şirket, risk raporlarının en az altı ayda bir yayımlanmasını da istiyor. Bu raporların yalnızca kamuya sunulan modellere odaklanmaması gerektiğini belirtiyor: Bir şirketin kendi içinde kullandığı model, dışarıya açtığı sürümden belirgin biçimde güçlüyse onun riskleri de incelenmeli.

Bağımsız değerlendiricilerin en güçlü modellere ve geliştiricilerin ilgili iç bilgilerine erişebilmesi, Anthropic’in önerilerinden bir diğeri. Değerlendirmelerin ücretini denetlenen şirketlerin doğrudan karşılaması yerine, eyaletin yöneteceği ortak bir fonun kullanılması isteniyor. Bu yaklaşımın amacı, incelemenin finansmanını şirket ile denetçi arasındaki doğrudan ilişkiden ayırmak.

Anthropic, riskin ortaya çıktığı yere göre çalışabilecek güvenlik mekanizmalarını da savunuyor. Bir sorun tek bir yapay zekâ ajanıyla sınırlıysa yalnızca o ajan devre dışı bırakılabilir; risk daha genişse müşteriye, dağıtım ortamına veya modelin tamamına müdahale edilebilir. Bağımsız inceleme felaket boyutunda zarar ihtimalini doğrularsa başsavcı, sistemin geçici olarak durdurulması için mahkemeye başvurabilmeli.

OpenAI tek düğme yerine farklı müdahale seçenekleri istiyor

OpenAI da bağımsız teknik değerlendirmeyi destekliyor; ancak teknik incelemenin mevzuata uyum denetiminden ayrı yürütülmesini öneriyor. Teknik değerlendirme, modelin güvenliğine ilişkin kanıtları ve mevcut korumaların ne kadar etkili olduğunu ele almalı. Uyum denetimi ise şirketin açıkladığı kurallara ve yasal yükümlülüklere uyup uymadığını kontrol etmeli.

Şirket, uyum denetiminin yılda bir yapılmasını; teknik incelemelerin ise eğitim, test veya kurum içi kullanım sırasında ciddi risk belirdiğinde devreye girmesini istiyor. OpenAI ayrıca Kaliforniya’nın ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST) ile ortak değerlendirme standartları geliştirmesini öneriyor.

Acil müdahale konusunda OpenAI, her sistem için geçerli tek bir “kill switch” bulunduğu düşüncesine karşı çıkıyor. Bunun yerine, duruma uygun farklı araçların kullanılmasını öngörüyor: Model eğitiminin durdurulması, bir ajanın izole edilmesi, araç veya ağ erişiminin kesilmesi ya da hizmetin askıya alınması. Sorumluluğun da geliştirici, bilişim hizmeti sağlayıcısı ve sistemi kullanan şirket arasında, her birinin fiilen kontrol ettiği işlemlere göre paylaşılmasını savunuyor. OpenAI’a göre geliştiriciler, üçüncü taraf altyapıda çalışan açık ağırlıklı modellerin bağımsız kopyalarını her zaman kapatabilecek durumda değil.

İki şirket, yapay zekâ sistemlerinin güvenlik sınırlarını aşması veya kendilerine verilen yetkilerin dışında hareket etmesi gibi olayların raporlanması gerektiği konusunda aynı görüşte. Öneriler arasındaki temel fark, bu tür bir risk belirlendiğinde müdahaleyi kimin başlatacağı ve geliştiricilerin hangi sistemleri kontrol edebileceği. Kaliforniya’nın hazırlayacağı yaklaşım, güvenlik denetiminin yanı sıra sorumluluk ve acil müdahale sınırlarını da şekillendirebilir.