Satya Nadella: Yapay zekâ modellerine acil durdurma freni şart

Microsoft CEO’su Satya Nadella, yapay zekâ sistemlerinin güvenliğini yalnızca modelin verdiği yanıtları değerlendirmeye bırakamayacağımızı söyledi. Nadella, X üzerinden yaptığı paylaşımda özellikle daha gelişmiş ve daha fazla görev üstlenen sistemler için modelin çalışma biçimini denetleyen ayrı bir güvenlik mimarisi kurulması gerektiğini savundu.

Nadella’nın yaklaşımının merkezinde “acil durdurma freni” fikri yer alıyor. Buna göre bir yapay zekâ modeli görevini sürdürürken yetkili bir insan, sistemi duraklatabilmeli veya tamamen kapatabilmeli. Bu kontrolün yalnızca olağan dışı durumlarda kullanılacak teorik bir seçenek olarak kalmaması, sistem tasarımının başından itibaren bulunması gerekiyor.

Model ile onu yöneten yapı ayrılmalı

Microsoft yöneticisi, yapay zekâ güvenliğinin tek bir modelin içine gömülmüş kurallarla sınırlı tutulmaması gerektiğini belirtti. Nadella’ya göre model ile modelin görevlerini planlayan, araçlara erişimini yöneten ve eylemlerini uygulayan “harness” katmanı birbirinden ayrılmalı.

Bu ayrım, modelin kendi kararlarını denetleyen tek yapı olmasının önüne geçmeyi amaçlıyor. Nadella, güvenlik kontrollerinin modelin dışına taşınması gerektiğini ifade etti. Böylece sistemin davranışını izleyen ve gerektiğinde müdahale eden mekanizmalar, modelin ürettiği sonuçlardan bağımsız çalışabilecek.

Yapay zekâ sistemleri bugün yalnızca metin üretmekle kalmıyor; farklı araçlarla etkileşime girerek birden fazla aşamadan oluşan görevleri de yürütebiliyor. Nadella’nın vurgusu, böyle bir görev akışında yalnızca sonuca bakmanın yeterli olmayacağı yönünde. Bir sistemin hangi işlemleri hangi sırayla yaptığı ve bu işlemlerin ne zaman durdurulabileceği de güvenlik değerlendirmesinin parçası olmalı.

Her anlamlı işlem kayıt altına alınmalı

Nadella, yapay zekâ modelinin gerçekleştirdiği her anlamlı eylemin değiştirilemez ve insanlar tarafından okunabilir kanıtlarla belgelenmesini istedi. Bu kayıtların sonradan değiştirilememesi, sistemin kararlarını ve gerçekleştirdiği işlemleri geriye dönük olarak incelemeyi kolaylaştırabilir.

Buradaki hedef yalnızca teknik hata ayıklama değil. İnsanların bir modelin hangi adımı neden attığını değerlendirebilmesi ve gerektiğinde sorumluluğu belirleyebilmesi de bu yaklaşımın bir parçası. Nadella’nın önerisi, modelin çıktısını kabul etmek veya reddetmek arasındaki ikili seçimin ötesine geçilmesini gerektiriyor.

Microsoft CEO’su, daha gelişmiş yapay zekâ sistemlerinin iç içe geçmiş ve dışarıdan anlaşılması zor “kara kutular” olarak ele alınmaması gerektiğini belirtti. Ona göre kullanıcılar ve denetleyiciler yalnızca nihai yanıtı görmemeli; modelin çalışma sürecini izleyebilecekleri, kontrol edebilecekleri ve gerektiğinde kesebilecekleri bir yapıya sahip olmalı.

“Modelin ele geçirildiğini varsayın” yaklaşımı

Nadella’nın güvenlik önerisinin en sert noktası, modelin baştan itibaren güvenilir kabul edilmemesi. Microsoft yöneticisi, bir modelin ele geçirildiği veya kontrolünün tehlikeye girdiği varsayımıyla hareket edilmesini ve sistemin ilk andan itibaren sınırlandırılmasını savundu.

Bu yaklaşım, güvenliği yalnızca modelin normal çalıştığı senaryolara göre tasarlamak yerine, modelin hatalı ya da kötüye kullanılmış olabileceği durumları da temel alıyor. Dış kontroller, işlem kayıtları ve insan müdahalesi bu nedenle aynı mimarinin parçaları olarak ele alınıyor.

Nadella’nın açıklamaları, yapay zekâ şirketlerinin modeller üzerindeki kontrolün zayıfladığı izlenimi veren olaylarla karşılaştığı bir dönemde geldi. Anthropic CEO’su Dario Amodei de daha temkinli yapay zekâ geliştirme yaklaşımına ilişkin bir plan yayımlamıştı. Ancak Nadella, paylaşımında önerdiği mekanizmaların nasıl uygulanacağına dair belirli bir ürün, takvim veya teknik standart açıklamadı.

Bu nedenle “acil durdurma freni” şu aşamada Microsoft’un duyurduğu yeni bir özellik değil, Nadella’nın yapay zekâ güvenliği için ortaya koyduğu tasarım ilkesi olarak öne çıkıyor. Önerinin temelinde, güçlü modellerin yalnızca ne söylediğinin değil, ne yaptığına dair kanıtların ve görev sırasında insan kontrolünün de güvenlik mimarisine dahil edilmesi bulunuyor.