OpenAI Araştırmacılarından Yapay Zekâ İçin Kritik Çağrı

Yapay zekâ modelleri daha karmaşık görevleri yerine getirdikçe, yalnızca verdikleri cevapları değerlendirmek yeterli olmayabilir. Araştırmacılar, bir modelin sonuca hangi adımlarla ulaştığını anlamanın güvenlik açısından kritik olduğunu düşünüyor. OpenAI’da görev yapan üç araştırmacının çağrısı da bu noktaya odaklanıyor: Yapay zekânın yazılı akıl yürütme izleri mümkün olduğunca izlenebilir kalmalı.

Tomek Korbak, Mikita Balesni ve Jasmine Wang, düşünce zinciri (Chain of Thought veya CoT) izleme çalışmalarının korunması ve geliştirilmesi gerektiğini savunuyor. Bu yöntem, bir modelin yanıt üretirken oluşturduğu yazılı akıl yürütme adımlarını incelemeyi amaçlıyor. Böylece araştırmacılar yalnızca modelin ne söylediğine değil, cevaba nasıl ulaştığına dair izlere de bakabiliyor.

Yazılı akıl yürütme neden önem taşıyor?

Bir yapay zekâ modeli beklenen cevabı verse bile bunu hangi hesaplama sürecinden geçerek yaptığı her zaman açık olmayabilir. Modelin yazılı düşünce zinciri, güvenlik ekiplerine davranışın arkasındaki süreci değerlendirmek için ek bir gözlem alanı sunuyor. Özellikle sorunlu veya beklenmeyen davranışların erken fark edilmesi açısından bu izlerin değer taşıdığı düşünülüyor.

Ancak modeller geliştikçe ortaya çıkan akıl yürütme metni her görevde aynı ayrıntı düzeyini sunmuyor. Model bazı problemleri çözerken daha az yazılı adım oluşturabiliyor. Bu durumda dışarıdan yapılan inceleme, yalnızca nihai cevaba dayanmak zorunda kalıyor. Üstelik yazılı akıl yürütme, modelin gerçekleştirdiği tüm iç hesaplamaları eksiksiz biçimde temsil eden kusursuz bir pencere olarak da görülmüyor.

Bu sınırlama, izleme yöntemlerinin gereksiz olduğu anlamına gelmiyor. Aksine araştırmacıların çağrısı, mevcut yöntemlerin yetersiz kaldığı noktaların daha iyi anlaşılmasını ve yeni güvenlik teknikleriyle desteklenmesini istiyor.

GPT-6 Astra modellerinde izleme güçlüğü

OpenAI’nin GPT-6 Astra modelleri için hazırladığı güvenlik değerlendirmesinde de benzer bir sorun ele alınıyor. Şirket, Astra sınıfı modellerin yazılı akıl yürütmesinin önceki GPT-5.6 Sol modeline göre daha zor izlenebildiğini belirtiyor.

Buradaki mesele, Astra modellerinin izleme sistemlerini kolayca kandırdığı iddiası değil. Temel sorun, bazı görevlerde daha az yazılı akıl yürütme üretmeleri. Araştırmacıların inceleyebileceği izler kısaldığında, modelin davranışını dışarıdan yorumlamak da zorlaşıyor. Bu nedenle modelin ulaştığı sonuç ile o sonuca götüren hesaplama süreci arasında daha büyük bir görünürlük farkı oluşabiliyor.

OpenAI de bu sınırlamanın farkında. Şirket, yapay zekâ modellerinin akıl yürütme süreçlerini daha iyi izleyebilmenin güvenlik araştırmalarındaki önemli başlıklardan biri olduğunu değerlendiriyor. Dolayısıyla tartışma, yalnızca belirli bir modelin performansıyla sınırlı kalmıyor; daha gelişmiş sistemlerin denetlenme biçimine ilişkin daha geniş bir soruna işaret ediyor.

Recurrent depth yaklaşımı izleri azaltabiliyor

Konunun bir diğer boyutunu “recurrent depth” olarak adlandırılan yaklaşım oluşturuyor. Kabaca “tekrarlayan derinlik” şeklinde ifade edilebilecek bu yöntemde model, aynı sorgu üzerinde birden fazla işlem turu gerçekleştirebiliyor. Böylece daha uzun ve karmaşık bir hesaplama süreci ortaya çıkıyor.

Fakat model bu işlem turlarının tamamını dışarıya yazmak zorunda değil. Araştırmacıların görebildiği metin ile modelin gerçekleştirdiği hesaplama arasında fark oluştuğunda, düşünce zinciri takibinin kapsamı daralıyor. Kullanıcı sonuç cevabını görmeye devam etse de bu cevaba ulaşılırken hangi ara işlemlerin yapıldığını anlamak güçleşebiliyor.

Üç araştırmacının çağrısı, gelişmiş modellerde bu görünürlük sorununu göz ardı etmemek üzerine kurulu. Daha karmaşık sistemler için davranış izleme yöntemlerinin geliştirilmesi, güvenlik ekiplerinin modelin yalnızca çıktısını değil, mümkün olduğu ölçüde çalışma biçimini de değerlendirebilmesi açısından önem taşıyor.

Korbak, Balesni ve Wang, OpenAI’daki görevlerinden şirket politikalarını ihlal ettikleri ve hassas bilgileri dışarıdaki bir yapay zekâ güvenliği kuruluşuyla paylaştıkları gerekçesiyle çıkarıldı. OpenAI ise işten çıkarmaların araştırmacıların güvenlik endişelerini dile getirmesiyle bağlantılı olmadığını açıkladı. Şirket, araştırmacıların savunduğu düşünce zinciri izleme çalışmalarının sürdürülmesine bütünüyle karşı çıkmıyor; aksine bu alandaki araştırmaların devam etmesi gerektiğini kabul ediyor.