Yapay zekâ testleri neden hâlâ güvenilir sonuç vermiyor?

Yapay zekâ şirketleri, modellerinin yeteneklerini göstermek ve rakipleriyle karşılaştırmak için benchmark testlerine başvuruyor. Ancak bu testlerin sonuçları her zaman aynı güveni vermiyor. Hugging Face Politika Direktörü Irene Solaiman’a göre sektördeki değerlendirme yöntemleri henüz olgunlaşmış, ortak kurallara sahip bir bilim alanı hâline gelmiş değil.

Solaiman, yapay zekâ değerlendirmelerine güvenilip güvenilemeyeceğini tartışırken ilk ölçütün sonuçların yeniden üretilebilmesi olduğunu vurguladı. Bir testin aynı model ve benzer koşullarda başka araştırmacılar tarafından tekrarlanamaması, ortaya çıkan puanın anlamını zayıflatıyor. Bunun için araştırmacıların modelin kendisine ve testi çalıştırmak için gereken bileşenlere yeterli erişim sağlaması gerekiyor.

Bu noktada açık ağırlıklı modeller önem kazanıyor. Modelin çalışma yapısına daha fazla erişim sunulması, değerlendirme sürecinin incelenmesini ve aynı sonuçların yeniden elde edilmesini kolaylaştırabiliyor. Kapalı sistemlerde ise kullanılan modelin ayrıntılarına, sürümüne veya test sırasında devreye giren ek katmanlara erişim sınırlı kalabiliyor.

Testleri birbiriyle karşılaştırmak da zor

Bir değerlendirme yönteminin kendi içinde geçerli olması, onu diğer testlerle doğrudan karşılaştırmaya yetmiyor. Farklı benchmark’lar farklı becerileri, veri kümelerini ve kullanım koşullarını ölçebiliyor. Bu nedenle bir modelin bir testte yüksek puan alması, başka bir değerlendirmede de aynı üstünlüğü göstereceği anlamına gelmiyor.

Solaiman, yapay zekâ testlerinin hızla etkisini kaybedebildiğini ve sektörde ihtiyaç duyulan canlı değerlendirme ekosisteminin henüz oluşmadığını ifade etti. Şirketler ve araştırma kuruluşları yeni testler üretmeye devam ederken, hangi değerlendiricinin hangi görevlerde yeterli sayılacağına ilişkin ortak ölçütler bulunmuyor.

Bu tartışma, yapay zekâ kuruluşlarının güvenlik sorunlarını belirlemek için üçüncü taraf gözlemcileri kendi bünyelerine yerleştirme fikrini de etkiliyor. Gömülü değerlendirici modeli, laboratuvarların güvenlik olayları sonrasında daha bağımsız bir denetim mekanizması oluşturma arayışının sonucu olarak öne çıktı. Ancak değerlendiricinin gerçekten tarafsız olup olmayacağı ve görevi yerine getirecek uzmanlığa sahip bulunup bulunmadığı belirsizliğini koruyor.

Anthropic’in ilk değerlendirici olarak Accenture’ı seçmesi de bu nedenle eleştirilere yol açtı. Tartışmanın merkezinde, bir danışmanlık şirketinin yapay zekâ modellerinin güvenliğini ve davranışlarını değerlendirmek için gerekli teknik yeterliliğe sahip olup olmadığı sorusu yer aldı.

Artık yalnızca modeli test etmek yeterli değil

Yapay zekâ değerlendirmeleri, doğrudan modelin performansını ölçmenin ötesine geçiyor. Kullanıcının modele erişmesini sağlayan arayüz, araç seti ve çalışma düzeni de elde edilen sonucu etkiliyor. Bu katmana genellikle “harness” adı veriliyor. Aynı model farklı bir araç setiyle kullanıldığında daha başarılı veya daha sınırlı sonuçlar üretebiliyor.

Bu durum, daha zayıf bir modelin daha iyi tasarlanmış bir araç setiyle daha güçlü bir modelin önüne geçebilmesine yol açabiliyor. Dolayısıyla yalnızca model puanlarını karşılaştırmak, kullanıcının gerçek deneyimini tam olarak yansıtmayabilir. Günümüzde pek çok kişi ham modelden ziyade modelin araçlarla birlikte oluşturduğu sistemi kullanıyor.

Solaiman’a göre ajan tabanlı sistemleri değerlendirmek özellikle zor ve maliyetli. Bu sistemlerde model; araçları seçiyor, birden fazla işlem yürütüyor ve hedefe ulaşmak için ara kararlar alıyor. Başarıyı ölçmek için yalnızca son yanıtı değil, sürecin tamamını incelemek gerekiyor. Sektörde model testleri artarken, araç setlerini ve bütünsel ajan performansını değerlendiren yöntemler aynı hızla çoğalmıyor.

Ortak standart ihtiyacı büyüyor

Mevcut tablo, yapay zekâ benchmark’larının tamamen işe yaramadığı anlamına gelmiyor. Ancak sonuçların hangi koşullarda üretildiğinin, hangi erişim düzeyinin kullanıldığının ve testin hangi beceriyi ölçtüğünün açıkça belirtilmesi gerekiyor. Aksi hâlde farklı şirketlerin açıkladığı puanlar, gerçek kullanım deneyimiyle kolayca karıştırılabilir.

Değerlendirme ekosisteminin güvenilir hâle gelmesi için testlerin tekrarlanabilir olması, değerlendiricilerin uzmanlık kriterlerinin netleşmesi ve modelle birlikte araç seti ile ajan davranışının da ölçülmesi gerekiyor. Sektör ortak bir yöntem geliştirmediği sürece benchmark sonuçları, yapay zekâ ürünlerini karşılaştırmak için tek başına yeterli bir ölçü olarak kalmayacak.