Google, yapay zekâlara uyku sırasında öğrenmeyi öğretiyor

Yapay zekâ modelleri, bir sohbet sırasında verilen bilgileri kullanabilse de bu bilgileri her zaman kalıcı biçimde öğrenmiyor. Google araştırmacılarının önerdiği yeni bir yöntem, öğrenme sürecini modelin çalıştığı ve öğrendiklerini pekiştirdiği ayrı aşamalara bölüyor. İnsan beyninin uyku sırasında hafızayı düzenlemesinden esinlenen yaklaşım, yeni bilgileri modelin genel bilgi birikimine eklemeyi ve önceki becerilerini korumayı hedefliyor.

Bugün bir dil modeline sunulan belge, çoğunlukla o oturumun bağlamında işe yarıyor. Sohbet sona erdiğinde bilgi kaybolabiliyor veya kullanıcıya özel bir bellek kaydı olarak tutulabiliyor. Bu, modelin genel parametrelerinin söz konusu bilgiyle kendiliğinden güncellendiği anlamına gelmiyor. Kalıcı değişiklik için yeniden eğitim ya da ince ayar gerekebiliyor. Ancak modeli yeni verilerle eğitirken daha önce öğrendiklerini kaybetmesi de mümkün. Makine öğreniminde “yıkıcı unutma” olarak bilinen bu sorun, sistemlerin zaman içinde yeni bilgiler edinmesini zorlaştırıyor.

Öğrenme ve pekiştirme ayrı zamanlarda gerçekleşiyor

Önerilen sistemde modelin işleyişi “uyanık” ve “uyku” olarak iki aşamaya ayrılıyor. Uyanık aşamada model kullanıcılarla etkileşim kuruyor ve karşılaştığı yeni bilgileri kısa süreli belleğinde tutuyor. Bu aşamada geçici olarak edinilen içerik doğrudan modelin kalıcı parametrelerine eklenmiyor.

Belirli aralıklarla başlayan uyku aşamasında ise model yeni girdiler almıyor; işlem kaynaklarını eldeki bilgileri düzenlemeye ayırıyor. Bu bölüm kendi içinde hafıza pekiştirme ve rüya görme olarak iki farklı işlev taşıyor. Pekiştirme sırasında kısa süreli bellekteki bilgiler kalıcı modele aktarılmaya çalışılıyor. Rüya bölümündeyse model, üretilmiş sentetik örneklerle alıştırma yapıyor.

Google’ın yaklaşımı, modelin mevcut yapısını baştan değiştirmek yerine ona yeni öğrenme kapasitesi eklemeyi amaçlıyor. Bu amaçla Mixture of Experts (MoE) mimarisinden yararlanılıyor. MoE sistemlerinde her görev için modelin bütün bileşenleri değil, ilgili uzman modüller devreye giriyor. Öneride uyku sırasında düşük dereceli yeni uzman modüller eklenmesi, yeni bilgilerin mevcut parametreleri bozma riskini azaltmayı hedefliyor.

Bilgiyi aktarmak ve anlamı korumak

Kalıcı öğrenme aşamasında kısa süreli bellekteki içerik, “Knowledge Seeding” adı verilen bir yöntemle daha geniş kapasiteli modele aktarılıyor. Sistemde ayrıca Genel Bilgi Damıtma ve pekiştirmeli öğrenmeye dayalı taklit öğrenimi kullanılıyor. Bu bileşenler, geçici olarak edinilmiş bilgilerin modelin daha kalıcı bilgi yapısına taşınmasına yardımcı olmayı amaçlıyor.

“Learning to Imitate” (LTI) yöntemi de modelin ürettiği metni bir öğretmen modelin yanıtlarıyla karşılaştırıyor. Karşılaştırmada yalnızca kelimelerin benzerliğine bakılmıyor; anlamın korunması ve Levenshtein mesafesi de hesaba katılıyor. Levenshtein mesafesi, bir metni diğerine dönüştürmek için gereken karakter ya da işlem sayısını ölçüyor. Bu ölçüm, metinler arasındaki yüzeysel farkları değerlendirmek için kullanılabiliyor; sistemin anlamsal karşılaştırmasıyla birlikte ele alınması ise öğrenme hedefini yalnızca aynı kelimeleri üretmenin ötesine taşıyor.

Uyku sürecinin sonunda sinaptik budama uygulanarak geçici bellek temizleniyor. Böylece modelin yeni döneme kısa süreli kayıtlarla değil, pekiştirilmesi hedeflenen bilgilerle devam etmesi amaçlanıyor. Rüya aşaması da modelin kendi oluşturduğu sentetik verilerle denemeler yapmasına olanak tanıyor. İnsan beyninin REM uykusunda yeni bağlantılar kurmasından esinlenen bu bölüm, öğrenilen içeriklerin farklı örneklerle çalışılmasını hedefliyor.

Yöntemin önemi ve sınırları

Bu yaklaşımın çözmeye çalıştığı temel mesele, yapay zekânın yalnızca konuşma sırasında bilgi kullanması değil, zaman içinde birikimli biçimde öğrenebilmesi. Mevcut modellerde her yeni bilgiyi kalıcılaştırmak için yeniden eğitim gerekmesi hem süreci zorlaştırıyor hem de önceki bilgilerin kaybolması riskini doğuruyor. Öğrenmeyi ayrı bir uyku aşamasına taşıma fikri, bu iki soruna aynı sistem içinde yanıt arıyor.

Ancak önerilen yöntem, modellerin artık unutmayacağı ya da her bilgiyi otomatik olarak doğru biçimde kalıcılaştıracağı anlamına gelmiyor. Paylaşılan bilgiler, araştırmacıların geliştirdiği yaklaşımın nasıl çalışmasının planlandığını anlatıyor; sistemin yaygın biçimde kullanıma sunulduğunu veya mevcut sohbet botlarına eklendiğini göstermiyor. Yöntemin gerçek dünyadaki başarısı, yeni bilgileri ne kadar iyi aktarabildiğine ve mevcut becerileri ne ölçüde koruyabildiğine bağlı olacak.

Yapay zekâ sistemlerinin sürekli güncel bilgi edinmesi isteniyorsa, yalnızca daha fazla veriyle yeniden eğitim yapmak yeterli olmayabilir. Google’ın uyku benzetmesi, öğrenmeyi çalışma zamanından ayırarak modelin bilgiyi düzenlemesine odaklanan farklı bir araştırma yönü sunuyor. Bu fikrin uygulamada ne kadar verimli olacağı ve yıkıcı unutmayı ne ölçüde azaltacağı ise yöntemin sınanmasına bağlı.