Amazon, Jev benzeri açık kaynaklı karar modelini yayımladı

Amazon Web Services (AWS), yapay zekâ ajanlarının karar verme adımlarında kullanılmak üzere geliştirdiği Strands Decider 2B modelini açık kaynak olarak yayımladı. TypeSafe tarafından geliştirilen Jev’den ilham alan model, genel amaçlı büyük dil modellerinin yaptığı gibi uzun metinler üretmek yerine önceden tanımlanmış seçenekler arasından seçim yapıyor ve kararına ilişkin güven skoru sunuyor.

Strands Decider 2B’nin temel hedefi, her işlem için büyük ve maliyetli bir dil modeline başvurma ihtiyacını azaltmak. Modelin küçük yapısı, düşük gecikmeyle çalışmasına ve yerel cihazlarda kullanılabilmesine imkân tanıyor. AWS, modeli hâlihazırda erişime açtı ve tamamen açık kaynaklı olarak sunuyor.

Ajan iş akışlarında daha sınırlı ama hızlı kararlar

Yapay zekâ ajanları; müşteri hizmetleri, otomasyon ve yazılım süreçleri gibi alanlarda birden fazla adımı takip edebiliyor. Ancak bu iş akışlarının her aşamasında geniş bilgiye sahip, metin üreten bir modele ihtiyaç duyulmayabiliyor. Örneğin bir sistem, mevcut duruma göre sonraki işlemin “onayla”, “beklet” veya “insan desteğine aktar” seçeneklerinden hangisi olduğunu belirlemek isteyebilir.

Karar modelleri bu tür kapalı alanlarda çalışıyor. Seçenek havuzu önceden tanımlandığı için modelin yanıt üretmek yerine doğru seçimi yapması bekleniyor. Güven skorları da otomasyon sistemlerinin düşük güvenle verilen kararları insan kontrolüne yönlendirmesine yardımcı olabiliyor. AWS’nin öne çıkardığı kullanım alanı, bu nedenle serbest biçimli içerik üretiminden çok belirli bir iş akışındaki karar noktaları.

Strands Decider 2B, bir dil modelinin temel yeteneklerini kullanıyor ancak çıktısını metin olarak vermiyor. Modelin temelinde Qen3.5-2B bulunuyor. Bu yapı, modelin farklı dilleri anlayabilmesi ve genel bilgi yeteneğini koruyabilmesiyle hızlı ve isabetli karar verme arasında denge kurmayı gerektiriyor.

Proje, Jevbench sıralamasında kısa süreliğine zirveye çıktı

Amazon’un kıdemli mühendisi Marc Brooker, Jev modelini gördükten sonra benzer bir sistem geliştirmeye başladı. Başlangıçta kişisel bir çalışma olarak ilerleyen proje, kendi boyutundaki modellerin değerlendirildiği Jevbench sıralamasında kısa süreliğine ilk sıraya yükseldi. Bunun ardından Amazon mühendisleri modeli düzenleyerek Strands Labs çatısı altında yayımladı.

Strands Labs, yapay zekâ ajanlarının dağıtımında kullanılabilecek araçlar ve protokoller geliştiren bir kuruluş olarak faaliyet gösteriyor. Strands Decider 2B’nin bu yapıdan sunulması, Amazon’un ajan tabanlı sistemlerde yalnızca genel amaçlı dil modellerine değil, daha özel görevler için tasarlanan küçük modellere de yer verdiğini gösteriyor.

Modelin ortaya çıkışında AWS müşterilerinin ihtiyaçları da rol oynadı. Müşterilerin kullandığı ajan iş akışlarında bazı adımlar için tam özellikli bir dil modelinin yetenekleri ve maliyeti gereksiz kalabiliyor. Daha dar bir görev alanına odaklanan karar modeli, bu noktada daha düşük gecikme ve potansiyel olarak daha düşük kullanım maliyeti sunabiliyor.

Küçük karar modelleri için rekabet artıyor

TypeSafe’ın Jev modelini duyurmasının ardından benzer mimarileri kullanan çok sayıda çalışma ortaya çıktı. OpenAI de aynı hafta benzer bir teklif açıkladı. Bu tablo, geliştiricilerin büyük dil modellerine alternatif olarak daha hızlı ve görev odaklı sistemlere ilgi gösterdiğini ortaya koyuyor.

Ancak küçük bir model geliştirmek ile gerçekten güvenilir kararlar veren bir model oluşturmak aynı şey değil. Modelin seçenekler arasında doğru seçim yapması kadar, bunu farklı dillerde ve farklı bağlamlarda tutarlı biçimde gerçekleştirmesi gerekiyor. Hız kazanılırken doğruluk ve güven skorlarının kalibrasyonu bozulursa, modelin otomasyon süreçlerindeki faydası azalabilir.

TypeSafe’ın kurucusu Diogo Almeida ise piyasadaki çalışmaların henüz doğrudan bir rekabet oluşturmadığını düşünüyor. Almeida’ya göre bazı projeler, ilgi çekici bir makine öğrenimi mimarisini uygulama denemesi niteliğinde. Jev ekibi ise gelecekteki modellerini geliştirmeye odaklanıyor. Amazon’un hamlesi, karar modellerinin artık yalnızca araştırma projeleri olmaktan çıkıp bulut ve ajan altyapılarında kullanılabilecek araçlara dönüşmeye başladığını gösteriyor.