OpenAI’nin Decisions API modeli tüm kullanıcılara açıldı

OpenAI, karar verme odaklı yapay zekâ modeli Decisions API’yi tüm müşterilerin kullanımına açtı. Şirketin geliştirici etkinliğinde 29 Eylül’de duyurduğu API, artık yalnızca ilk denemelere katılan kuruluşlarla sınırlı değil. OpenAI, ürünü hızlı ve düşük maliyetli çıkarım gerektiren işler için konumlandırıyor.

Karar modelleri, kullanıcıya uzun yanıtlar üretmek yerine sunulan seçenekler arasından hızlıca seçim yapmaya ve kararına ilişkin güven düzeyi vermeye odaklanıyor. Bu yaklaşım, özellikle her adımda kapsamlı bir metin yanıtına ihtiyaç duymayan yazılım iş akışlarında büyük dil modellerine alternatif oluşturabiliyor. OpenAI’nin hamlesi, TypeSafe’in Jev modeliyle görünür hâle gelen bu alandaki rekabetin de büyüdüğünü gösteriyor.

Büyük dil modelinden daha hızlı yanıt hedefi

OpenAI, Decisions API için baştan özel olarak eğitilmiş ayrı bir karar modeli geliştirmek yerine, ChatGPT’de kullanılan Luna modelini hız ve maliyet açısından yeniden düzenledi. OpenAI API ürün lideri Nikunj Handa’nın aktardığına göre ekip, Jev’in ortaya çıkmasının ardından benzer bir ürüne yönelik çok sayıda kullanım alanı olabileceğini değerlendirdi. Şirket, ilk aşamada mevcut modelin çıkarım sürecini hızlandırmaya odaklandı.

OpenAI’nin paylaştığı ölçümlere göre API’de yanıt süresi, bir ila üç saniye aralığından 100 ila 180 milisaniye seviyelerine indirilebiliyor. Şirket, farklı bölgelerde gecikmeyi azaltmak için çıkarım kaynaklarını coğrafi olarak hedeflediğini de belirtiyor. Kamuya açılan sürümde ses ve görsel girdilere yönelik özellikler de bulunuyor.

Bu hız farkı, modelin hangi tür işlerde tercih edilebileceğini doğrudan etkiliyor. Bir uygulama sürekli küçük kararlar alıyorsa, her işlem için daha yavaş ve yüksek maliyetli bir büyük dil modeline başvurmak gereksiz olabilir. Karar modelleri bu tür adımları daha kısa sürede tamamlayarak uygulamanın genel yanıt hızını artırmayı amaçlıyor. Ancak hangi modelin daha uygun olduğu, kullanılan iş yüküne ve hız, maliyet, doğruluk ile güven kalibrasyonu arasındaki tercihlere bağlı.

İlk denemelerde uygulama hızları arttı

Box, Datadog, Ramp ve Speak gibi şirketler API’yi ilk aşamada deneyenler arasında yer aldı. Bu denemelerde mühendisler, bazı kullanım senaryolarında OpenAI’nin büyük dil modellerini Decisions API ile değiştirdi. Speak’in teknoloji yöneticisi Andrew Hsu, şirketin yapay zekâ destekli dil öğretmeni uygulamasında eylemler arasındaki sürenin 1,4 saniyeden 0,13 saniyeye indiğini bildirdi.

OpenAI de kendi Dots sesli asistanının yanıt verme hızını iyileştirmek için üründen yararlandı. Sesli asistanlar ve gerçek zamanlı uygulamalar, gecikmenin kullanıcı deneyimini doğrudan etkilediği alanlar arasında. Bu nedenle düşük yanıt süresi, karar modellerinin yalnızca maliyet tasarrufu değil, daha akıcı etkileşimler için de değerlendirilmesini sağlayabilir.

Yine de bir karar modelini değerlendirmenin herkes için geçerli tek bir ölçütü yok. Bir uygulama en düşük gecikmeyi isterken başka bir iş akışı daha yüksek doğruluk ya da tutarlı güven puanlarına öncelik verebilir. TypeSafe’in CEO’su Diogo Almeida da genel kıyaslamalara temkinli yaklaşarak modellerin gerçek kullanım senaryolarında denenmesini öneriyor. TypeSafe’in geçen hafta yayımladığı Jev sıralamaları, şirketin kendi ürünlerini de ölçüm tablolarına dahil ettiğini gösteriyor.

Rekabet büyüyor, sonuçlar ölçüte göre değişiyor

Karar modelleri için yayımlanan kıyaslamalarda tek bir model bütün ölçütlerde öne çıkmıyor. AIM System One Index ve Artificial Analysis Decision Index sonuçları, Liquid’in D1 Ultra modeli ile Base Lab’in Elephant-1 modelini üst sıralarda gösteriyor. Jev’in son sürümü bu listelerde sırasıyla yedinci ve üçüncü sırada yer alırken, OpenAI’nin karar modeli aynı endekslerde sekizinci ve on dördüncü sırada bulunuyor. Buna karşın Jev, OpenRouter üzerinden en fazla sorgulanan seçenek olarak öne çıkıyor.

Karar modellerini Pac-Man oynatarak değerlendiren JevMan testi de farklı bir kıyaslama sunuyor. Bu testte Jev’in son sürümü listenin başında. Oyunda model, sürekli değişen bir ortamda kısa sürede yön seçmek zorunda kalıyor; dolayısıyla test, hızlı ve peş peşe karar verme becerisini ölçmeyi amaçlıyor. Ancak bir oyun testindeki başarı, modelin her yazılım işinde aynı ölçüde iyi performans göstereceği anlamına gelmiyor.

OpenAI’nin API’yi geniş erişime açması, geliştiricilere hızlı karar gerektiren işler için yeni bir seçenek sunuyor. Ürünün pratik değeri ise yalnızca kıyaslama sıralamalarına değil, belirli bir uygulamada ne kadar gecikme ve maliyet azalttığına bağlı olacak. Şirket, ileride modelleri bu tür karar görevlerinde daha iyi hâle getirecek özel eğitim yöntemlerini değerlendirebileceğini belirtiyor; mevcut sürüm ise Luna’nın hızlandırılmış bir yapılandırmasını kullanıyor.