PrismML, yapay zekâ modellerini akıllı telefonlara taşıyor

Yapay zekâ modellerinin yetenekleri arttıkça ihtiyaç duyduğu donanım kaynakları da büyüyor. Büyük dil modelleri çoğunlukla güçlü sunucularda çalışırken PrismML, bu tabloyu değiştirebilecek bir sıkıştırma teknolojisi geliştiriyor. Caltech araştırmacıları tarafından kurulan girişim, akıl yürütme yeteneğine sahip modelleri bilgisayarlara ve yüksek donanımlı akıllı telefonlara sığacak boyutlara indirmeyi amaçlıyor.

Şirketin son modeli Bonsai 2 27B, Alibaba tarafından geliştirilen açık kaynaklı Qwen3.8 27B modelini 5,9 GB boyutuna sıkıştırıyor. Bu değer, orijinal modele kıyasla bellekte yaklaşık 9 ila 10 kat daha az yer anlamına geliyor. Böylece modelin yalnızca veri merkezlerinde değil, uygun donanıma sahip kişisel cihazlarda da çalıştırılması mümkün hale gelebilir.

Bonsai 2, performansın büyük bölümünü koruyor

Model sıkıştırma işlemlerinin en büyük riski, boyut küçülürken doğruluk ve akıl yürütme kabiliyetinin kaybolması. PrismML, kendi yaklaşımında bu kaybı sınırladığını belirtiyor. Bonsai 2 27B, Qwen modelinin farklı testlerdeki toplam puanlarının yüzde 98’ine ulaşıyor. Girişimin birkaç ay önce yayımladığı ilk Bonsai modeli ise aynı karşılaştırmada yüzde 95 seviyesinde kalmıştı.

PrismML’nin paylaştığı verilere göre ilk Bonsai modeli 11 milyondan fazla indirildi. Daha küçük Bonsai sürümleri de 2,6 milyonun üzerinde indirme aldı. Bu rakamlar, geliştiricilerin ve kullanıcıların cihaz üzerinde çalışan, daha az kaynak tüketen yapay zekâ modellerine ilgi gösterdiğine işaret ediyor.

Yüzde 98’lik sonuç, teknik açıdan orijinal modelle tamamen aynı performans anlamına gelmiyor. Girişimin yöneticisi Babak Hassibi de sıkıştırmanın her zaman belirli bir etki yaratabileceğini söylüyor. Ancak büyük dil modellerinin ham hâlleri de her görevde kusursuz sonuç vermiyor. Ayrıca gerçek kullanım performansını yalnızca modelin kendisi değil, modelin çalıştığı yazılım altyapısı da etkiliyor. Bu nedenle testlerdeki yüzde 2’lik farkın günlük kullanımda her zaman aynı ölçüde hissedilmesi gerekmiyor.

Model boyutu nasıl küçültülüyor?

PrismML’nin yöntemi, modellerin eğitim sırasında öğrendiği bilgileri taşıyan ağırlıklara odaklanıyor. Geleneksel yaklaşımda her ağırlık için 16 bitlik değerler kullanılıyor. Girişim ise ternary, yani üç değerli ağırlıklar olarak adlandırdığı sistemle bu değerleri +1, -1 veya 0 seçeneklerinden biriyle ifade ediyor.

Her ağırlığın daha küçük bir değerle saklanması, modelin depolama ve bellek ihtiyacını ciddi biçimde azaltıyor. Bunun sonucunda yüksek performanslı bir ekran kartı ya da sürekli internet bağlantısı gerektirmeden yerel yapay zekâ uygulamaları geliştirmek mümkün olabilir. Kullanıcı açısından bu yaklaşım, verilerin uzak sunuculara gönderilmeden cihaz üzerinde işlenebilmesi gibi avantajlar sağlayabilir. Bunun gerçekleşmesi ise yalnızca model boyutuna değil, cihazın işlemcisine, belleğine ve modeli çalıştıran yazılıma da bağlı olacak.

PrismML’nin arkasındaki ekip ve sonraki hedef

PrismML, Caltech profesörü ve sıkıştırma teknolojileri uzmanı Babak Hassibi tarafından yönetiliyor. Databricks’in kurucu ortaklarından ve Berkeley’deki Sky Computing Lab’in yöneticisi Ion Stoica da girişime danışmanlık yapıyor. Şirketin yatırımcıları arasında Khosla Ventures, Cerberus Capital ve Caltech bulunuyor. Girişim bugüne kadar 22,25 milyon dolarlık tohum yatırım aldı.

Model sıkıştırma alanında çalışan tek şirket PrismML değil. İspanya’daki Donostia International Physics Center’dan tanınan bir profesör tarafından kurulan Multiverse Computing de benzer teknoloji üzerinde çalışıyor. PrismML ise kendi yaklaşımını, sıkıştırma sonrasında performans kaybını düşük tutmasıyla ayırıyor.

Şirketin sıradaki hedefi, aynı tekniği daha büyük modellere uygulamak. Bu hedef gerçekleşirse günümüzde sunucu altyapısı gerektiren daha yetenekli yapay zekâ sistemlerinin kişisel cihazlarda çalıştırılması kolaylaşabilir. Apple ile görüşme yapıldığına ilişkin iddialar bulunsa da Hassibi bu konuda yorum yapmadı. Bu nedenle PrismML’nin teknolojisinin hangi cihaz üreticileri veya yazılım platformlarıyla kullanılacağı henüz netleşmiş değil.