PrismML, Qualcomm akıllı gözlükler için 1-bit LLM geliştirdi

Yapay zekâ araştırma laboratuvarı PrismML, Qualcomm’un Snapdragon çiplerini kullanan akıllı gözlükler için özel bir küçük dil modeli geliştirdi. Şirketin hazırladığı 1-bit Bonsai LLM, Snapdragon AR1 Gen 1 Platformu üzerine kurulu cihazlarda yerel olarak çalışabilecek şekilde tasarlandı. Modelin temel amacı, akıllı gözlüklerin bulut sunucularına sürekli ihtiyaç duymadan yapay zekâ destekli işlevler sunabilmesi.

Modelin tanıtımı, Qualcomm’un Snapdragon Summit etkinliğinde yapıldı. Ancak PrismML teknolojisini kullanan belirli bir akıllı gözlük henüz duyurulmadı. Bu nedenle gösterim, şu aşamada doğrudan satışa çıkacak bir üründen çok, Qualcomm donanımı üzerinde çalışabilecek yapay zekâ altyapısına işaret ediyor. Kullanıcıların bu modeli içeren bir ürüne ne zaman ulaşabileceği konusunda da açıklama yapılmadı.

Görüntü ve dili cihaz üzerinde işliyor

Akıllı gözlükler için hazırlanan sürüm, 2 milyar parametreli bir model olarak geliştirildi. PrismML, modeli görüntü ve dili birlikte değerlendirecek şekilde ayarladı. Böylece kullanıcıların gözlüğün kameralarıyla gördükleri nesneler veya ortam hakkında gerçek zamanlı sorular sorması hedefleniyor. Gözlük, çevresindeki görüntüyü analiz ederek soruyla bağlantılı bir yanıt üretmeye çalışabilecek.

Bu yapı, akıllı gözlüklerde yapay zekâ kullanımının yalnızca sesli komutlarla sınırlı kalmamasını amaçlıyor. Kamera tarafından alınan görüntü ile kullanıcının doğal dildeki sorusu aynı işlem akışında değerlendirilebiliyor. Yine de PrismML’nin tanıtımında hangi görevlerin ne kadar hızlı gerçekleştirildiği, modelin hangi görüntü formatlarını desteklediği veya günlük kullanım senaryolarındaki doğruluk oranı paylaşılmadı.

Modelin 1-bit yapısı, yapay zekâ hesaplamalarının cihaz üzerinde yürütülmesini kolaylaştırmayı amaçlıyor. Yerel çalışma yaklaşımında verilerin sürekli olarak uzak sunuculara gönderilmesine duyulan ihtiyaç azalabiliyor. Bu durum, bağlantının zayıf olduğu ortamlarda daha istikrarlı kullanım ve verilerin cihaz dışına çıkarılmadığı senaryolar açısından değerlendirilebilir. Bununla birlikte PrismML’nin tanıtımında belirli bir gözlük modelinin teknik özellikleri, pil süresi veya gerçek kullanım performansı paylaşılmadı.

Büyük modelleri küçültme yaklaşımı

PrismML’nin öne çıkan iddiası, daha büyük yapay zekâ modellerini önemli ölçüde küçültürken performansın büyük bölümünü koruyabilmesi. Şirket, Bonsai model ailesiyle daha büyük modelleri yaklaşık dört kat küçülttüğünü ve standart kıyaslamalarda performansın neredeyse tamamını koruduğunu belirtiyor. Bu ifade, laboratuvarın model boyutunu azaltırken yetenek kaybını sınırlamaya odaklandığını gösteriyor.

Bu yaklaşım, sınırlı işlem gücüne ve enerji kapasitesine sahip cihazlar açısından önem taşıyor. Akıllı gözlükler, masaüstü bilgisayarlar veya veri merkezleri kadar güçlü donanımlara ve geniş soğutma imkânlarına sahip değil. Ayrıca gözlüklerin hafif ve küçük tasarlanması gerektiği için işlemci, bellek ve pil kapasitesi konusunda fiziksel kısıtlar bulunuyor. Model boyutunu azaltmak, cihaz üzerinde yapay zekâ özellikleri sunarken donanım kaynaklarını daha verimli kullanmaya yardımcı olabilir.

Qualcomm için hazırlanan sürümün Snapdragon AR1 Gen 1 Platformu’na uyarlanması, küçük dil modellerinin giyilebilir cihazlara taşınması açısından pratik bir örnek oluşturuyor. Qualcomm’un platformu, akıllı gözlüklerde kullanılmak üzere geliştirildiği için PrismML’nin modeli doğrudan bu donanım ailesine göre hazırlanmış durumda. Bu uyarlamanın, üreticilerin farklı bir işlem platformu için baştan optimizasyon yapma ihtiyacını azaltıp azaltmayacağı ise henüz bilinmiyor.

PrismML’nin açık ağırlık hedefi

Caltech araştırmacıları tarafından kurulan PrismML’ye UC Berkeley’den Ion Stoica danışmanlık yapıyor. Laboratuvarın daha geniş hedefi, cihazlar üzerinde çalışabilen açık ağırlıklı yapay zekâ modelleri geliştirmek. Şirket, bu modellerin cihazlarda bulunan işlem gücünden daha fazla yararlanabileceğini savunuyor. Açık ağırlık yaklaşımı, geliştiricilerin modeli farklı donanımlara ve uygulamalara uyarlamasını kolaylaştırmayı hedefliyor.

Bu vizyon, yapay zekâ uygulamalarının yalnızca özel ve kapalı sistemlere bağlı kalmaması fikrine dayanıyor. PrismML, cihaz üzerinde çalışan modellerin gizlilik açısından da farklı bir yaklaşım sunabileceğini düşünüyor. Görüntülerin ve soruların uzak sunuculara gönderilmeden işlenebilmesi, özellikle kamerayla sürekli çevreyi algılayan giyilebilir ürünler bakımından değerlendirilebilir. Ancak bu avantajların gerçek kullanımda ne ölçüde ortaya çıkacağı; kullanılacak gözlüğe, modelin donanım optimizasyonuna ve uygulamanın veri işleme biçimine bağlı olacak.

Şimdilik ortada PrismML modeliyle satışa sunulmuş bir akıllı gözlük bulunmuyor. Qualcomm etkinliğindeki gösterim, teknolojinin Snapdragon tabanlı giyilebilir cihazlarda kullanılabileceğini ortaya koydu. Şirketin modelini hangi üreticilerin ürünlerine taşıyacağı ve kullanıcıların bu özelliklere ne zaman erişeceği ise açıklanmış değil. Bu nedenle tanıtımı, hazır bir tüketici ürününden ziyade cihaz üzerinde yapay zekâ çalıştırmaya yönelik teknik bir gösterim olarak değerlendirmek gerekiyor.