Ollama, Mac’te yerel metinden sese üretimini başlattı

Yerel yapay zekâ modellerini çalıştırmaya yarayan Ollama, Mac uygulamasına metinden sese üretimi ekledi. Kullanıcılar uyumlu bir modeli bilgisayarlarına indirerek metni konuşmaya dönüştürebiliyor. Platformun bu alandaki ilk desteği, Gradium tarafından geliştirilen Phonon model ailesiyle sunuluyor.

Özelliğin öne çıkan yanlarından biri, konuşmanın yanıt tamamlandıktan sonra değil, üretim sürerken aktarılabilmesi. Böylece kullanıcılar yapay zekânın oluşturduğu metni beklemeden dinlemeye başlayabiliyor. Ollama’nın yerel çalışma yaklaşımı da ses üretimini, desteklenen donanımlarda internet bağlantısına ihtiyaç duymadan kullanma olanağı sağlıyor.

Phonon modelleri beş dili destekliyor

Phonon; İngilizce, Fransızca, Almanca, İspanyolca ve Portekizce için ayrı modeller sunuyor. Bu dillerin tamamını destekleyen çok dilli bir model seçeneği de bulunuyor. Model tercihine göre Amerikan ve Britanya İngilizcesi gibi farklı aksanlara sahip sesler arasından seçim yapılabiliyor.

Bu seçenekler, sistemi farklı dillerde sesli içerik üretmek veya bir uygulamaya konuşma çıktısı eklemek isteyenler için kullanışlı hâle getiriyor. Ancak dil ve aksan seçiminin varlığı, her sesin tüm kullanım senaryoları için aynı sonucu vereceği anlamına gelmiyor. Kullanıcıların ihtiyaçlarına uygun modeli seçmesi gerekiyor.

Ollama, Mac uygulamasında Apple’ın açık kaynaklı MLX makine öğrenimi altyapısından yararlanıyor. MLX, Apple Silicon işlemcilerdeki birleşik bellek mimarisini kullanarak desteklenen modellerin Mac üzerinde çalışmasını sağlıyor. Bu yapı, verilerin harici sunuculara gönderilmeden işlenebilmesine imkân tanıyor. Çalıştırılabilecek modellerin boyutu ve elde edilecek performans ise kullanılan Mac’in donanımına bağlı.

Performans sonuçları belirli bir Mac’e ait

Ollama’nın paylaştığı test sonuçlarına göre M5 Max işlemcili MacBook Pro’da MLX kullanan Phonon, Gradium’un kendi uygulamasından yüzde 35 daha hızlı konuşma üretti. Aynı testlerde, Hugging Face Transformers referans uygulamasıyla kelime hata oranı bakımından eşleşti.

Bu karşılaştırma, yerel çalışmanın hız konusunda potansiyelini gösterse de sonuçları tüm Mac modellerine genellemek doğru olmaz. Test belirli bir donanım ve karşılaştırma düzeniyle yapıldı; başka cihazlarda aynı hızın veya aynı doğruluk seviyesinin görülmesi garanti edilmiyor. Özellikle daha büyük modellerin performansı, bilgisayarın işlem gücü ve belleğiyle sınırlı.

Metnin üretimi sürerken sesin aktarılması da kullanım deneyimini etkileyen bir başka nokta. Kullanıcı, yanıtın tamamlanmasını beklemeden dinlemeye başlayabiliyor. Bu özellik, uzun yanıtları sesli sunan uygulamalarda bekleme süresini azaltabilir. Bununla birlikte, sesin akıcılığı ve üretim hızı kullanılan modelle donanıma göre değişebilir.

Şimdilik Apple Silicon Mac’lerle sınırlı

Ses modelleri, Ollama’nın 0.40.11 veya daha yeni sürümünü kullanan Apple Silicon Mac’lerde çalışabiliyor. Phonon modelleri Ollama üzerinden indirilebiliyor. API aracılığıyla kullanım için de talimatlar ve kod örnekleri sunuluyor. Windows ve Linux desteğinin ilerleyen dönemde gelmesi planlanıyor ancak bu işletim sistemleri için kesin bir takvim açıklanmadı.

Ollama daha önce ağırlıklı olarak açık metin modellerini yerel bilgisayarlarda çalıştırmak isteyenlerin kullandığı bir araçtı. Metinden sese desteği, kullanım alanını sesli yanıt üretimine ve geliştiricilerin uygulamalarına konuşma özelliği eklemesine doğru genişletiyor. API erişimi, Phonon’u yalnızca Ollama uygulamasında denemek isteyenlere değil, kendi yazılımlarında yerel ses üretimini değerlendiren geliştiricilere de açıyor.

Yerel işlem, özellikle içeriğin harici sunuculara gönderilmesinin istenmediği durumlarda avantaj sağlayabilir. Buna karşılık, bu yaklaşımın kullanılabilirliği cihazın donanımına ve Ollama’nın desteklediği platformlara bağlı. Şu aşamada Windows ve Linux kullanıcıları özelliği kullanamıyor; Mac tarafında da destek Apple Silicon işlemcili cihazlarla sınırlı. Dolayısıyla Phonon, Ollama’nın ses üretimine geçişini başlatsa da geniş çaplı kullanım için işletim sistemi desteğinin ve donanım uyumluluğunun belirleyici olduğu bir seçenek olarak öne çıkıyor.