Gemini 4 Argon, Android kodlama testinde beşinci oldu

Google’ın Android uygulama geliştirmede yapay zekâ modellerinin performansını karşılaştıran Android Bench listesi güncellendi. Sonuçlarda Google’ın Gemini 4 Argon modeli beşinci sırada yer aldı. Claude Sonnet 5.5 listenin zirvesine çıkarken OpenAI’ın GPT-6.1 Sol modeli daha düşük ortalama maliyetiyle öne çıktı.

Android Bench, modelleri Android geliştirmeye yönelik kodlama görevlerinde değerlendiriyor. Bu nedenle sıralama, genel kod yazma becerisinden fazlasını ölçmeyi amaçlıyor: Android’e özgü işlerde doğru çözümler üretmek ve görevleri tamamlamak da değerlendirmeye dâhil. Geliştiriciler sonuçları, bir modeli projelerinde kullanıp kullanmamaya karar verirken karşılaştırma noktası olarak inceleyebilir.

Claude Sonnet 5.5 zirvede, GPT-6.1 Sol daha ucuz

26 Ekim’de yayımlanan güncellemede GPT-6 Sol, GPT-6.1 Sol, Claude Sonnet 5, Claude Sonnet 5.5 ve Gemini 4 Argon için sonuçlar paylaşıldı. Liste, modellerin kullandığı akıl yürütme seviyesini ve ortalama maliyetini de gösteriyor. Böylece değerlendirme yalnızca performans sırasından ibaret kalmıyor; kullanıcılar başarı oranlarını maliyet bilgileriyle birlikte ele alabiliyor.

İlk sıradaki Claude Sonnet 5.5 testlerde yüzde 40 başarı ve yüzde 80,9 tamamlama oranına ulaştı. Listenin ikinci sırasında, ekim ayının başlarında eklenen Claude Opus 5.5 bulunuyor. Başarı oranı, modelin değerlendirmede başarılı kabul edilen çözümleri ne ölçüde ürettiğini gösterirken tamamlama oranı görevlerin tamamlanma durumunu yansıtıyor. Bu iki ölçüt, modellerin sonuçlarını farklı açılardan değerlendirmeye yardımcı oluyor.

GPT-6.1 Sol yüzde 29,3 başarı ve yüzde 82,8 tamamlama oranı elde etti. Modelin ortalama maliyeti 99,50 dolar olarak açıklandı. Claude Sonnet 5.5 için verilen ortalama maliyet ise 1.574,90 dolar. Bu veriler, GPT-6.1 Sol’un en yüksek başarı oranına sahip model olmadığını ancak karşılaştırmada daha düşük ortalama maliyet sunduğunu gösteriyor. Maliyet ve performans arasında seçim yapacak geliştiriciler için bu fark karar sürecinde dikkate alınabilir.

Yine de ortalama maliyet değerleri her proje için ödenecek tutarı veya alınacak sonucu garanti etmiyor. Gerçek kullanımda görevlerin niteliği ve seçilen model gibi etkenler sonucu değiştirebilir. Bu nedenle sıralamadaki oranları, her Android projesine doğrudan uygulanabilecek kesin performans ölçüleri olarak değerlendirmemek gerekiyor.

Gemini 4 Argon rakiplerinin gerisinde kaldı

Gemini 4 Argon, Android Bench’in güncel sıralamasında beşinci oldu ve Claude Fable 5.1’in arkasında yer aldı. Claude Fable 5.1’in başarı oranı yüzde 21,3, tamamlama oranı yüzde 81,8; ortalama maliyeti ise 267,70 dolar olarak paylaşıldı. Gemini 4 Argon’un sırası, modelin bu Android odaklı ölçümde üst sıralara çıkamadığını ortaya koyuyor.

Bu sonuç, özellikle Android uygulamaları üzerinde çalışan ekipler için model tercihinde birden fazla ölçütü birlikte değerlendirme gereğini hatırlatıyor. Bir modelin genel kodlama becerisi tek başına yeterli olmayabilir. Android’e özgü görevlerde başarılı çözümler üretmesi, işleri tamamlayabilmesi ve maliyetinin kullanım amacına uyması da önem taşıyor. Android Bench’in akıl yürütme seviyesi ile maliyet bilgilerini sonuçlara eklemesi, geliştiricilerin modeller arasında daha ayrıntılı karşılaştırma yapmasına olanak veriyor.

Gemini 4 Argon’un tanıtımından sonra yayımlanan bir haberde, şirket içinden bazı kişilerin modelin belirli kodlama görevlerinde zorlandığını öne sürdüğü aktarılmış, Google ise modelin yeteneklerini savunmuştu. Android Bench’in yeni verileri, modeli Android geliştirmeye özel bir kıyaslamada diğer seçeneklerle karşılaştırıyor. Ancak bu sıralama yalnızca Android kodlama görevlerini kapsıyor; dolayısıyla modellerin farklı yazılım geliştirme alanlarındaki performansı hakkında tek başına genel bir yargı sunmuyor.