Vercel agent-desktop, yapay zekâ ajanlarını masaüstüne taşıyor

Yapay zekâ ajanları artık yalnızca metin üretmek veya kod yazmakla sınırlı kalmıyor. Vercel Labs’in açık kaynaklı agent-desktop aracı, bu ajanların bilgisayardaki masaüstü uygulamalarında işlem yapabilmesine imkân tanıyor. macOS, Windows ve Linux için geliştirilen araç; Notlar, Finder, Ayarlar ya da Slack gibi uygulamalarda menüleri açma, düğmelere basma ve metin yazma gibi görevleri yerine getirebiliyor.

agent-desktop, Claude Code ve Codex gibi kodlama ajanlarına bilgisayarı kullanma yeteneği kazandıran bir komut satırı aracı. Kendi başına yapay zekâ modeli içermiyor; ne yapılacağına karar verme işini onu çalıştıran ajana bırakıyor. Bu ayrım, aracı farklı komut satırı üzerinden işlem yapabilen ajanlarla birlikte kullanmayı mümkün kılıyor.

Ekran görüntüsü yerine erişilebilirlik verisi

Masaüstü otomasyonunda sık kullanılan yöntemlerden biri, ekran görüntüsünü analiz ederek düğmelerin yerini tahmin etmek. agent-desktop ise arayüzü işletim sisteminin erişilebilirlik altyapısı üzerinden okuyor. macOS’ta AX API, Windows’ta UI Automation, Linux’ta ise AT-SPI bu amaçla kullanılıyor.

Araç, uygulamanın arayüz öğelerini JSON biçiminde ajana aktarıyor ve etkileşime açık öğelere kimlik veriyor. Ajan, ekrandaki bir kontrolü pikseller üzerinden bulmaya çalışmak yerine bu kimliği kullanarak işlem yapabiliyor. Sonrasında arayüzü yeniden okuyup işlemin gerçekleşip gerçekleşmediğini kontrol ediyor. Bu yaklaşım, arayüz değişikliklerine karşı daha tutarlı çalışmayı ve gerekli olduğunda bir işlemi güvenli biçimde yeniden denemeyi hedefliyor.

Buradaki doğrulama adımı, masaüstü otomasyonunun pratikteki temel sorunlarından birine yanıt veriyor: Bir düğmeye tıklamak tek başına istenen sonucun ortaya çıktığını göstermeyebilir. Uygulamanın yeni durumu tekrar incelendiğinde ajan, yaptığı işlemin karşılığını görüp sonraki adımını buna göre belirleyebiliyor. Böylece araç yalnızca komutları uygulamakla kalmıyor, arayüzdeki sonucu da ajana geri sunuyor.

Ajan çalışırken bilgisayar kullanılabiliyor

agent-desktop varsayılan olarak görünmez, yani headless modda çalışıyor. Bu kullanımda işlemler erişilebilirlik arayüzü üzerinden yürütüldüğü için fiziksel fare imleci hareket etmiyor ve açık pencerenin odağı değişmiyor. Kullanıcı, ajan bir uygulamada görevini sürdürürken bilgisayarda başka işlere devam edebiliyor.

Bununla birlikte her masaüstü işlemi yalnızca arayüz verisiyle tamamlanamayabilir. Sürükle-bırak gibi gerçek fare veya klavye girdisi gerektiren işler için headed modun ayrıca etkinleştirilmesi gerekiyor. Dolayısıyla aracın arka planda çalışma becerisi, desteklenen etkileşim türlerine bağlı; fiziksel girdi gerektiren durumlar farklı bir kullanım biçimi istiyor.

Birden fazla ajan aynı anda çalıştırıldığında her birine ekranda farklı renkte bir gösterge imleci atanabiliyor. Bu imleçler, hangi ajanın arayüzün neresinde çalıştığını görmeyi sağlıyor; fiziksel fare imlecinin yerini almıyor. Ajanların göstergeleri eş zamanlı hareket edebilse de işletim sisteminin tek fiziksel imlecini kullanan işlemler sırayla yürütülüyor. Çoklu ajan görünümü macOS, Windows ve Linux’un X11 ortamında destekleniyor.

Açık kaynaklı bir masaüstü otomasyon aracı

agent-desktop’ı geliştiren Vercel Labs ekibinden Chris Tate, aracı 31 Ekim 2026’da duyurdu. Tate, daha önce tarayıcı otomasyonuna odaklanan agent-browser aracını geliştirmişti. agent-desktop da benzer fikri tarayıcı sınırlarının dışına çıkararak bilgisayardaki yerel uygulamalara taşıyor.

Bu tür bir aracın önemi, ajanların masaüstü yazılımlarıyla etkileşimini ekran görüntüsü ve koordinat tahminine daha az bağımlı hâle getirme hedefinde yatıyor. Uygulamaların erişilebilirlik bilgilerini kullanmak, arayüz öğelerini tanımlamak ve işlem sonrasındaki durumu doğrulamak otomasyonu daha denetlenebilir kılabilir. Ancak aracın sunduğu olanaklar, kullanılan işletim sisteminin erişilebilirlik desteğine ve ilgili uygulamanın arayüz bilgilerinin ne ölçüde erişilebilir olduğuna bağlı.

Açık kaynaklı yapısı, geliştiricilerin aracı inceleyip kendi ajan iş akışlarına uyarlamasına olanak tanıyor. agent-desktop böylece yapay zekâ ajanlarının masaüstünde işlem yapmasını sağlayan bir model ortaya koyuyor: Kararı ajan veriyor, uygulama arayüzünü okuma ve etkileşim kurma görevini ise ayrı bir araç üstleniyor.