Microsoft, canlı yayında konuşma ve yüzü değiştiren AI patentledi

Microsoft’un patent başvurusu, canlı yayınlarda konuşmayı yapay zekâyla değiştirme fikrini ses düzenlemenin ötesine taşıyor. Tarif edilen sistem, konuşmadaki sözcükleri silebiliyor veya yenileriyle değiştirebiliyor. Ardından konuşmacının dudak hareketlerini ve yüz ifadesini düzenlenen içeriğe göre yeniden oluşturmayı amaçlıyor.

Buradaki temel hedef, düzenlemenin yayın akışı sürerken yapılması ve izleyicinin değişikliği fark etmemesi. Tek bir kelime değiştiğinde bile konuşmacının dudak hareketleri sesle uyuşmayabilir. Patentteki yaklaşım, yalnızca ilgili sözcüğü değil, değişikliğin öncesi ve sonrasındaki ses ve görüntüyü de uyumlu hâle getirmeyi öngörüyor.

Konuşma, kullanıcı tercihlerine göre düzenlenebilecek

Patent tarifine göre sistem, belirli kelime ve ifadeleri önceden tanımlanmış kurallarla ya da kullanıcı profilleri üzerinden belirleyebilecek. Seçilen içerik silinebilecek veya başka ifadelerle değiştirilebilecek. Sözcükleri belirleme sürecinde internet aramasından da yararlanılması planlanıyor; dolayısıyla müdahale yalnızca önceden hazırlanmış sabit bir listeyle sınırlı olmayabilir.

Başvuruda öne çıkan kullanım alanlarından biri, canlı yayınları izleyicinin tercih ettiği dile çevirmek. Sistem ayrıca konuşmadaki dolgu sözcüklerini ayıklayabilecek ve kekemelik gibi konuşma özelliklerini düzeltebilecek şekilde tasarlanıyor. Yanlış telaffuz edilen veya yanlış kullanılan sözcüklerin değiştirilmesi de olası işlevler arasında.

Patentte, yerel deyimlerin ve gündelik konuşma kalıplarının kaldırılması ile hakaret ya da uygunsuz bulunan ifadelerin silinmesi gibi seçenekler de anlatılıyor. Bu özellikler, teknolojinin yalnızca erişilebilirlik ve çeviri amacıyla değil, içeriğin nasıl sunulacağını kişiselleştirmek için de kullanılabileceğini gösteriyor. Aynı yayını izleyen kişiler, tercihleri farklıysa farklı ifadeler duyabilir.

Bu kişiselleştirme, özellikle konuşmacının tercih etmediği sözcükleri filtrelemek veya izleyicinin anlayacağı bir dilde yayın sunmak açısından fayda sağlayabilir. Öte yandan düzenleme yayının kendisine uygulandığında, bir kişinin duyduğu içerik başka bir izleyicininkinden farklılaşabilir. Bu ayrım, haber ve kamusal etkinlik yayınlarında izleyicinin ne söylendiğini doğru değerlendirmesi bakımından önem kazanıyor.

Yayınlardan spor karşılaşmalarına kadar geniş kullanım alanı

Microsoft’un başvurusunda sistemin derslerde, sunumlarda, televizyon programlarında, törenlerde, şovlarda ve spor yayınlarında kullanılabileceği belirtiliyor. Canlı çeviri, farklı dilleri konuşan izleyicilerin yayını takip etmesini kolaylaştırabilir. Dolgu sözcüklerinin temizlenmesi veya belirli ifadelerin değiştirilmesi de izleme deneyimini kişiye göre şekillendirebilir.

Ancak sesle birlikte yüzün de değiştirilmesi, düzenlenmiş içeriğin gerçek görüntüden ayırt edilmesini zorlaştırabilir. Patent, özgün ses ve videonun referans kayıt olarak korunmasını da öngörüyor. Orijinal kaydın saklanması, düzenlenmiş sürümle karşılaştırma yapmaya yardımcı olabilir; fakat bu tek başına değiştirilmiş kayıtların başka yerlerde gerçek yayın gibi paylaşılmasını engellemez.

Bu nedenle teknolojinin olası yararları kadar, düzenleme bilgisinin izleyiciye nasıl aktarılacağı da önem taşıyor. Özellikle konuşmacının söylemediği sözlerin görüntü ve sesle uyumlu biçimde sunulabilmesi, bağlamın yanlış anlaşılması riskini beraberinde getirebilir. Patentte özgün kaydın korunması yer alsa da izleyicilerin hangi sürümü izlediğini nasıl anlayacağına ilişkin ayrıntılar paylaşılmıyor.

Konuşmacının dudak hareketlerinin düzenlenen sesle eşleştirilmesi, bu sistemi sıradan bir altyazı veya ses filtresinden ayırıyor. İzleyici, yalnızca farklı bir ses duymak yerine yeni ifadeyle eşleşen bir görüntü de görebilir. Dolayısıyla düzenleme izleyici deneyimini daha akıcı hâle getirebilirken, kaynağın doğrulanmasını da güçleştirebilir. Özgün kayda erişim ve değişikliklerin açıkça belirtilmesi, böyle bir teknoloji kullanıma sunulursa güven açısından belirleyici olabilir.

Şimdilik patent başvurusu aşamasında

Başvuru, Microsoft’un bu sistemi ticari bir ürüne dönüştürdüğü anlamına gelmiyor. Şirket, teknolojinin kullanıma sunulacağına ilişkin bir ürün bilgisi veya takvim paylaşmış değil. Patentlerde anlatılan fikirlerin tümü hayata geçirilmediği için, sistemin mevcut yayın hizmetlerine ne zaman ya da hangi biçimde ulaşacağı şu aşamada belirsiz.

Yine de başvuru, canlı içeriklerin yapay zekâyla kişiye göre uyarlanmasına yönelik yaklaşımı ortaya koyuyor: Değişiklik yalnızca altyazıda veya ses kanalında kalmıyor, konuşmacının görüntüsüne de yansıtılıyor. Böyle bir sistem devreye girerse çeviri ve içerik filtreleme gibi işlevlerin yanında, özgün kayıt ile düzenlenmiş sürüm arasındaki ayrımın korunması da belirleyici olacak.