ChatGPT, Arama Motorlarının Atladığı Sayfaları Keşfediyor

İnternette bulunan her web sayfası, arama motorlarının sonuçlarında görünmüyor. Bunun temel nedenlerinden biri, geleneksel tarayıcıların yeni içerikleri çoğunlukla başka sitelerdeki bağlantıları takip ederek keşfetmesi. Bir sayfa başka bir kaynaktan bağlantı almıyorsa, içeriği kullanıcılar için faydalı olsa bile arama dizinlerinin dışında kalabiliyor.

OpenAI ve Cloudflare, bu sorunu farklı bir veri kaynağından yararlanarak aşmayı amaçlayan bir pilot proje yürütüyor. Temmuz ayında başlatılan çalışma, Cloudflare ağı üzerinden elde edilen gerçek kullanıcı trafiğine ilişkin sinyalleri kullanıyor. Bu yöntem sayesinde klasik bağlantı haritasında yer almayan yüz milyonlarca sayfanın keşfedilerek ChatGPT’nin arama dizinine eklenmesi sağlandı.

Bağlantı zinciri yerine kullanıcı trafiği izleniyor

Arama motorlarının kullandığı geleneksel tarama modeli, web sayfaları arasındaki bağlantıları temel alıyor. Tarayıcı bir sayfayı ziyaret ettikten sonra o sayfadaki bağlantıları takip ediyor ve ulaştığı yeni içerikleri dizine ekliyor. Bu yaklaşım, bağlantı almayan veya yalnızca sınırlı bir çevrede paylaşılan sayfaların gözden kaçmasına yol açabiliyor.

Cloudflare ve OpenAI’ın pilot uygulamasıysa bir sayfanın kullanıcılar tarafından gerçekten ziyaret edilip edilmediğine ilişkin trafik örüntülerinden yararlanıyor. Örneğin bir çamaşır makinesinin kullanım kılavuzu, küçük bir işletmenin menüsü ya da yerel bir hizmete ait bilgi sayfası başka sitelerden bağlantı almadan da kullanıcılar tarafından ziyaret edilebiliyor. Trafik sinyallerinin izlenmesi, bu tür içeriklerin keşfedilmesine yardımcı olabiliyor.

Buradaki yaklaşım, kullanıcıların ziyaret ettiği her sayfanın otomatik olarak güvenilir veya faydalı kabul edildiği anlamına gelmiyor. Trafik verisi, içerik keşfi için ek bir sinyal olarak kullanılıyor. Arama sonuçlarına dahil edilme ve sıralama gibi süreçlerin hangi ölçütlerle yürütüldüğüne ilişkin tüm teknik ayrıntılar paylaşılmış değil.

Tek bir sorunlu sayfa tüm alan adını etkilemeyebilir

Web sitelerinin değerlendirilmesinde sayfa düzeyindeki ayrım da önem taşıyor. Bir alan adındaki tek bir sayfanın güvenlik sorunu barındırması, aynı sitedeki bütün içeriklerin zararlı olduğu anlamına gelmiyor. Sayfaların ayrı ayrı ele alınması, sorunlu içeriğin diğer bölümlerden ayrılmasına ve sitenin geri kalanının arama görünürlüğünü korumasına yardımcı olabilir.

Ancak bu ayrımın pilot proje içinde tam olarak nasıl uygulandığı henüz net değil. Bu nedenle Cloudflare ağındaki trafik sinyallerinin güvenlik kontrolleriyle nasıl birleştirildiği konusunda kesin bir teknik değerlendirme yapmak mümkün değil. Projenin kapsamı genişledikçe, içerik kalitesi ve kötüye kullanım risklerine ilişkin daha fazla ayrıntının ortaya çıkması beklenebilir.

Tarama kaynakları daha verimli kullanılabilir

Otomatik tarayıcılar zaman zaman artık bulunmayan sayfalara, yinelenen içeriklere veya güncelliğini yitirmiş adreslere istek gönderebiliyor. Bu istekler, hem tarayıcı kaynaklarının hem de web sitelerinin sunucu kapasitesinin gereksiz kullanılmasına yol açabiliyor.

Kullanıcı trafiğinden elde edilen örüntüler, gerçekten ziyaret edilen sayfalarla artık işlevsiz olan içeriklerin ayırt edilmesine katkı sağlayabilir. Böylece tarama kaynaklarının daha anlamlı içeriklere yönlendirilmesi mümkün olabilir. Yine de bu yaklaşımın ne ölçüde kaynak tasarrufu sağladığına ilişkin açıklanmış bir ölçüm bulunmuyor.

Projenin yayıncılar açısından en önemli sonucu, daha önce keşfedilemeyen içeriklerin ChatGPT üzerinden bulunabilmesi olabilir. Fakat bir sayfanın arama dizinine eklenmesi, otomatik olarak daha fazla ziyaretçi alacağı anlamına gelmiyor. Bunun için ChatGPT’den web sitelerine yönlendirilen trafik, kullanıcıların sonuçlara tıklama oranı ve ziyaretlerin niteliği gibi göstergelerin izlenmesi gerekecek.

Site sahiplerinin yapay zekâ tarayıcılarının içeriklerine erişimini yönetebilmesi de bu süreçte belirleyici olacak. Yeni keşif yöntemi, arama ekosistemindeki görünürlüğü artırma potansiyeli taşısa da yayıncıların hangi içeriklerin taranacağı ve nasıl kullanılacağı üzerindeki kontrolü projenin ilerleyen aşamalarında daha fazla tartışılacak.