Cloudflare, AI Şirketlerinin Web Tarayıcılarını Engelleyecek

Web barındırma platformu Cloudflare, web sitelerinin içeriklerini nasıl kullandığına dair daha fazla kontrol sahibi olmasını sağlamak amacıyla, karışık amaçlı web tarayıcılarını otomatik olarak engellemeyi planlıyor. Bu tarayıcılar, hem arama motorları için web sitelerini indeksleyen hem de yapay zeka (AI) ajanı ve eğitmeni olarak işlev gören araçlar olarak biliniyor.

Cloudflare, daha önce müşterilerine AI sohbet robotları için web sitelerinden veri çekilmesini engellemeyi seçme imkanı sunmuştu. Ancak şirketin şimdi benimseyeceği yaklaşım, varsayılan olarak daha savunmacı bir duruş sergileyerek bu engellemeleri otomatik hale getiriyor.

Cloudflare CEO'su ve kurucu ortağı Matthew Prince, yaptığı açıklamada, "Artık internet trafiğinin çoğunluğunun insan dışı olduğunu göz önünde bulundurarak, sürdürülebilir bir ekosistem oluşturmak için daha ileri gitmemiz ve daha hızlı hareket etmemiz gerekiyor" dedi. Prince, Cloudflare'ın yeni araçları ve ortaklıklarının web sitesi sahiplerine daha fazla görünürlük ve ticari fırsatlar sunduğunu, bu durumun da net ve şeffaf niyetlere sahip AI şirketlerine fayda sağladığını ifade etti.

Web trafiği, geçmişte insanların bir web sitesinin reklamlarını görüntülediğini veya abonelik ücreti ödediğini gösterirken, AI modellerinin kullanıcı adına web sitelerini ziyaret ederek güncel bilgiler çekebilmesi bu dengeyi bozdu. Cloudflare'ın yeni yaklaşımı, AI şirketleri ile web sitesi sahipleri arasındaki ilişkiyi daha adil bir hale getirmek amacıyla bir denge sağlamayı hedefliyor.

15 Eylül 2026'dan itibaren, yeni müşteriler ve mevcut Cloudflare abonelerinin yeni web siteleri, varsayılan olarak "arama için izin verip, reklam içeren sayfalarda eğitim ve ajan kullanımını engelleyecek" şekilde ayarlanacak. Web sitesi sahiplerine, AI kullanımına izin verilip verilmeyeceği konusunda seçim hakkı tanımayan karışık amaçlı tarayıcılar da, reklam içeren sayfalarda varsayılan olarak engellenecek. Ücretsiz hesap kullanıcıları da, 15 Eylül tarihinden önce bu varsayılan ayarlardan çıkmadıkları takdirde otomatik olarak bu değişikliklere tabi olacaklar.

Bu değişikliklerin bir parçası olarak Cloudflare, 2025 yılında tanıttığı ve web sitelerinin AI web tarayıcılarını varsayılan olarak engellemesine olanak tanıyan Pay Per Crawl (Taramaya Göre Ödeme) özelliğinin yeni bir versiyonunu da piyasaya sürecek. Özellik artık Pay Per Use (Kullanıma Göre Ödeme) olarak adlandırılıyor ve web sayfalarının taranıp taranmadığına göre ödeme yapılması yerine, site sahipleri içeriklerinin AI sohbet robotlarının yanıtlarında yer alması durumunda ödeme alacaklar. Bu duyuruda Ceramic.AI ve You.com ile yapılan ortaklıklara yer verilse de, Cloudflare diğer AI şirketlerinin de bu sürece katılmasını umuyor.

Cloudflare'ın bu adımları, web siteleri ile AI şirketleri arasındaki ilişkiyi daha adil hale getirmeye yönelik genel çabalarının yanı sıra, dolaylı olarak Google'ı hedef aldığı şeklinde yorumlanıyor. Şirketin duyurusunda, "En büyük arama motoru, müşterilerin AI için kullanılmadan keşfedilebilir kalmasını zorlaştırdığı için, önde gelen AI şirketlerinden yaklaşık 2 kat daha fazla bilgiye erişim sağlıyor" ifadesine yer verildi. Google'ın ana tarayıcısı Googlebot, hem arama motorları için web sitelerini indeksliyor hem de Gemini'yi eğitmek ve AI özelliklerini güçlendirmek için bilgi topluyor. Google, web sitelerinin yalnızca geleneksel arama sonuçları için tarama yapan ayrı bir tarayıcı olan Google-Extended'e katılmalarına izin veriyor. Ancak bir yayıncı, AI Modu sonuçlarına dahil edilmek isterse ve içeriğinin Google'ın modellerini eğitmesini istemezse bir seçenek sunulmuyor. Cloudflare'ın yeni politikası, Google ve karışık amaçlı tarayıcıları olan diğer şirketlerin taktiklerini değiştirmeye zorlamayı amaçlıyor.