Cloudflare, web sitelerini arama motorları için indeksleyen ve aynı zamanda yapay zeka şirketleri için çalışan karışık web tarayıcılarını otomatik olarak engellemeyi planladığını duyurdu. Daha önce müşterilerine, yapay zeka sohbet botlarının sitelerinden veri çekmesini önleme seçeneği sunan Cloudflare, şimdi varsayılan olarak daha savunmacı bir tutum alıyor.
Cloudflare’ın CEO’su Matthew Prince, “İnternetteki trafiğin büyük çoğunluğunun insana ait olmadığını göz önünde bulundurarak, sürdürülebilir bir ekosistemin ortaya çıkabilmesi için daha ileri gitmemiz ve daha hızlı hareket etmemiz gerekiyor” ifadelerini kullandı. Şirketin yeni araçları ve ortaklıkları, web sitesi sahiplerine daha fazla görünürlük ve ticari fırsatlar sağlarken, niyetleri açık ve şeffaf olan yapay zeka şirketlerine de fayda sağlamayı amaçlıyor. Cloudflare, önerilen varsayılan değişikliklerin, karışık kullanım tarayıcılarının arama işlevselliğini ajanın kullanımından ve eğitimden ayırmasını teşvik edeceğini umuyor.
Web trafiği, geçmişte insanların bir web sitesinin reklamlarını görüntülediğini veya abonelikleri için ödeme yaptıklarını göstermek için kullanılıyordu. Ancak, kullanıcılar yerine siteleri ziyaret ederek güncel bilgi toplayabilen yapay zeka modellerinin artışı bu sistemi altüst etti. Cloudflare’ın yeni yaklaşımı, hem yapay zeka şirketleri hem de web sitesi yöneticileri için adil bir denge sağlamayı amaçlıyor.
15 Eylül 2026’dan itibaren, yeni müşteriler ve mevcut Cloudflare abonelerinden gelen yeni web siteleri, “arama yapılmasına izin verecek ancak reklam içeren sayfalarda eğitim ve ajan kullanımını engelleyecek” şekilde varsayılan olarak ayarlanacak. Ayrıca, web sitesi sahiplerine AI kullanımını seçme imkanı tanımayan karışık kullanım tarayıcıları, reklam destekli sayfalarda varsayılan olarak engellenecek. Ücretsiz hesap kullananlar da 15 Eylül tarihinden önce çıkış yapmadıkları takdirde bu varsayılan ayarlara geçiş yapacaklar.
Bu değişikliklerin bir parçası olarak, Cloudflare, 2025’te tanıttığı ve web sitelerinin yapay zeka tarayıcılarını varsayılan olarak engellemesine izin veren Pay Per Crawl özelliğinin yeni versiyonunu duyuruyor. Artık Pay Per Use olarak adlandırılan bu özellikte, web sayfalarının ne zaman tarandığına bağlı ödeme yerine, web sitesi sahiplerine içeriklerinin yapay zeka sohbet botlarının yanıtlarında göründüğünde ödeme yapılacak. Duyuru, Ceramic.AI ve You.com ile yapılan ortaklıklardan bahsediyor, ancak Cloudflare’ın diğer yapay zeka şirketlerini de bu ilişkilerine dahil etmeyi umduğu düşünülüyor.
Buna ek olarak, Cloudflare’ın, TechCrunch’ın belirttiğine göre, web siteleri ile yapay zeka şirketleri arasındaki ilişkiyi daha adil hale getirmeye çalışmakla birlikte, dolaylı olarak Google’ı hedef aldığı görülüyor. Şirketin duyurusunda, “en büyük arama motorunun, önde gelen yapay zeka şirketlerine göre yaklaşık iki kat daha fazla bilgiye erişimi var, çünkü müşterilerin keşfedilebilir kalmasını zorlaştırıyorlar” deniyor. Google’ın ana tarayıcısı Googlebot, hem arama motorları için web sitelerini indeksliyor hem de Gemini’yi eğitmekte ve AI özelliklerini güçlendirmekte kullanılan bilgiler topluyor. Google, yalnızca geleneksel arama sonuçları için web sitelerini tarayan Google-Extended isimli ayrı bir tarayıcı seçeneği sunuyor, ancak bir yayıncı, yapay zeka modunda sonuçlarda yer almak isterse ve içeriğinin Google’ın modellerini eğitmekte kullanılmasını istemezse, bir seçeneği yok. Cloudflare’ın yeni politikası, Google ve diğer karışık kullanım tarayıcılarına sahip şirketlerin taktiklerini değiştirmeye zorlamayı amaçlıyor.
