İnternet altyapı sağlayıcısı Cloudflare, yapay zeka (AI) girişimi Perplexity’nin açıkça kazıma yapmasını engellediğini belirten web sitelerinden içerik kazıdığını iddia etti. Cloudflare, Perplexity’nin engellemeleri görmezden geldiğini ve kazıma faaliyetlerini gizlediğini belirtti.
Cloudflare araştırmacıları, Perplexity’nin web sayfalarını kazımaya çalışırken kimliğini gizlediğini ve bu sayede web sitesinin tercihlerini aşmaya çalıştığını yazdı. Yapay zeka ürünleri, internetten büyük miktarda veri toplamaya dayanır. AI startup’ları, ürünlerini çalıştırmak için genellikle izinsiz olarak metin, görsel ve videoları kazır.
Web siteleri, bu duruma karşı koymak için “Robots.txt” dosyasını kullanmaya başladı. Bu standart, arama motorlarına ve AI şirketlerine hangi sayfaların indekslenebileceğini ve hangilerinin indekslenemeyeceğini bildiriyor. Ancak bu çabaların sonuçları şimdiye kadar karışık oldu.
Cloudflare’a göre Perplexity, botlarının “kullanıcı aracısını” (bir web sitesi ziyaretçisinin cihazını ve sürümünü tanımlayan sinyal) değiştirerek ve otonom sistem ağlarını (ASN) değiştirerek bu engellemeleri bilinçli olarak aşıyor. Cloudflare, bu etkinliğin on binlerce alanda ve günde milyonlarca istekte gözlemlendiğini bildirdi. Şirket, bu kazıyıcıyı makine öğrenimi ve ağ sinyallerinin bir kombinasyonunu kullanarak tespit edebildiğini belirtti.
Perplexity sözcüsü Jesse Dwyer, Cloudflare’ın blog gönderisini bir “satış konuşması” olarak reddetti. Dwyer, TechCrunch’a gönderdiği bir e-postada, paylaşılan ekran görüntülerinin “hiçbir içeriğe erişilmediğini gösterdiğini” iddia etti. Daha sonraki bir e-postada ise Cloudflare blogunda adı geçen botun “kendilerine ait bile olmadığını” savundu.
Cloudflare, bu davranışları ilk olarak müşterilerinin şikayetleri üzerine fark ettiğini bildirdi. Müşteriler, Robots dosyalarına ve Perplexity’nin bilinen botlarını engellemek için kurallar eklemelerine rağmen sitelerinin Perplexity tarafından kazındığını belirtmişti. Cloudflare, yapılan testler sonucunda Perplexity’nin bu engellemeleri aştığını doğruladığını açıkladı.
Cloudflare, “Perplexity’nin sadece kendi beyan ettiği kullanıcı aracısını değil, aynı zamanda beyan edilen kazıyıcısı engellendiğinde Google Chrome’u taklit etmeye yönelik genel bir tarayıcıyı da kullandığını gözlemledik” dedi. Şirket ayrıca, Perplexity’nin botlarını doğrulanmış listesinden çıkardığını ve onları engellemek için yeni teknikler eklediğini duyurdu.
Cloudflare, yapay zeka kazıyıcılarına karşı son zamanlarda açık bir tavır sergiliyor. Geçen ay, Cloudflare web sitesi sahiplerinin ve yayıncıların sitelerini ziyaret eden AI kazıyıcılardan ücret almasına olanak tanıyan bir pazar yeri başlattığını duyurmuştu. Cloudflare CEO’su Matthew Prince o dönemde, yapay zekanın internetin, özellikle de yayıncıların iş modelini bozduğunu belirterek alarma geçmişti. Geçen yıl Cloudflare, botların web sitelerini AI eğitimi için kazımasını önlemek amacıyla ücretsiz bir araç da piyasaya sürmüştü.
Bu, Perplexity’nin yetkisiz kazımayla suçlandığı ilk olay değil. Geçen yıl Wired gibi haber kuruluşları, Perplexity’nin içeriklerini intihal ettiğini iddia etmişti. Haftalar sonra, Disrupt 2024 konferansında TechCrunch’tan Devin Coldewey ile yapılan bir röportajda, Perplexity CEO’su Aravind Srinivas’a şirketin intihal tanımı sorulduğunda anında yanıt verememişti.
