Yapay zeka tarayıcıları ve robots.txt.
robots.txt, hangi tarayıcının sitenin hangi bölümlerine girebileceğini bildiren metin dosyasıdır ve yapay zeka tarayıcıları için de aynı kurallar geçerlidir.
Yanıt motoru görünürlüğünün ilk katmanı erişimdir ve erişimin kapısı robots.txt'tir. Bu katman kırıksa geri kalan her şey — yapı, şema, içerik kalitesi — boşa çalışır. Dolayısıyla yanıt motoru optimizasyonunun ilk adımı, tarayıcıların gerçekten girebildiğinden emin olmaktır.
İyi haber şu: çoğu sitede erişim zaten açıktır, çünkü genel bir izin kuralı tüm tarayıcıları kapsar. Kötü haber, bunun genelde bilinçli bir karar değil bir varsayılan olmasıdır — ve varsayılanlar bir gün sessizce değişebilir.
İki tür ajan, iki farklı karar
Yapay zeka şirketlerinin tarayıcıları tek bir işi yapmıyor ve ayrımı bilmek, hangi kararın neyi etkilediğini görmeyi sağlıyor. Kabaca üç kategori var.
- Eğitim tarayıcıları — model eğitimi için içerik toplar. Engellenmesi gelecekteki model sürümlerini etkiler, mevcut görünürlüğü etkilemez.
- Dizin/arama tarayıcıları — yanıt motorunun kendi dizini için tarar. Engellenmesi, o motorda görünürlüğü doğrudan kapatır.
- Kullanıcı tetiklemeli çekiciler — kullanıcı belirli bir sayfayı sorduğunda ya da bir bağlantıyı açtırdığında anlık çeker. Engellenmesi, kullanıcının o sayfayı model üzerinden okumasını engeller.
Kritik nokta: eğitim izniyle arama izni AYNI ŞEY DEĞİLDİR. İkisini aynı kefeye koyup toplu engelleme yapan bir yayıncı, telif kaygısıyla hareket ederken farkında olmadan görünürlüğünü de kapatır. Kararlar ayrı verilebilir ve ayrı verilmelidir.
Bu sitedeki uygulama
Bu sitenin robots.txt'inde on yedi ajan tek tek yazılmıştır ve hepsine izin verilir. Genel kural zaten hepsini kapsıyordu; grupların açıkça yazılmasının iki gerekçesi kayda geçmiştir.
Birincisi teknik: bazı tarayıcılar dosyayı okurken yalnız kendi adına yazılmış grubu dikkate alır ve genel kuralı atlar. Adı geçen bir blok, o davranışa karşı garanti sağlar.
İkincisi belgeleme: niyetin yazılı olması, ileride tek bir botu kısıtlamak gerektiğinde yerin hazır olması demektir. Bir satırlık değişiklikle bir ajan kapatılabilir ve karar dosyada görünür kalır.
- Arama tarafı — Googlebot, Bingbot, YandexBot, Applebot.
- Üretken tarafta OpenAI — GPTBot, OAI-SearchBot, ChatGPT-User.
- Üretken tarafta Anthropic — ClaudeBot, Claude-User, Claude-SearchBot.
- Diğer üretken — PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot.
Listede Google-Extended özel bir durumdur: Googlebot'tan ayrı bir ajan değil, Google'ın üretken ürünlerinde içeriğin kullanılıp kullanılmayacağını belirleyen bir denetim anahtarıdır. Engellenmesi klasik arama sıralamasını etkilemez ama üretken özelliklerde kullanımı kapatır.
Yaygın hatalar
robots.txt basit bir dosyadır ama birkaç noktada sessizce yanlış çalışır ve sonuçları görünmez olduğu için aylarca fark edilmez.
Yanlış konum. Dosya sitenin kökünde olmalıdır; alt dizinde ya da alt alan adında duran bir kopya okunmaz. Alt alan adları kendi robots.txt'lerine ihtiyaç duyar.
Engellenen kaynak dosyalar. CSS ve JavaScript dosyalarını engellemek, tarayıcının sayfayı olduğu gibi görmesini engeller. Bu, arama motorları için uzun süredir önerilmeyen bir uygulamadır.
Engelleme ile dizinden çıkarmayı karıştırmak. robots.txt taramayı engeller, dizinlemeyi değil. Başka bir yerden bağlantı alan bir sayfa, taranmasa bile dizinde görünebilir. Dizinden çıkarmak için sayfanın taranabilir olması ve kendi üzerinde bir dizinleme talimatı taşıması gerekir.
Sitemap satırını unutmak. Dosyanın en pratik işlevlerinden biri sitemap adresini bildirmektir; olmadığında keşif tamamen bağlantılara ve elle bildirime kalır.
robots.txt taramayı engeller, dizinlemeyi değil — ikisi karıştırıldığında sayfa hem taranmaz hem çıkmaz.
İçerik sinyalleri
Son dönemde robots.txt'e eklenen bir katman, taramanın ötesinde KULLANIM niyetini bildiriyor: içeriğin arama dizinine girmesine izin verilip verilmediği, üretken yanıtlarda kullanılıp kullanılamayacağı ve model eğitiminde kullanılıp kullanılamayacağı ayrı ayrı belirtilebiliyor.
Bu sinyaller teknik bir engelleme değil, bir hak beyanıdır — uyulması tarayıcının kendi politikasına bağlıdır. Yine de niyeti açıkça yazmanın değeri var, özellikle telif tartışmalarının hukuki tarafı geliştikçe.
Bir uyarı: bu alan hızla değişiyor ve bugünkü sözdizimi yarın farklı olabilir. Dosyaya eklenen her satırın ne yaptığı anlaşılmalı; kopyalanan ama anlaşılmayan bir kural, istemeden görünürlük kapatabilir.
Engellemenin gerçek maliyeti
Bir ajanı engelleme kararı verirken, kaybedilen şeyin ne olduğunu net görmek gerekir. Eğitim tarayıcısını engellemek geleceği etkiler ve bugünkü görünürlüğe dokunmaz. Arama tarayıcısını engellemek ise o motorda bugünden itibaren görünmez olmak demektir — ve bu geri alındığında etkisi hemen dönmez, yeniden taranma ve dizine girme süresi gerekir.
Bu asimetri kararı da şekillendiriyor: eğitim izni her zaman geri alınabilir bir karardır; arama izni ise kapatıldığında bir maliyet biriktirir. Tereddüt hâlinde arama izinlerini açık tutup eğitim izinlerini gözden geçirmek, daha az riskli bir başlangıçtır.
Bir de ölçüm boyutu var: engelleme kararının etkisini görmenin tek yolu sunucu loglarıdır. Ajan artık gelmiyorsa kural işliyor demektir; hâlâ geliyorsa ya kural yanlış yazılmış ya da o tarayıcı dosyayı dikkate almıyor. İkinci durum gerçektir ve bilinmesi gerekir — robots.txt bir talep, teknik bir engel değildir.
Denetim: dosyanın gerçekten çalıştığını görmek
robots.txt'e yazılan bir kuralın işlediğini varsaymak yeterli değil; doğrulanması gerekir. En basit doğrulama, dosyanın canlıda gerçekten yayımlandığından emin olmaktır — kökte, düz metin olarak ve iki yüz koduyla. Şaşırtıcı sayıda sitede dosya ya yok ya da yanlış içerik tipiyle sunuluyor.
İkinci doğrulama sunucu loglarından yapılır: kural yazıldıktan sonra ilgili ajanın davranışı değişti mi? Engellenen bir ajan gelmeye devam ediyorsa ya kural yanlış yazılmıştır ya da o tarayıcı dosyayı dikkate almıyordur. İkisi de bilinmesi gereken bilgilerdir.
Üçüncüsü ve en çok atlananı: dosyanın bir kere doğrulanıp bırakılmaması. Sunucu yapılandırması değiştiğinde, bir güvenlik katmanı eklendiğinde ya da bir dağıtım kaçırıldığında dosya sessizce kaybolabilir. Düzenli bir kontrol — ya da otomatik bir test — bunu yakalar.