Yapay zeka tarayıcıları ve robots.txt.
robots.txt, hangi tarayıcının sitenin hangi bölümlerine girebileceğini bildiren metin dosyasıdır ve yapay zeka tarayıcıları için de aynı kurallar geçerlidir.
Yanıt motoru görünürlüğünün ilk katmanı erişimdir ve erişimin kapısı robots.txt’tir. Bu katman kırıksa geri kalan her şey — yapı, şema, içerik kalitesi — boşa çalışır. Dolayısıyla yanıt motoru optimizasyonunun ilk adımı, tarayıcıların gerçekten girebildiğinden emin olmaktır.
İyi haber şu: çoğu sitede erişim zaten açıktır, çünkü genel bir izin kuralı tüm tarayıcıları kapsar. Kötü haber, bunun genelde bilinçli bir karar değil bir varsayılan olmasıdır; varsayılanlar da bir gün sessizce değişebilir.
İki tür ajan, iki farklı karar
Yapay zeka şirketlerinin tarayıcıları tek bir işi yapmıyor ve ayrımı bilmek, hangi kararın neyi etkilediğini görmeyi sağlıyor. Kabaca üç kategori var.
- Eğitim tarayıcıları — model eğitimi için içerik toplar. Engellenmesi gelecekteki model sürümlerini etkiler, mevcut görünürlüğü etkilemez.
- Dizin/arama tarayıcıları — yanıt motorunun kendi dizini için tarar. Engellenmesi, o motorda görünürlüğü doğrudan kapatır.
- Kullanıcı tetiklemeli çekiciler — kullanıcı belirli bir sayfayı sorduğunda ya da bir bağlantıyı açtırdığında anlık çeker. Engellenmesi, kullanıcının o sayfayı model üzerinden okumasını engeller.
Kritik nokta: eğitim izniyle arama izni AYNI ŞEY DEĞİLDİR. İkisini aynı kefeye koyup toplu engelleme yapan bir yayıncı, telif kaygısıyla hareket ederken farkında olmadan görünürlüğünü de kapatır. Kararlar ayrı verilebilir ve ayrı verilmelidir.
Bu sitedeki uygulama
Bu sitenin robots.txt’inde on yedi ajanı tek tek yazdık ve hepsine izin veriyoruz. Genel kural zaten hepsini kapsıyordu; grupları açıkça yazmamızın iki gerekçesini kayda geçirdik.
Birincisi teknik: bazı tarayıcılar dosyayı okurken yalnız kendi adına yazılmış grubu dikkate alır ve genel kuralı atlar. Adı geçen bir blok, o davranışa karşı garanti sağlar.
İkincisi belgeleme: niyetin yazılı olması, ileride tek bir botu kısıtlamak gerektiğinde yerin hazır olması demektir. Bir satırlık değişiklikle bir ajan kapatılabilir ve karar dosyada görünür kalır.
- Arama tarafı — Googlebot, Bingbot, YandexBot, Applebot.
- Üretken tarafta OpenAI — GPTBot, OAI-SearchBot, ChatGPT-User.
- Üretken tarafta Anthropic — ClaudeBot, Claude-User, Claude-SearchBot.
- Diğer üretken — PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot.
Listede Google-Extended özel bir durumdur: Googlebot’tan ayrı bir ajan değil, bir denetim anahtarıdır. Google’a göre engellenmesi, içeriğin Gemini modellerinin eğitiminde (Arama’daki yapay zekâ yanıtlarını üreten modeller dahil) ve Gemini uygulamaları ile Vertex AI’da kullanılmasını sınırlar; sitenin Arama’da görünüp görünmemesini ise değiştirmez — klasik sonuçlarda da, AI Bakışı ve AI Modu’nda da. Arama’daki yapay zekâ özelliklerinden çıkmanın yolu robots.txt değil, Search Console’daki üretken yapay zekâ kontrolüdür (AI Bakışı rehberi).
Cloudflare kullanıyorsanız: robots.txt’in önündeki kapı
robots.txt bir rica dosyasıdır; Cloudflare gibi bir ağ katmanı ise isteği sunucuya ulaşmadan durdurabilir. Bu yüzden robots.txt’iniz izin verse bile bir yapay zekâ tarayıcısı sitenize giremiyor olabilir. Cloudflare Temmuz 2025’te yapay zekâ tarayıcılarını varsayılan olarak engelleme yönüne geçtiğini duyurdu; Temmuz 2026’dan beri de tek bir «yapay zekâ botlarını engelle» anahtarı yerine üç ayrı kategori sunuyor.
- Arama — içeriği, soruları daha sonra yanıtlamak için dizine ekleyen tarayıcılar.
- Ajan — bir kişi adına o anda çalışan otomatik trafik: sohbetin sayfayı getirmesi, tarayıcı kullanan ajanlar.
- Eğitim — içeriği bir modeli eğitmek ya da ince ayar yapmak için alan tarayıcılar.
Her kategori için üç seçenek var: bütün sayfalarda engellemek, yalnız reklam gösteren sayfalarda engellemek ya da engellememek. 15 Eylül 2026’dan beri Cloudflare’e yeni eklenen alan adlarında varsayılan şu: eğitim ve ajan botları reklam gösteren sayfalarda engelleniyor, arama serbest kalıyor. Hem arama hem eğitim için çalışan karma tarayıcılar, eğitimi kapatan ayarlardan etkilenebiliyor.
Cloudflare’in yönetimli robots.txt ayarı açıksa dosyanızın başına kendi bölümünü ekler: içerik sinyalleri ve bilinen eğitim tarayıcıları (GPTBot, ClaudeBot, CCBot, Bytespider) için engelleme satırları. Bu bölüm «# BEGIN Cloudflare Managed content» satırıyla başlar; sitenizin robots.txt’ini tarayıcıda açıp bu satırı arayarak fark edebilirsiniz. Ama dosyanın kendisi yine bir tercih beyanıdır; zorlama, Cloudflare’in AI Crawl Control ayarlarındaki engelle yapılır.
Kontrol için üç adım yeter: robots.txt’i açıp yönetimli bölümü arayın; Cloudflare panelinde AI Crawl Control’de hangi tarayıcıların geldiğine ve hangilerinin engellendiğine bakın; sunucu kayıtlarında ilgili ajanların gerçekten gelip gelmediğini doğrulayın. Arama kategorisini kapatmak, o motorda görünürlüğü de kapatır — aşağıda anlatılan asimetri burada da geçerli.
Yaygın hatalar
robots.txt basit bir dosyadır ama birkaç noktada sessizce yanlış çalışır ve sonuçları görünmez olduğu için aylarca fark edilmez.
Yanlış konum. Dosya sitenin kökünde olmalıdır; alt dizinde ya da alt alan adında duran bir kopya okunmaz. Alt alan adları kendi robots.txt’lerine ihtiyaç duyar.
Engellenen kaynak dosyalar. CSS ve JavaScript dosyalarını engellemek, tarayıcının sayfayı olduğu gibi görmesini engeller. Bu, arama motorları için uzun süredir önerilmeyen bir uygulamadır.
Engelleme ile dizinden çıkarmayı karıştırmak. robots.txt taramayı engeller, dizinlemeyi değil. Başka bir yerden bağlantı alan bir sayfa, taranmasa bile dizinde görünebilir. Dizinden çıkarmak için sayfanın taranabilir olması ve kendi üzerinde bir dizinleme talimatı taşıması gerekir.
Sitemap satırını unutmak. Dosyanın en pratik işlevlerinden biri sitemap adresini bildirmektir; olmadığında keşif tamamen bağlantılara ve elle bildirime kalır.
robots.txt taramayı engeller, dizinlemeyi değil — ikisi karıştırıldığında sayfa hem taranmaz hem çıkmaz.
İçerik sinyalleri
Son dönemde robots.txt’e eklenen bir katman, taramanın ötesinde KULLANIM niyetini bildiriyor: içeriğin arama dizinine girmesine izin verilip verilmediği, üretken yanıtlarda kullanılıp kullanılamayacağı ve model eğitiminde kullanılıp kullanılamayacağı ayrı ayrı belirtilebiliyor. Yaygın bir örnek, Cloudflare’in robots.txt’e eklediği içerik sinyali politikasıdır: arama, yapay zekâ girdisi ve yapay zekâ eğitimi kullanımları ayrı ayrı belirtilir.
Bu sinyaller teknik bir engelleme değil, bir hak beyanıdır — uyulması tarayıcının kendi politikasına bağlıdır. Yine de niyeti açıkça yazmanın değeri var, özellikle telif tartışmalarının hukuki tarafı geliştikçe.
Bir uyarı: bu alan hızla değişiyor ve bugünkü sözdizimi yarın farklı olabilir. Dosyaya eklenen her satırın ne yaptığı anlaşılmalı; kopyalanan ama anlaşılmayan bir kural, istemeden görünürlük kapatabilir.
Engellemenin gerçek maliyeti
Bir ajanı engelleme kararı verirken, kaybedilen şeyin ne olduğunu net görmek gerekir. Eğitim tarayıcısını engellemek geleceği etkiler ve bugünkü görünürlüğe dokunmaz. Arama tarayıcısını engellemek ise o motorda bugünden itibaren görünmez olmak demektir — ve bu geri alındığında etkisi hemen dönmez, yeniden taranma ve dizine girme süresi gerekir.
Bu asimetri kararı da şekillendiriyor: eğitim izni her zaman geri alınabilir bir karardır; arama izni ise kapatıldığında bir maliyet biriktirir. Tereddüt hâlinde arama izinlerini açık tutup eğitim izinlerini gözden geçirmek, daha az riskli bir başlangıçtır.
Bir de ölçüm boyutu var: engelleme kararının etkisini görmenin tek yolu sunucu loglarıdır. Ajan artık gelmiyorsa kural işliyor demektir; hâlâ geliyorsa ya kural yanlış yazılmış ya da o tarayıcı dosyayı dikkate almıyor. İkinci durum gerçektir ve bilinmesi gerekir — robots.txt bir talep, teknik bir engel değildir.
Denetim: dosyanın gerçekten çalıştığını görmek
robots.txt’e yazdığınız bir kuralın işlediğini varsaymayın; kuralı doğrulayın. En basit doğrulama, dosyanın canlıda gerçekten yayımlandığından emin olmaktır — kökte, düz metin olarak ve iki yüz koduyla. Şaşırtıcı sayıda sitede dosya ya yok ya da yanlış içerik tipiyle sunuluyor.
İkinci doğrulamayı sunucu loglarından yapın: kuralı yazdıktan sonra ilgili ajanın davranışı değişti mi? Engellenen bir ajan gelmeye devam ediyorsa ya kural yanlış yazılmıştır ya da o tarayıcı dosyayı dikkate almıyordur. İkisi de bilinmesi gereken bilgilerdir.
Üçüncüsü ve en çok atlananı: dosyanın bir kere doğrulanıp bırakılmaması. Sunucu yapılandırması değiştiğinde, bir güvenlik katmanı eklendiğinde ya da bir dağıtım kaçırıldığında dosya sessizce kaybolabilir. Düzenli bir kontrol — ya da otomatik bir test — bunu yakalar.
Markanızın ChatGPT, Google AI Overviews ve Perplexity’de nasıl anıldığını ölçmemizi isterseniz GEO danışmanlığı hangi soruda, hangi motorda kaynak gösterildiğinizi kaydeder ve önkoşulları kurar.
Nasıl kullanılır Yapay zeka botları için robots.txt üretici