Türk siteleri yapay zekâ botlarına kapılarını ne kadar kapatıyor?

Kısa sonuç

• Açık yasak az ama hızla artıyor: 414 canlı sitenin 24’ü robots.txt’te GPTBot’u, 27’si ClaudeBot’u açıkça yasaklıyor. 7 Ekim’de bu sayılar 16 ve 18’di. Google’ın Gemini eğitimi için kullandığı Google-Extended belirtecini yasaklayan site sayısı 7’den 16’ya çıktı.
• Yeni yasakların kaynağı Cloudflare: 25 günde GPTBot’u robots.txt’te yeni yasaklayan 10 sitenin 10’unda yasak, Cloudflare’in dosyaya eklediği yönetimli bölümden geliyor. Ölçülen sitelerin 11’inde bu bölüm var.
• Sunucu, dosyadan daha fazla kapatıyor: 36 site GPTBot’u sunucu katmanında geri çeviriyor; bunların 12’sinde robots.txt GPTBot’u hiç engellemiyor. Yani site sahibinin dosyada yazdığı ile sitenin yaptığı ayrışıyor.
• Arama botları daha az etkileniyor: ChatGPT aramasının botu OAI-SearchBot’u açıkça yasaklayan site sayısı 8’de kaldı.

Örneklem ve yöntem

Örneklem, araştırmacıların kullandığı Tranco listesinin 6 Ekim 2026 tarihli sürümünde .tr ile biten ilk 500 alan adı. Aynı liste Makine Okunurluk Endeksi’nin de örneklemi; bu yüzden 7 Ekim ölçümüyle site site karşılaştırılabiliyor. 1 Kasım’da 500 alan adının 414’ü canlı bir site döndürdü.

Her site için iki şeyi ayrı ölçtük:

1. Açıklanan politika. robots.txt dosyasını okuyup beş yapay zekâ belirteci için kuralı çözdük: GPTBot (OpenAI’nin eğitim tarayıcısı), OAI-SearchBot (ChatGPT araması), ClaudeBot (Anthropic), PerplexityBot ve Google-Extended (Google’ın Gemini eğitimi için kullandığı, ayrı bir tarayıcı değil, robots.txt belirteci). Dosyanın Cloudflare’in yönetimli bölümünü (# BEGIN Cloudflare Managed content) ve içerik sinyali satırını taşıyıp taşımadığına da baktık.
2. Uygulanan politika. Ana sayfaya her bot adıyla birer istek attık ve sunucunun yanıtını sıradan bir tarayıcı isteğinin ve rastgele bir bot adının yanıtıyla karşılaştırdık. Sıradan istek ve rastgele bot geçerken yalnız yapay zekâ botu geri çevriliyorsa bunu «yapay zekâya özgü engel» saydık. Böylece genel bot korumasını yapay zekâ kararından ayırdık; 3 site her bot adını geri çevirdiği için bu sayıma girmedi.

İsteklerimiz kimliğini gizlemedi: bot adının yanına ölçümü yapan sayfanın adresini yazdık. Site başına en çok üç kendi isteğimiz ve bot başına bir sonda isteği attık; hiçbir sayfa taranmadı, hiçbir içerik saklanmadı.

Sonuçlar

• GPTBot · robots.txt’te açık yasak 16 → 24 · sunucuda yapay zekâya özgü engel 28 → 36 · bunlardan robots.txt’in engellemediği 15 → 12
• ClaudeBot · robots.txt’te açık yasak 18 → 27 · sunucuda yapay zekâya özgü engel 30 → 37 · bunlardan robots.txt’in engellemediği 18 → 14
• PerplexityBot · robots.txt’te açık yasak 9 → 9 · sunucuda yapay zekâya özgü engel 10 → 16 · bunlardan robots.txt’in engellemediği 4 → 5
• OAI-SearchBot · robots.txt’te açık yasak 8 → 8 · sunucuda yapay zekâya özgü engel 10 → 14 · bunlardan robots.txt’in engellemediği 2 → 2
• Google-Extended · robots.txt’te açık yasak 7 → 16 · sunucuda yapay zekâya özgü engel 1 → 2 · bunlardan robots.txt’in engellemediği 0 → 1
• Taban: 7 Ekim’de 416, 1 Kasım’da 414 canlı site.

Açık yasak artıyor, ama elle değil. 25 günde robots.txt’inde GPTBot’u yeni yasaklayan 10 site var; 10’unun da dosyasında Cloudflare’in yönetimli bölümü bulunuyor. ClaudeBot’ta yeni yasaklayan 11 sitenin 10’unda, Google-Extended’da 10 sitenin 10’unda da durum aynı. Cloudflare’in bu ayarı açık olduğunda dosyanın başına bilinen eğitim tarayıcıları için engelleme satırları ekleniyor. Yani yasakların büyük kısmı, site sahibinin robots.txt’i düzenlemesinden değil, bir ağ hizmetindeki ayardan geliyor.

Dosya ile sunucu ayrışıyor. GPTBot’u sunucuda geri çeviren 36 sitenin 12’sinde robots.txt GPTBot’a hiçbir şey yasaklamıyor. Bu sitelerde karar dosyada değil, sunucunun ya da önündeki güvenlik katmanının kuralında. Robots.txt’e bakan biri siteyi botlara açık sanabilir; bot ise kapıda geri dönüyor. 7 Ekim’de bu biçimde ayrışan sitelerin 5’inde GPTBot yasağı artık robots.txt’te de yazıyor; 2 site ise yeni ayrıştı.

Arama ile eğitim ayrılıyor. ChatGPT aramasının botu OAI-SearchBot’u açıkça yasaklayan site sayısı değişmedi (8); eğitim belirteci Google-Extended’ı yasaklayan site sayısı ise iki katından fazla arttı (7 → 16). Yönetimli bölümü taşıyan 11 sitenin hepsinde GPTBot, ClaudeBot ve Google-Extended yasak; PerplexityBot 11’inde de, OAI-SearchBot 9’unda açık kalıyor. Arama botunu kapatmak, o motorun yanıtlarında görünürlüğü de kapatır.

Uzantıya göre. Yapay zekâya özgü sunucu engeli .com.tr sitelerinin %12’sinde, .gov.tr sitelerinin %10’unda, .edu.tr sitelerinin %3’ünde görülüyor. robots.txt’te en az bir yapay zekâ botunu açıkça yasaklayan oran .com.tr’de %9, .edu.tr’de %4, .gov.tr’de %3.

Ölçümün sınırları

• İki ölçüm iki anı gösteriyor, eğilimi değil; 25 günlük fark küçük sayılarla kuruluyor.
• Ölçüm tek bir konumdan yapıldı; ağ hizmetleri isteğin geldiği yere göre farklı karar verebilir.
• Bir botun gerçek isteği bizim sondamızdan farklı görünebilir (IP adresi, doğrulama); sunucu gerçek bota başka davranabilir.
• 403 yanıtı her zaman yapay zekâ kararı değildir; bu yüzden sıradan ve rastgele bot isteklerini kontrol olarak kullandık.
• Yönetimli bölümün varlığını dosyanın metninden okuduk; sitenin Cloudflare panelindeki öteki ayarlarını göremeyiz.

Kendi siteniz için

robots.txt’inizi tarayıcıda açıp «# BEGIN Cloudflare Managed content» satırını arayın; varsa yapay zekâ botlarına ilişkin kurallar sizin yazmadığınız bir bölümden geliyor olabilir. Neyin nerede belirlendiğini yapay zekâ tarayıcıları ve robots.txt rehberimizde anlatıyoruz.