Yapay zeka botları için robots.txt üretici.
Yapay zeka botları için robots.txt üretici, model eğitimi, yapay zeka araması ve kullanıcı isteği için gelen botlara ayrı ayrı izin ya da engel yazan, dosyanıza eklenecek bir robots.txt bölümü oluşturur.
Nasıl kullanılır
- Üç kategorinin her biri için izin ver ya da engelle’yi seç
- İstersen site haritasının adresini ekle
- Üret’e bas; çıkan bölümü robots.txt dosyanın sonuna ekle, var olan kuralları silme
Araç tamamen tarayıcında çalışır — sunucuya veri gitmez, çerez yazılmaz.
Üç kategori, üç ayrı karar
Yapay zeka şirketlerinin botları tek bir iş yapmıyor. Bir kısmı model eğitimi için içerik topluyor, bir kısmı şirketin yapay zeka araması için dizin kuruyor, bir kısmı da bir kullanıcı soru sorduğunda sayfayı o anda getiriyor. Üçünü aynı kefeye koyan toplu bir engel, telif kaygısıyla verilmiş bir kararın farkında olmadan arama görünürlüğünü de kapatması demek. Ayrım yapay zeka tarayıcıları ve robots.txt rehberinde ayrıntılı.
İzin verdiğiniz kategori için araç ayrı bir grup yazmaz. robots.txt’te bir bot kendi adını taşıyan bir grup bulursa yalnız onu okur ve genel `User-agent: *` kurallarını yok sayar; «izin» için ayrı bir `Allow: /` grubu, genelde kapattığınız yolları o bota açabilirdi.
Kullanıcı isteğiyle gelen botlar
Bu kategorideki botların bir kısmı, isteği bir insan başlattığı için robots.txt kurallarına uymayabileceğini kendi belgesinde yazıyor. Onları robots.txt’te engellemek bir niyet beyanıdır; kesin bir engel değildir.
Eğitim tercihi işareti (2027)
Robots.txt’e yalnız eğitim tercihini bildiren yeni bir işaret önerildi: `User-Agent: __usage_ai-training`. Henüz bir IETF taslağı; Google 2027 başında, Microsoft 1 Şubat 2027’den itibaren okuyacağını, Anthropic ise şimdiden tanıdığını duyurdu. Genel `User-Agent: *` kuralı bu işareti kapsamaz.
Listede olmayanlar
Bytespider, xAI ve DeepSeek için sağlayıcının kendi tarayıcı belgesi bulunamadı; liste yalnız belgeli botları taşıyor. CCBot açık bir tarama arşivi için çalışır ve belgesi eğitimden söz etmez; engellemek isterseniz dosyanıza ayrıca yazabilirsiniz.
Dosya neden yetmeyebilir?
robots.txt bir rica dosyasıdır. Cloudflare gibi bir ağ katmanı isteği sunucuya ulaşmadan durdurabilir; dosyanız izin verse bile bot giremeyebilir. Dosyayı yayımladıktan sonra makine okuması aracıyla sitenizin robots.txt’ini bot bot okuyabilirsiniz.
Araç hiçbir siteye istek atmaz; bölüm tarayıcınızda üretilir.