Tarama bütçesi.
Tarama bütçesi, bir arama motorunun belirli bir sürede bir siteden çekmeye ayırdığı istek sayısıdır.
Bir tarayıcı sitenin tamamını her ziyaretinde çekmez; sınırlı bir bütçeyle gelir ve o bütçeyi nereye harcayacağına kendi karar verir. Küçük siteler için bu genelde sorun değildir; binlerce sayfalı sitelerde ise bütçenin nereye gittiği doğrudan görünürlüğü belirler.
Bütçeyi boşa harcayan tipik şeyler bellidir: yönlendirme zincirleri, hata veren adresler, sonsuz filtre kombinasyonları üreten sayfalar, ve aynı içeriğin farklı adreslerde tekrarı. Her biri, gerçek içeriğe gidebilecek bir isteği tüketir.
Bütçenin dağılımı sunucu loglarından okunur ve okunması gereken en değerli bilgi şudur: tarayıcı hangi sayfalara ne sıklıkla uğruyor? Sık çekilen sayfalar, motorun siteyi temsil ettiğini düşündüğü sayfalardır — ve bu liste genelde sitenin kendi öncelik listesiyle örtüşmez.
Ayrışmanın sebebi genelde iç bağlantı yapısıdır: çok bağlantı alan sayfalar sık taranır, gövdeden hiç bağlantı almayan sayfalar seyrek taranır ya da hiç taranmaz. Sitemap bir keşif kanalıdır ama öncelik sinyali taşımaz; öncelik bağlantı yapısından okunur.
Aynı mantık yapay zeka tarayıcıları için de geçerlidir ve orada etkisi daha sert: hiç çekilmeyen bir sayfa, yayında olmasına rağmen yanıt motoru için var değildir.
Bütçe sorunu küçük sitelerde nadiren gerçektir; yüzlerce sayfalık bir sitede tarayıcı zaten her şeye yetişir. Sorun binlerce sayfada, özellikle filtre ve arama kombinasyonları üreten sistemlerde başlar.
Düzeltmenin en etkili yolu, bütçeyi tüketen adresleri kaynağında engellemektir: sonsuz kombinasyon üreten parametreleri taramaya kapatmak, yönlendirme zincirlerini tek atlamaya indirmek ve hata veren adresleri temizlemek. Üçü de sitemap düzenlemekten daha çok fark yaratır.
- Yönlendirme zincirleri — her atlama bir istek tüketir; tek atlamaya indirin.
- Hata veren adresler — taranıp bulunamayan her sayfa boşa harcanmış bütçedir.
- Sonsuz kombinasyonlar — filtre ve sıralama parametreleri sınırsız adres üretir.
- Tekrarlanan içerik — aynı sayfanın farklı adreslerde erişilebilir olması.
- Zayıf iç bağlantı — hiç bağlantı almayan sayfalar seyrek taranır ya da hiç taranmaz.
Beşinci madde en çok gözden kaçanıdır ve bu sitede ölçüldü: gövdeden hiç bağlantı almayan on dört sayfa bulundu. Sitemap keşif sağlar ama öncelik sinyali taşımaz — öncelik bağlantı yapısından okunur.