Yapay zeka tarayıcı logu nasıl okunur.
Sunucu logları, yapay zeka tarayıcılarının sitenize gerçekten gelip gelmediğini ve hangi sayfaları çektiğini gösteren tek doğrudan kanıttır.
Yanıt motoru görünürlüğü üzerine yazılanların çoğu tahmine dayanır çünkü motorlar kendi seçim mantıklarını açıklamaz. Ama bir katman tamamen ölçülebilir: tarayıcının siteye gelip gelmediği. Bu bilgi sunucu loglarında durur, hiçbir özel araç gerektirmez ve çoğu ekip ona hiç bakmaz.
Log okumanın değeri şudur: niyet değil davranış gösterir. robots.txt'e izin yazmış olabilirsiniz; tarayıcı yine de gelmiyor olabilir. İçeriğinizin iyi olduğunu düşünüyor olabilirsiniz; tarayıcı hiç o sayfaya uğramamış olabilir. Log, varsayımı ölçümle değiştirir.
Neye bakılır
Log satırları genelde aynı bilgileri taşır: istek zamanı, istenen yol, yanıt kodu, ve kullanıcı ajanı. Yapay zeka tarayıcılarını ayırmak için ajan alanına bakılır ve bilinen adlar filtrelenir.
- Hangi ajanlar geliyor — GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ve diğerleri. Hiç gelmeyen var mı?
- Hangi sayfaları çekiyorlar — ana sayfa mı, derin sayfalar mı, yoksa yalnız birkaç URL mi?
- Hangi yanıt kodunu alıyorlar — iki yüz mü, yoksa dört yüz dört ya da beş yüz mü?
- Ne sıklıkla geliyorlar — günde bir mi, haftada bir mi, ayda bir mi?
- Yeni sayfa ne kadar sürede çekiliyor — yayından tarama arasındaki gecikme.
- Hiç çekilmeyen sayfalar hangileri — iç bağlantı ya da sitemap sorununa işaret eder.
Üçüncü madde özellikle değerlidir çünkü sessiz bir kayıp kaynağıdır. Tarayıcı geliyor ama hata alıyorsa, görünürlük kaybı erişim katmanındadır ve içerikle ilgisi yoktur. Bu, düzeltilmesi en kolay ve etkisi en hızlı sorun türüdür.
Ne öğrenilir
Logdan çıkan en pratik bilgi, tarama gecikmesidir: bir sayfa yayımlandıktan ne kadar sonra çekiliyor? Bu süre içerik stratejisinin temposunu belirler. Güncel bir konuda yazıyorsanız ve tarayıcı sayfanızı üç hafta sonra çekiyorsa, o konuda geç kalıyorsunuz demektir.
İkincisi, hangi sayfaların ilgi gördüğüdür. Tarayıcılar bir sitenin tamamını eşit sıklıkta çekmez; bazı sayfalar düzenli, bazıları hiç. Düzenli çekilen sayfalar, o sitenin o alandaki temsilcileri hâline gelir. Hiç çekilmeyen bir sayfa, yayında olmasına rağmen yanıt motoru için var değildir.
Üçüncüsü, karşılaştırmalı bir bakış: arama motoru tarayıcıları ile yapay zeka tarayıcıları aynı sayfaları mı çekiyor? Ayrışma varsa sebebi araştırmaya değer — genelde iç bağlantı yapısıyla ya da sitemap kapsamıyla ilgilidir.
Hiç çekilmeyen bir sayfa, yayında olmasına rağmen yanıt motoru için var değildir.
Doğrulama: ajan adı yeterli değil
Bir uyarı gerekiyor: kullanıcı ajanı alanı taklit edilebilir ve edilir. Bir isteğin gerçekten iddia ettiği tarayıcıdan geldiğini doğrulamak için ek bir adım gerekir — çoğu büyük sağlayıcı, tarayıcılarının kullandığı adres aralıklarını ya da ters arama yöntemini yayımlar.
Bu ayrım pratikte önemlidir çünkü taklit trafiği log analizini yanıltır. «GPTBot günde yüz kez geliyor» sonucu, o isteklerin gerçekten OpenAI'den gelmediği durumda anlamsızdır. Ciddi bir analiz, en azından yoğun ajanlar için doğrulama yapmalıdır.
Bu sitede tarayıcı erişimi robots.txt'te on yedi ajan için açıkça tanımlı, ve log okuma yanıt motoru ölçümünün planlanan parçası. Ölçümün önce kurulup sonra içerik üretilmesi, hangi işin işe yaradığını görmenin tek yolu — sonradan kurulan bir ölçüm, öncesini gösteremez.
Nereden başlanır
Log erişimi barındırma sağlayıcısına göre değişir; bazıları panelden indirmeye izin verir, bazıları bir arayüz sunar, bazılarında kenar sunucu kayıtlarına bakmak gerekir. İlk adım, o kayıtların nerede olduğunu bulmaktır.
İkinci adım basit bir filtreleme: bilinen ajan adlarını arayan ve sonuçları sayan birkaç satırlık bir komut. Üçüncü adım, sonucu bir tabloya yazmak ve ayda bir tekrarlamak. Bu üç adım, yanıt motoru görünürlüğü hakkında sahip olabileceğiniz en somut veriyi üretir.
Ve bu veri, elle yapılan soru taramalarıyla birlikte okunduğunda tam bir tablo verir: tarayıcı geliyor mu, hangi sayfaları alıyor, ve o sayfalar yanıtlarda anılıyor mu? Üç sorunun cevabı, hangi katmanda çalışmak gerektiğini söyler.
Log yoksa ne yapılır
Bazı barındırma ortamlarında ham log erişimi yoktur ya da kenar sunucu katmanı arkasında kalır. Bu durumda ölçüm imkânsız değil, yalnız dolaylı hâle gelir. Kenar sağlayıcıların çoğu kendi analiz panellerinde kullanıcı ajanı kırılımı sunar; oradan bakılabilir. Alternatif olarak, sunucu tarafında çalışan bir ara katman istekleri kendi kaydına yazabilir — birkaç satırlık bir ekleme, kalıcı bir ölçüm kanalı açar.
Statik barındırmada ise en pratik yol, kenar fonksiyon katmanında hafif bir kayıt tutmaktır: yalnız ajan adı, yol ve zaman. Kişisel veri toplamadan, yalnız tarayıcı davranışını görmek için yeterli olan minimum veri. Bu, gizlilik açısından da temiz bir çözümdür çünkü ziyaretçiye dair hiçbir şey kaydedilmez.
Ve bir hatırlatma: ölçüm kanalının içerik üretilmeden ÖNCE kurulması gerekir. Sonradan kurulan bir ölçüm, öncesini gösteremez ve «bu çalışma işe yaradı mı» sorusunu cevaplayamaz. Taban ölçümü olmayan bir iyileştirme, iyileştirme olduğunu kanıtlayamaz.
Tarama bütçesi ve öncelik
Bir tarayıcı sitenizin tamamını her ziyaretinde çekmez; sınırlı bir bütçeyle gelir ve o bütçeyi nereye harcayacağına kendi karar verir. Loglardan çıkan en değerli ikinci bilgi budur: tarayıcı bütçesini hangi sayfalara ayırıyor? Sık çekilen sayfalar, o motorun sitenizi temsil ettiğini düşündüğü sayfalardır — ve bu liste genelde sizin öncelik listenizle örtüşmez.
Ayrışma varsa sebebi genelde iç bağlantı yapısındadır. Çok bağlantı alan sayfalar sık taranır; gövdeden hiç bağlantı almayan sayfalar seyrek taranır ya da hiç taranmaz. Bu, iç bağlantı disiplininin neden yalnız kullanıcı için değil tarayıcı için de önemli olduğunu gösteriyor.
Pratik düzeltme yolu da aynı: önemli ama seyrek taranan bir sayfaya gövde içinden bağlantı vermek, tarama sıklığını artırıyor. Sitemap bir keşif kanalıdır ama öncelik sinyali taşımaz; öncelik, bağlantı yapısından okunur.