noindex.

noindex, bir sayfanın arama motoru dizinine alınmamasını isteyen ve sayfanın içindeki robots meta etiketiyle ya da sunucunun X-Robots-Tag yanıt başlığıyla verilen bir komuttur.

Google bu komutu gördüğü sayfayı dizine almaz; sayfa zaten dizindeyse bir sonraki taramada arama sonuçlarından çıkarır. Komut iki yerde yazılabilir. HTML sayfalarında sayfanın başındaki robots meta etiketine «noindex» değeri verilir; yalnız Google’ı hedeflemek için etiketin adı googlebot olarak da yazılabilir. PDF ya da görsel gibi HTML olmayan dosyalarda aynı komut sunucunun yanıt başlığında, X-Robots-Tag ile verilir.

En önemli kural, noindex ile robots.txt’nin birbirine karşı çalışabilmesidir. Google, noindex’in işe yaraması için sayfanın robots.txt ile engellenmemiş olması gerektiğini yazıyor: tarayıcı sayfaya giremezse içindeki komutu da okuyamaz ve sayfa, başka sitelerden bağlantı alıyorsa sonuçlarda görünmeye devam edebilir. Bir sayfayı dizinden çıkarmak için doğru araç noindex’tir; robots.txt taramayı durdurur, dizinden çıkarmaz.

noindex ne zaman kullanılır?

• Arama sonucuna hiç gelmemesi gereken sayfalar: form sonrası teşekkür sayfaları, site içi arama sonuçları.
• Başka bir sayfanın içeriğini tekrar eden dosyalar.
• Hata sayfaları: bir 404 sayfasının kendisinin dizine girmesi anlamsızdır.

En pahalı hata ters yöndedir: geliştirme sırasında bütün siteye konan bir noindex’in yayına geçerken kaldırılmasının unutulması. Site çalışır, ziyaretçi bir şey fark etmez, ama Google sayfaları birer birer dizinden çıkarır. Bu yüzden «sitem Google’da çıkmıyor» şikâyetinde kaynak kodunda noindex aramak ilk kontrollerden biridir; bu kontrolü de içeren dokuz başlıklık listeyi Google’da çıkmama rehberinde bulabilirsiniz. Kontrolü bir uzmanla birlikte yapmak isterseniz SEO danışmanlığı bu taramayla başlar.

Birinci el örnek: bu sitede noindex iki yerde, ikisi de bilinçli olarak duruyor. 404 sayfası kendi robots meta etiketinde noindex taşıyor; hata sayfasının arama sonucunda görünmesinin kimseye yararı yok. Yapay zeka ajanları için sitenin bütün özetlerini tek dosyada toplayan llms-full.txt ise HTML olmadığı için komutu sunucu yanıt başlığında, X-Robots-Tag ile alıyor: dosya sitenin başka yerlerinde zaten duran metni ikinci kez taşıdığı için dizine girmesi kopya içerik olurdu. Aynı dosya robots.txt’te kapatılmadı; kapatılsaydı Google komutu hiç okuyamazdı. Bu dosyanın neden var olduğunu llms.txt ve robots.txt rehberinde anlattık.

Bir sayfanın gerçekten dizin dışında kalıp kalmadığı Search Console’daki URL denetimi aracıyla sınanır; araç, dizine eklemeye izin verilip verilmediğini ayrıca gösterir. Dizin dışı kalan sayfaların nedenlerini okumayı «tarandı, dizine eklenmedi» rehberinde anlattık.