Crawl-Budget.
Das Crawl-Budget ist die Anzahl der Anfragen, die eine Suchmaschine in einem bestimmten Zeitraum für das Abrufen einer Website aufwendet.
Ein Crawler holt bei jedem Besuch nicht die ganze Website; er kommt mit einem begrenzten Budget und entscheidet selbst, wofür er es ausgibt. Bei kleinen Websites ist das meist unkritisch; bei Websites mit Tausenden Seiten bestimmt die Verteilung des Budgets die Sichtbarkeit unmittelbar.
Was das Budget verschwendet, ist bekannt: Weiterleitungsketten, Adressen mit Fehlerantworten, Seiten, die endlose Filterkombinationen erzeugen, und derselbe Inhalt unter verschiedenen Adressen. Jedes davon verbraucht eine Anfrage, die echtem Inhalt hätte gelten können.
Die Verteilung des Budgets liest man aus den Serverprotokollen, und das Wertvollste daran ist die Frage: Welche Seiten besucht der Crawler wie oft? Häufig abgerufene Seiten sind jene, die die Suchmaschine für repräsentativ hält — und diese Liste deckt sich meist nicht mit der eigenen Prioritätenliste der Website.
Der Grund für die Abweichung liegt meist in der internen Verlinkung: Seiten mit vielen Verweisen werden häufig gecrawlt, Seiten ohne Verweis aus dem Fließtext selten oder nie. Eine Sitemap ist ein Entdeckungskanal, trägt aber kein Prioritätssignal; die Priorität liest man aus der Verlinkung.
Dieselbe Logik gilt für KI-Crawler, und dort wirkt sie härter: Eine nie abgerufene Seite existiert für eine Antwortmaschine nicht, so veröffentlicht sie auch sein mag.
Ein Budgetproblem ist bei kleinen Websites selten real; bei einigen hundert Seiten schafft der Crawler ohnehin alles. Das Problem beginnt bei Tausenden Seiten, besonders in Systemen, die Filter- und Suchkombinationen erzeugen.
Am wirksamsten behebt man es, indem man die budgetfressenden Adressen an der Quelle sperrt: Parameter, die endlose Kombinationen erzeugen, vom Crawling ausschließen, Weiterleitungsketten auf einen Sprung verkürzen und fehlerhafte Adressen bereinigen. Alle drei bewirken mehr als das Bearbeiten der Sitemap.
- Weiterleitungsketten — jeder Sprung verbraucht eine Anfrage; verkürzen Sie sie auf einen.
- Adressen mit Fehlerantworten — jede gecrawlte, aber nicht gefundene Seite ist verschwendetes Budget.
- Endlose Kombinationen — Filter- und Sortierparameter erzeugen unbegrenzt Adressen.
- Wiederholter Inhalt — dieselbe Seite ist unter verschiedenen Adressen erreichbar.
- Schwache interne Verlinkung — Seiten ohne Verweise werden selten oder nie gecrawlt.
Der fünfte Punkt wird am häufigsten übersehen, und auf dieser Website wurde er gemessen: Es fanden sich vierzehn Seiten, die aus dem Fließtext keinen einzigen Verweis erhielten. Eine Sitemap sorgt für Entdeckung, trägt aber kein Prioritätssignal — die Priorität liest man aus der Verlinkung.