Wie man KI-Crawler-Logs liest.

Serverlogs sind der einzige direkte Beleg dafür, ob KI-Crawler Ihre Website wirklich besuchen und welche Seiten sie holen.

Das meiste, was über Antwortmaschinen-Sichtbarkeit geschrieben wird, beruht auf Vermutung, denn die Maschinen erklären ihre Auswahllogik nicht. Aber eine Schicht ist vollständig messbar: ob der Crawler auf die Website kommt. Diese Information steht in den Serverlogs, braucht kein besonderes Werkzeug — und die meisten Teams schauen nie hinein.

Der Wert des Log-Lesens: Es zeigt Verhalten, nicht Absicht. Sie können die Erlaubnis in die robots.txt geschrieben haben — und der Crawler kommt trotzdem nicht. Sie können Ihren Inhalt für gut halten — und der Crawler hat diese Seite nie besucht. Das Log ersetzt die Annahme durch die Messung.

Worauf man schaut

Logzeilen tragen im Allgemeinen dieselben Informationen: Zeitpunkt der Anfrage, angefragter Pfad, Antwortcode und User-Agent. Um die KI-Crawler zu isolieren, schaut man auf das Agentenfeld und filtert die bekannten Namen.

1. Welche Agenten kommen — GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und die übrigen. Kommt einer nie?
2. Welche Seiten sie holen — die Startseite, die tiefen Seiten oder nur eine Handvoll URLs?
3. Welchen Antwortcode sie erhalten — zweihundert, oder vierhundertvier und Fünfhunderter?
4. Wie oft sie kommen — täglich, wöchentlich, monatlich?
5. Wie schnell eine neue Seite geholt wird — die Verzögerung zwischen Veröffentlichung und Crawl.
6. Welche Seiten nie geholt werden — ein Hinweis auf interne Verlinkung oder ein Sitemap-Problem.

Der dritte Punkt ist besonders wertvoll, weil er eine stille Verlustquelle ist. Kommt der Crawler, erhält aber Fehler, liegt der Sichtbarkeitsverlust in der Zugangsschicht und hat mit dem Inhalt nichts zu tun. Es ist die am leichtesten zu behebende Problemart mit der schnellsten Wirkung.

Was man lernt

Die praktischste Information aus dem Log ist die Crawl-Verzögerung: Wie lange nach der Veröffentlichung wird eine Seite geholt? Diese Dauer bestimmt das Tempo der Inhaltsstrategie. Schreiben Sie zu einem aktuellen Thema, und der Crawler holt Ihre Seite drei Wochen später, sind Sie in diesem Thema zu spät.

Zweitens: welche Seiten Aufmerksamkeit bekommen. Crawler holen eine Website nicht in gleicher Frequenz; manche Seiten regelmäßig, manche nie. Die regelmäßig geholten Seiten werden zu den Vertretern der Website in diesem Feld. Eine nie geholte Seite existiert für die Antwortmaschine nicht, obwohl sie veröffentlicht ist.

Drittens der vergleichende Blick: Holen die Suchmaschinen-Crawler und die KI-Crawler dieselben Seiten? Wo sie auseinandergehen, lohnt die Ursachenforschung — meist liegt es an der internen Linkstruktur oder der Abdeckung der Sitemap.

Eine nie geholte Seite existiert für die Antwortmaschine nicht, obwohl sie veröffentlicht ist.

Verifikation: der Agentenname genügt nicht

Eine Warnung ist nötig: Das User-Agent-Feld lässt sich fälschen, und es wird gefälscht. Um zu verifizieren, dass eine Anfrage wirklich vom behaupteten Crawler kommt, braucht es einen zusätzlichen Schritt — die meisten großen Anbieter veröffentlichen die Adressbereiche ihrer Crawler oder eine Reverse-Lookup-Methode.

Die Unterscheidung zählt in der Praxis, weil gefälschter Traffic die Loganalyse verfälscht. Der Befund „GPTBot kommt hundertmal am Tag“ ist bedeutungslos, wenn diese Anfragen nicht wirklich von OpenAI kamen. Eine ernsthafte Analyse verifiziert mindestens die aktivsten Agenten.

Auf dieser Website ist der Crawler-Zugang in der robots.txt für siebzehn Agenten ausdrücklich definiert, und das Log-Lesen ist der geplante Teil der Antwortmaschinen-Messung. Die Messung zuerst einzurichten und dann Inhalte zu produzieren ist der einzige Weg zu sehen, welche Arbeit sich auszahlt — eine nachträglich eingerichtete Messung kann das Vorher nicht zeigen.

Wo man anfängt

Der Log-Zugriff variiert je nach Hosting-Anbieter; manche erlauben den Download aus dem Panel, manche bieten eine Oberfläche, bei manchen schaut man in die Aufzeichnungen des Edge-Servers. Der erste Schritt ist herauszufinden, wo diese Aufzeichnungen liegen.

Der zweite Schritt ist ein einfacher Filter: ein paar Zeilen eines Befehls, der die bekannten Agentennamen sucht und die Treffer zählt. Der dritte Schritt: das Ergebnis in eine Tabelle schreiben und monatlich wiederholen. Diese drei Schritte erzeugen die konkretesten Daten, die Sie über Antwortmaschinen-Sichtbarkeit haben können.

Und zusammen mit den Handdurchsichten der Fragen gelesen, ergibt dieses Datum das volle Bild: Kommt der Crawler, welche Seiten nimmt er, und werden diese Seiten in Antworten genannt? Die Antworten auf die drei Fragen sagen, in welcher Schicht zu arbeiten ist.

Was tun, wenn es keine Logs gibt

Manche Hosting-Umgebungen bieten keinen Zugriff auf rohe Logs, oder er liegt hinter einer Edge-Schicht. Dann ist die Messung nicht unmöglich, nur indirekt. Die meisten Edge-Anbieter zeigen in ihren eigenen Analysepanels eine User-Agent-Aufschlüsselung; dort lässt sich nachsehen. Alternativ kann eine kleine Zwischenschicht auf der Serverseite die Anfragen in ein eigenes Protokoll schreiben — wenige ergänzte Zeilen öffnen einen dauerhaften Messkanal.

Beim statischen Hosting ist der praktischste Weg ein leichtes Protokoll in der Edge-Funktions-Schicht: nur Agentenname, Pfad und Zeit. Das Minimum an Daten, das genügt, um das Crawler-Verhalten zu sehen, ohne personenbezogene Daten zu sammeln. Auch für den Datenschutz ist das eine saubere Lösung, denn über den Besucher wird nichts aufgezeichnet.

Und eine Erinnerung: Der Messkanal muss eingerichtet werden, BEVOR die Inhalte produziert werden. Eine nachträglich eingerichtete Messung kann das Vorher nicht zeigen und die Frage „hat sich diese Arbeit gelohnt“ nicht beantworten. Eine Verbesserung ohne Basismessung kann nicht beweisen, dass sie eine Verbesserung ist.

Crawl-Budget und Priorität

Ein Crawler holt nicht bei jedem Besuch Ihre ganze Website; er kommt mit begrenztem Budget und entscheidet selbst, wo er es ausgibt. Das ist die zweitwertvollste Information aus den Logs: Welchen Seiten widmet der Crawler sein Budget? Die oft geholten Seiten sind die, die diese Maschine für repräsentativ hält — und diese Liste deckt sich meist nicht mit Ihrer eigenen Prioritätenliste.

Wo sie auseinandergehen, liegt die Ursache meist in der internen Linkstruktur. Seiten mit vielen Links werden oft gecrawlt; Seiten ohne Links aus dem Fließtext selten oder nie. Das zeigt, warum die Disziplin der internen Verlinkung nicht nur für den Nutzer zählt, sondern auch für den Crawler.

Der praktische Weg der Korrektur ist derselbe: Einer wichtigen, aber selten gecrawlten Seite einen Link aus dem Fließtext zu geben erhöht ihre Crawl-Frequenz. Die Sitemap ist ein Entdeckungskanal, trägt aber kein Prioritätssignal; die Priorität wird aus der Linkstruktur gelesen.