KI-Crawler und robots.txt.
Die robots.txt ist die Textdatei, die mitteilt, welcher Crawler welche Bereiche einer Website betreten darf — und für KI-Crawler gelten dieselben Regeln.
Die erste Schicht der Antwortmaschinen-Sichtbarkeit ist der Zugang, und das Tor des Zugangs ist die robots.txt. Ist diese Schicht gebrochen, läuft alles Übrige — Struktur, Schema, Inhaltsqualität — ins Leere. Der erste Schritt der Antwortmaschinen-Optimierung ist deshalb sicherzustellen, dass die Crawler wirklich hineinkommen.
Die gute Nachricht: Auf den meisten Websites ist der Zugang bereits offen, weil eine allgemeine Erlaubnisregel alle Crawler abdeckt. Die schlechte Nachricht: Das ist meist keine bewusste Entscheidung, sondern ein Standardwert — und Standardwerte können sich eines Tages lautlos ändern.
Zwei Arten von Agenten, zwei verschiedene Entscheidungen
Die Crawler der KI-Unternehmen erledigen nicht eine einzige Aufgabe, und die Unterscheidung zu kennen zeigt, welche Entscheidung was beeinflusst. Es gibt grob drei Kategorien.
- Trainings-Crawler — sammeln Inhalte für das Modelltraining. Ihre Sperrung betrifft künftige Modellversionen, nicht die heutige Sichtbarkeit.
- Index-/Such-Crawler — crawlen für den eigenen Index der Antwortmaschine. Ihre Sperrung schließt die Sichtbarkeit in dieser Maschine direkt.
- Nutzerausgelöste Abrufer — holen eine Seite im Moment, in dem ein Nutzer nach ihr fragt oder einen Link öffnen lässt. Ihre Sperrung verhindert, dass der Nutzer diese Seite über das Modell liest.
Der kritische Punkt: Trainingserlaubnis und Sucherlaubnis sind NICHT DASSELBE. Ein Verlag, der beide in denselben Topf wirft und pauschal sperrt, handelt aus Urheberrechtssorge — und schließt dabei unbemerkt auch die eigene Sichtbarkeit. Die Entscheidungen können getrennt getroffen werden, und sie sollten es.
Die Umsetzung auf dieser Website
In der robots.txt dieser Website sind siebzehn Agenten einzeln ausgeschrieben, und alle sind erlaubt. Die allgemeine Regel deckte ohnehin alle ab; für das explizite Ausschreiben der Gruppen sind zwei Gründe festgehalten.
Der erste ist technisch: Manche Crawler beachten beim Lesen der Datei nur die Gruppe, die auf ihren eigenen Namen geschrieben ist, und überspringen die allgemeine Regel. Ein namentlich genannter Block sichert gegen dieses Verhalten ab.
Der zweite ist Dokumentation: Dass die Absicht geschrieben steht, heißt, dass der Platz bereit ist, falls später ein einzelner Bot eingeschränkt werden muss. Mit einer einzeiligen Änderung lässt sich ein Agent schließen, und die Entscheidung bleibt in der Datei sichtbar.
- Suchseite — Googlebot, Bingbot, YandexBot, Applebot.
- Generative Seite, OpenAI — GPTBot, OAI-SearchBot, ChatGPT-User.
- Generative Seite, Anthropic — ClaudeBot, Claude-User, Claude-SearchBot.
- Weitere generative — PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot.
Google-Extended ist in der Liste ein Sonderfall: kein von Googlebot getrennter Agent, sondern ein Steuerschalter, der bestimmt, ob Inhalte in Googles generativen Produkten verwendet werden. Seine Sperrung berührt das klassische Suchranking nicht, schließt aber die Verwendung in generativen Funktionen.
Verbreitete Fehler
Die robots.txt ist eine einfache Datei, aber an einigen Stellen arbeitet sie lautlos falsch — und weil die Folgen unsichtbar sind, bleibt es monatelang unbemerkt.
Falscher Ort. Die Datei muss in der Wurzel der Website liegen; eine Kopie in einem Unterverzeichnis oder auf einer Subdomain wird nicht gelesen. Subdomains brauchen ihre eigene robots.txt.
Gesperrte Ressourcendateien. CSS- und JavaScript-Dateien zu sperren hindert den Crawler daran, die Seite so zu sehen, wie sie ist. Für Suchmaschinen ist das seit Langem eine nicht empfohlene Praxis.
Sperren und Deindexieren verwechseln. Die robots.txt verhindert das Crawlen, nicht das Indexieren. Eine Seite, die von anderswo Links erhält, kann im Index erscheinen, auch wenn sie nicht gecrawlt wird. Um sie aus dem Index zu nehmen, muss die Seite crawlbar sein und selbst eine Indexierungsanweisung tragen.
Die Sitemap-Zeile vergessen. Eine der praktischsten Funktionen der Datei ist die Angabe der Sitemap-Adresse; fehlt sie, bleibt die Entdeckung ganz den Links und der Handmeldung überlassen.
Die robots.txt verhindert das Crawlen, nicht das Indexieren — wer beides verwechselt, bekommt eine Seite, die weder gecrawlt wird noch verschwindet.
Inhaltssignale
Eine jüngst zur robots.txt hinzugekommene Schicht teilt über das Crawlen hinaus die NUTZUNGSABSICHT mit: Ob Inhalte in den Suchindex dürfen, in generativen Antworten verwendet werden dürfen und im Modelltraining verwendet werden dürfen, lässt sich getrennt angeben.
Diese Signale sind keine technische Sperre, sondern eine Rechteerklärung — ob sie befolgt werden, hängt von der Politik des jeweiligen Crawlers ab. Dennoch hat es Wert, die Absicht ausdrücklich zu schreiben, besonders während sich die juristische Seite der Urheberrechtsdebatte entwickelt.
Eine Warnung: Dieses Feld ändert sich schnell, und die heutige Syntax kann morgen anders sein. Jede Zeile, die in die Datei kommt, muss verstanden sein; eine kopierte, aber nicht verstandene Regel kann ungewollt Sichtbarkeit schließen.
Die wahren Kosten des Sperrens
Wer über die Sperrung eines Agenten entscheidet, muss klar sehen, was verloren geht. Den Trainings-Crawler zu sperren betrifft die Zukunft und rührt die heutige Sichtbarkeit nicht an. Den Such-Crawler zu sperren heißt dagegen, in dieser Maschine ab heute unsichtbar zu sein — und wird das zurückgenommen, kehrt die Wirkung nicht sofort zurück; erneutes Crawlen und Indexieren brauchen Zeit.
Diese Asymmetrie formt auch die Entscheidung: Die Trainingserlaubnis ist jederzeit umkehrbar; die Sucherlaubnis sammelt, einmal geschlossen, Kosten an. Im Zweifel die Sucherlaubnisse offen zu halten und die Trainingserlaubnisse zu überprüfen ist der risikoärmere Anfang.
Und es gibt eine Messdimension: Der einzige Weg, die Wirkung einer Sperrentscheidung zu sehen, sind die Serverlogs. Kommt der Agent nicht mehr, greift die Regel; kommt er weiter, ist die Regel entweder falsch geschrieben oder dieser Crawler beachtet die Datei nicht. Der zweite Fall ist real und muss bekannt sein — die robots.txt ist eine Bitte, keine technische Barriere.
Kontrolle: sehen, dass die Datei wirklich arbeitet
Anzunehmen, dass eine in die robots.txt geschriebene Regel greift, genügt nicht; sie muss verifiziert werden. Die einfachste Verifikation: sicherstellen, dass die Datei live wirklich ausgeliefert wird — in der Wurzel, als Klartext und mit dem Statuscode zweihundert. Auf überraschend vielen Websites fehlt die Datei oder wird mit falschem Inhaltstyp ausgeliefert.
Die zweite Verifikation kommt aus den Serverlogs: Hat sich das Verhalten des betroffenen Agenten nach dem Schreiben der Regel geändert? Kommt ein gesperrter Agent weiterhin, ist die Regel entweder falsch geschrieben oder der Crawler ignoriert die Datei. Beides sind Informationen, die man kennen muss.
Die dritte und am häufigsten übersprungene: die Datei nicht einmal prüfen und dann liegen lassen. Ändert sich die Serverkonfiguration, kommt eine Sicherheitsschicht hinzu oder geht ein Deployment schief, kann die Datei lautlos verschwinden. Eine regelmäßige Kontrolle — oder ein automatischer Test — fängt das ab.