murattunalı.
Lesart

KI-Crawler und robots.txt.

Die robots.txt ist die Textdatei, die mitteilt, welcher Crawler welche Bereiche einer Website betreten darf — und für KI-Crawler gelten dieselben Regeln.

Die erste Schicht der Antwortmaschinen-Sichtbarkeit ist der Zugang, und das Tor des Zugangs ist die robots.txt. Ist diese Schicht gebrochen, läuft alles Übrige — Struktur, Schema, Inhaltsqualität — ins Leere. Der erste Schritt der Antwortmaschinen-Optimierung ist deshalb sicherzustellen, dass die Crawler wirklich hineinkommen.

Die gute Nachricht: Auf den meisten Websites ist der Zugang bereits offen, weil eine allgemeine Erlaubnisregel alle Crawler abdeckt. Die schlechte Nachricht: Das ist meist keine bewusste Entscheidung, sondern ein Standardwert, und Standardwerte können sich eines Tages lautlos ändern.

Zwei Arten von Agenten, zwei verschiedene Entscheidungen

Die Crawler der KI-Unternehmen erledigen nicht eine einzige Aufgabe, und die Unterscheidung zu kennen zeigt, welche Entscheidung was beeinflusst. Es gibt grob drei Kategorien.

  • Trainings-Crawler — sammeln Inhalte für das Modelltraining. Ihre Sperrung betrifft künftige Modellversionen, nicht die heutige Sichtbarkeit.
  • Index-/Such-Crawler — crawlen für den eigenen Index der Antwortmaschine. Ihre Sperrung schließt die Sichtbarkeit in dieser Maschine direkt.
  • Nutzerausgelöste Abrufer — holen eine Seite im Moment, in dem ein Nutzer nach ihr fragt oder einen Link öffnen lässt. Ihre Sperrung verhindert, dass der Nutzer diese Seite über das Modell liest.

Der kritische Punkt: Trainingserlaubnis und Sucherlaubnis sind NICHT DASSELBE. Ein Verlag, der beide in denselben Topf wirft und pauschal sperrt, handelt aus Urheberrechtssorge — und schließt dabei unbemerkt auch die eigene Sichtbarkeit. Die Entscheidungen können getrennt getroffen werden, und sie sollten es.

Die Umsetzung auf dieser Website

In der robots.txt dieser Website führen wir siebzehn Agenten einzeln auf und erlauben alle. Die allgemeine Regel deckte ohnehin alle ab; für das explizite Ausschreiben der Gruppen haben wir zwei Gründe festgehalten.

Der erste ist technisch: Manche Crawler beachten beim Lesen der Datei nur die Gruppe, die auf ihren eigenen Namen geschrieben ist, und überspringen die allgemeine Regel. Ein namentlich genannter Block sichert gegen dieses Verhalten ab.

Der zweite ist Dokumentation: Dass die Absicht geschrieben steht, heißt, dass der Platz bereit ist, falls später ein einzelner Bot eingeschränkt werden muss. Mit einer einzeiligen Änderung lässt sich ein Agent schließen, und die Entscheidung bleibt in der Datei sichtbar.

  • Suchseite — Googlebot, Bingbot, YandexBot, Applebot.
  • Generative Seite, OpenAI — GPTBot, OAI-SearchBot, ChatGPT-User.
  • Generative Seite, Anthropic — ClaudeBot, Claude-User, Claude-SearchBot.
  • Weitere generative — PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot.

Google-Extended ist in der Liste ein Sonderfall: kein von Googlebot getrennter Agent, sondern ein Steuerschalter. Laut Google begrenzt seine Sperrung die Verwendung Ihrer Inhalte für das Training von Gemini-Modellen (einschließlich der Modelle, die Antworten in der Suche erzeugen) sowie in Gemini-Apps und Vertex AI; ob Ihre Website in der Suche erscheint — in den klassischen Ergebnissen, in der Übersicht mit KI oder im KI-Modus —, ändert sie nicht. Der Weg aus den KI-Funktionen der Suche führt nicht über die robots.txt, sondern über die Freigabe-Einstellung für generative KI in der Search Console (Leitfaden zur Übersicht mit KI).

Wenn Sie Cloudflare nutzen: das Tor vor der robots.txt

Die robots.txt ist eine Bitte; eine Netzwerkschicht wie Cloudflare kann eine Anfrage dagegen stoppen, bevor sie Ihren Server erreicht. Ein KI-Crawler kommt deshalb unter Umständen nicht auf Ihre Website, obwohl Ihre robots.txt ihn zulässt. Cloudflare hat im Juli 2025 angekündigt, KI-Crawler standardmäßig zu blockieren, und bietet seit Juli 2026 statt eines einzelnen Schalters „KI-Bots blockieren“ drei getrennte Kategorien an.

  • Suche — Crawler, die Ihre Inhalte indexieren, um später Fragen dazu zu beantworten.
  • Agent — automatisierter Verkehr, der in Echtzeit im Auftrag einer Person handelt: ein Chat, der eine Seite abruft, Agenten, die einen Browser bedienen.
  • Training — Crawler, die Ihre Inhalte nehmen, um ein Modell zu trainieren oder feinabzustimmen.

Für jede Kategorie gibt es drei Optionen: auf allen Seiten blockieren, nur auf Seiten mit Werbung blockieren oder nicht blockieren. Seit dem 15. September 2026 gilt für neu bei Cloudflare hinzugefügte Domains diese Voreinstellung: Training- und Agent-Bots werden auf Seiten mit Werbung blockiert, die Suche bleibt erlaubt. Mehrzweck-Crawler, die sowohl für die Suche als auch für das Training arbeiten, können von Einstellungen betroffen sein, die das Training abschalten.

Ist die verwaltete robots.txt von Cloudflare aktiv, stellt Cloudflare Ihrer Datei einen eigenen Abschnitt voran: Inhaltssignale und Sperrzeilen für bekannte Trainings-Crawler (GPTBot, ClaudeBot, CCBot, Bytespider). Der Abschnitt beginnt mit der Zeile „# BEGIN Cloudflare Managed content“; öffnen Sie die robots.txt Ihrer Website im Browser und suchen Sie nach dieser Zeile. Die Datei selbst bleibt aber eine Absichtserklärung; durchgesetzt wird die Sperre über die Einstellungen in Cloudflares AI Crawl Control.

Für die Prüfung genügen drei Schritte: robots.txt öffnen und nach dem verwalteten Abschnitt suchen; im Cloudflare-Dashboard unter AI Crawl Control nachsehen, welche Crawler kommen und welche blockiert werden; in den Serverprotokollen prüfen, ob die betreffenden Agenten tatsächlich ankommen. Wer die Kategorie Suche abschaltet, schaltet auch die Sichtbarkeit in dieser Suchmaschine ab — die weiter unten beschriebene Asymmetrie gilt auch hier.

Verbreitete Fehler

Die robots.txt ist eine einfache Datei, aber an einigen Stellen arbeitet sie lautlos falsch — und weil die Folgen unsichtbar sind, bleibt es monatelang unbemerkt.

Falscher Ort. Die Datei muss in der Wurzel der Website liegen; eine Kopie in einem Unterverzeichnis oder auf einer Subdomain wird nicht gelesen. Subdomains brauchen ihre eigene robots.txt.

Gesperrte Ressourcendateien. CSS- und JavaScript-Dateien zu sperren hindert den Crawler daran, die Seite so zu sehen, wie sie ist. Für Suchmaschinen ist das seit Langem eine nicht empfohlene Praxis.

Sperren und Deindexieren verwechseln. Die robots.txt verhindert das Crawlen, nicht das Indexieren. Eine Seite, die von anderswo Links erhält, kann im Index erscheinen, auch wenn sie nicht gecrawlt wird. Um sie aus dem Index zu nehmen, muss die Seite crawlbar sein und selbst eine Indexierungsanweisung tragen.

Die Sitemap-Zeile vergessen. Eine der praktischsten Funktionen der Datei ist die Angabe der Sitemap-Adresse; fehlt sie, bleibt die Entdeckung ganz den Links und der Handmeldung überlassen.

Die robots.txt verhindert das Crawlen, nicht das Indexieren — wer beides verwechselt, bekommt eine Seite, die weder gecrawlt wird noch verschwindet.

Inhaltssignale

Eine jüngst zur robots.txt hinzugekommene Schicht teilt über das Crawlen hinaus die NUTZUNGSABSICHT mit: Ob Inhalte in den Suchindex dürfen, in generativen Antworten verwendet werden dürfen und im Modelltraining verwendet werden dürfen, lässt sich getrennt angeben. Ein verbreitetes Beispiel ist die Inhaltssignal-Richtlinie, die Cloudflare in die robots.txt einfügt: Suche, KI-Eingabe und KI-Training werden getrennt angegeben.

Diese Signale sind keine technische Sperre, sondern eine Rechteerklärung — ob sie befolgt werden, hängt von der Politik des jeweiligen Crawlers ab. Dennoch hat es Wert, die Absicht ausdrücklich zu schreiben, besonders während sich die juristische Seite der Urheberrechtsdebatte entwickelt.

Eine Warnung: Dieses Feld ändert sich schnell, und die heutige Syntax kann morgen anders sein. Jede Zeile, die in die Datei kommt, muss verstanden sein; eine kopierte, aber nicht verstandene Regel kann ungewollt Sichtbarkeit schließen.

Die wahren Kosten des Sperrens

Wer über die Sperrung eines Agenten entscheidet, muss klar sehen, was verloren geht. Den Trainings-Crawler zu sperren betrifft die Zukunft und rührt die heutige Sichtbarkeit nicht an. Den Such-Crawler zu sperren heißt dagegen, in dieser Maschine ab heute unsichtbar zu sein — und wird das zurückgenommen, kehrt die Wirkung nicht sofort zurück; erneutes Crawlen und Indexieren brauchen Zeit.

Diese Asymmetrie formt auch die Entscheidung: Die Trainingserlaubnis ist jederzeit umkehrbar; die Sucherlaubnis sammelt, einmal geschlossen, Kosten an. Im Zweifel die Sucherlaubnisse offen zu halten und die Trainingserlaubnisse zu überprüfen ist der risikoärmere Anfang.

Und es gibt eine Messdimension: Der einzige Weg, die Wirkung einer Sperrentscheidung zu sehen, sind die Serverlogs. Kommt der Agent nicht mehr, greift die Regel; kommt er weiter, ist die Regel entweder falsch geschrieben oder dieser Crawler beachtet die Datei nicht. Der zweite Fall ist real und muss bekannt sein — die robots.txt ist eine Bitte, keine technische Barriere.

Kontrolle: sehen, dass die Datei wirklich arbeitet

Nehmen Sie nicht einfach an, dass eine in die robots.txt geschriebene Regel greift; verifizieren Sie sie. Die einfachste Verifikation: sicherstellen, dass die Datei live wirklich ausgeliefert wird — in der Wurzel, als Klartext und mit dem Statuscode zweihundert. Auf überraschend vielen Websites fehlt die Datei oder wird mit falschem Inhaltstyp ausgeliefert.

Die zweite Verifikation machen Sie in den Serverlogs: Hat sich das Verhalten des betroffenen Agenten geändert, nachdem Sie die Regel geschrieben haben? Kommt ein gesperrter Agent weiterhin, ist die Regel entweder falsch geschrieben oder der Crawler ignoriert die Datei. Beides sind Informationen, die man kennen muss.

Die dritte und am häufigsten übersprungene: die Datei nicht einmal prüfen und dann liegen lassen. Ändert sich die Serverkonfiguration, kommt eine Sicherheitsschicht hinzu oder geht ein Deployment schief, kann die Datei lautlos verschwinden. Eine regelmäßige Kontrolle — oder ein automatischer Test — fängt das ab.

Wenn Sie wissen möchten, wie Ihre Marke in ChatGPT, Google AI Overviews und Perplexity genannt wird: Unsere GEO-Beratung erfasst, bei welchen Fragen und in welchen Systemen Sie als Quelle erscheinen, und schafft die Voraussetzungen.

So wird es benutzt robots.txt-Generator für KI-Bots

QUELLEN