robots.txt-Generator für KI-Bots.
Der robots.txt-Generator für KI-Bots erstellt einen Abschnitt für Ihre robots.txt, der Bots für Modelltraining, für KI-Suche und für Nutzeranfragen getrennt erlaubt oder sperrt.
So wird es benutzt
- Wählen Sie für jede der drei Kategorien „Erlauben“ oder „Sperren“
- Fügen Sie bei Bedarf die Adresse Ihrer Sitemap hinzu
- Klicken Sie auf „Erzeugen“; fügen Sie den Abschnitt am Ende Ihrer robots.txt ein und lassen Sie die bestehenden Regeln stehen
Das Werkzeug läuft vollständig in Ihrem Browser — es werden keine Daten gesendet und keine Cookies gesetzt.
Drei Kategorien, drei getrennte Entscheidungen
Die Bots der KI-Unternehmen erledigen nicht nur eine Aufgabe. Manche sammeln Inhalte für das Modelltraining, manche bauen einen Index für die KI-Suche des Unternehmens auf, und manche rufen eine Seite genau dann ab, wenn ein Nutzer eine Frage stellt. Eine pauschale Sperre, die alle drei in einen Topf wirft, schaltet mit einer Entscheidung aus Urheberrechtsgründen unbemerkt auch die Sichtbarkeit in der Suche ab. Die Unterscheidung beschreibt der Leitfaden zu KI-Crawlern und robots.txt ausführlich.
Für eine Kategorie, die Sie erlauben, schreibt das Werkzeug keine eigene Gruppe. Findet ein Bot in der robots.txt eine Gruppe mit seinem Namen, liest er nur diese und ignoriert die allgemeinen `User-agent: *`-Regeln; eine eigene `Allow: /`-Gruppe für „Erlauben“ könnte diesem Bot also Pfade öffnen, die Sie sonst sperren.
Bots, die auf Nutzeranfrage kommen
Einige Bots dieser Kategorie schreiben in ihrer eigenen Dokumentation, dass sie robots.txt-Regeln möglicherweise nicht befolgen, weil ein Mensch die Anfrage ausgelöst hat. Sie in der robots.txt zu sperren, ist eine Absichtserklärung, keine verlässliche Sperre.
Das Signal für die Trainingspräferenz (2027)
Für die robots.txt wurde ein neues Signal vorgeschlagen, das nur Ihre Präferenz zum Training mitteilt: `User-Agent: __usage_ai-training`. Es ist noch ein IETF-Entwurf; Google hat angekündigt, es ab Anfang 2027 zu lesen, Microsoft ab dem 1. Februar 2027, und Anthropic erkennt es nach eigenen Angaben bereits an. Die allgemeine Regel `User-Agent: *` umfasst dieses Signal nicht.
Nicht in der Liste
Für Bytespider, xAI und DeepSeek wurde keine Crawler-Dokumentation des Anbieters selbst gefunden; die Liste enthält nur dokumentierte Bots. CCBot arbeitet für ein offenes Crawl-Archiv, und seine Dokumentation erwähnt kein Training; wenn Sie ihn sperren möchten, können Sie ihn separat in Ihre Datei schreiben.
Warum die Datei nicht immer reicht
robots.txt ist eine Bitte, kein Schloss. Eine Netzwerkschicht wie Cloudflare kann eine Anfrage stoppen, bevor sie Ihren Server erreicht; selbst wenn Ihre Datei sie erlaubt, kommt der Bot womöglich nicht herein. Nach der Veröffentlichung können Sie die robots.txt Ihrer Website mit dem Werkzeug zur Maschinenlesung Bot für Bot lesen.
Das Werkzeug sendet keine Anfrage an eine Website; der Abschnitt entsteht in Ihrem Browser.