GEO · Messung

Wie weit verschließen türkische Websites ihre Türen vor KI-Bots?

Ob eine Website für KI-Bots geschlossen ist, wird an zwei Stellen bestimmt: durch die Bitte, die in der robots.txt steht, und durch die tatsächliche Entscheidung des Servers oder der Netzwerkschicht davor. Bei den 500 meistbesuchten .tr-Domains der Türkei haben wir beides gemessen, am 7. Oktober und am 1. November, im Abstand von 25 Tagen. Die Ergebnisse werden zusammengefasst berichtet; keine Website wird namentlich genannt.

Murat Tunalı VERÖFFENTLICHT: 2026-11-01 LESEZEIT: 5′ MEASURED GEO · Messung

Das Wichtigste in Kürze

Ausdrückliche Sperren sind selten, nehmen aber schnell zu: Von 414 antwortenden Websites sperren 24 GPTBot und 27 ClaudeBot ausdrücklich in der robots.txt. Am 7. Oktober lagen diese Zahlen bei 16 und 18. Die Zahl der Websites, die das von Google für das Training von Gemini genutzte Token Google-Extended sperren, stieg von 7 auf 16.
Die neuen Sperren kommen von Cloudflare: Von den 10 Websites, die GPTBot in 25 Tagen neu in der robots.txt gesperrt haben, stammt die Sperre bei 10 aus dem verwalteten Abschnitt, den Cloudflare der Datei hinzufügt. Bei 11 der gemessenen Websites ist dieser Abschnitt vorhanden.
Der Server sperrt mehr als die Datei: 36 Websites weisen GPTBot am Server ab; bei 12 davon sperrt die robots.txt GPTBot überhaupt nicht. Was der Websitebetreiber in die Datei schreibt und was die Website tut, gehen also auseinander.
Such-Bots sind weniger betroffen: Die Zahl der Websites, die OAI-SearchBot, den Bot der ChatGPT-Suche, ausdrücklich sperren, blieb bei 8.

Stichprobe und Methode

Die Stichprobe sind die ersten 500 Domains mit der Endung .tr in der Fassung vom 6. Oktober 2026 der in der Forschung genutzten Tranco-Liste. Dieselbe Liste ist auch die Stichprobe des Maschinenlesbarkeitsindex; deshalb lassen sich die Ergebnisse Website für Website mit der Messung vom 7. Oktober vergleichen. Am 1. November antworteten 414 der 500 Domains mit einer erreichbaren Website.

Für jede Website haben wir zwei Dinge getrennt gemessen:

Die erklärte Richtlinie. Wir haben die robots.txt gelesen und für fünf KI-Token die Regel ausgewertet: GPTBot (der Trainings-Crawler von OpenAI), OAI-SearchBot (ChatGPT-Suche), ClaudeBot (Anthropic), PerplexityBot und Google-Extended (von Google für das Training von Gemini genutzt; kein eigener Crawler, sondern ein robots.txt-Token). Außerdem haben wir geprüft, ob die Datei den verwalteten Abschnitt von Cloudflare (# BEGIN Cloudflare Managed content) und die Zeile mit den Inhaltssignalen enthält.
Die durchgesetzte Richtlinie. Wir haben unter der Kennung jedes Bots je eine Anfrage an die Startseite gesendet und die Antwort des Servers mit der Antwort auf eine gewöhnliche Browser-Anfrage und auf einen zufälligen Bot-Namen verglichen. Wurde nur der KI-Bot abgewiesen, während die gewöhnliche Anfrage und der zufällige Bot durchkamen, haben wir das als „KI-spezifische Sperre“ gezählt. So haben wir allgemeinen Bot-Schutz von einer KI-Entscheidung getrennt; 3 Websites gingen nicht in diese Zählung ein, weil sie jeden Bot-Namen abwiesen.

Unsere Anfragen verbargen ihre Identität nicht: Neben den Bot-Namen haben wir die Adresse der Seite geschrieben, die die Messung durchführt. Pro Website haben wir höchstens drei eigene Anfragen und je Bot eine Sondenanfrage gesendet; keine Seite wurde gecrawlt, kein Inhalt gespeichert.

Ergebnisse

GPTBot · ausdrückliche Sperre in der robots.txt 16 → 24 · KI-spezifische Sperre am Server 28 → 36 · davon in der robots.txt nicht gesperrt 15 → 12
ClaudeBot · ausdrückliche Sperre in der robots.txt 18 → 27 · KI-spezifische Sperre am Server 30 → 37 · davon in der robots.txt nicht gesperrt 18 → 14
PerplexityBot · ausdrückliche Sperre in der robots.txt 9 → 9 · KI-spezifische Sperre am Server 10 → 16 · davon in der robots.txt nicht gesperrt 4 → 5
OAI-SearchBot · ausdrückliche Sperre in der robots.txt 8 → 8 · KI-spezifische Sperre am Server 10 → 14 · davon in der robots.txt nicht gesperrt 2 → 2
Google-Extended · ausdrückliche Sperre in der robots.txt 7 → 16 · KI-spezifische Sperre am Server 1 → 2 · davon in der robots.txt nicht gesperrt 0 → 1
Basis: am 7. Oktober 416, am 1. November 414 antwortende Websites.

Ausdrückliche Sperren nehmen zu, aber nicht von Hand. In 25 Tagen haben 10 Websites GPTBot neu in ihrer robots.txt gesperrt; bei 10 davon enthält die Datei den verwalteten Abschnitt von Cloudflare. Bei ClaudeBot gilt dasselbe für 10 der 11 Websites mit neuer Sperre, bei Google-Extended für 10 von 10. Ist diese Einstellung bei Cloudflare aktiv, werden am Anfang der Datei Sperrzeilen für bekannte Trainings-Crawler eingefügt. Der Großteil der Sperren entsteht also nicht dadurch, dass der Websitebetreiber seine robots.txt bearbeitet, sondern durch eine Einstellung bei einem Netzwerkdienst.

Datei und Server gehen auseinander. Bei 12 der 36 Websites, die GPTBot am Server abweisen, verbietet die robots.txt GPTBot nichts. Auf diesen Websites liegt die Entscheidung nicht in der Datei, sondern in einer Regel des Servers oder der Sicherheitsschicht davor. Wer in die robots.txt schaut, kann glauben, die Website sei für Bots offen; der Bot dagegen wird an der Tür abgewiesen. Bei 5 der Websites, bei denen Datei und Server am 7. Oktober so auseinandergingen, steht die GPTBot-Sperre inzwischen auch in der robots.txt; bei 2 Websites ist die Abweichung neu.

Suche und Training trennen sich. Die Zahl der Websites, die OAI-SearchBot, den Bot der ChatGPT-Suche, ausdrücklich sperren, hat sich nicht verändert (8); die Zahl der Websites, die das Trainings-Token Google-Extended sperren, hat sich dagegen mehr als verdoppelt (7 → 16). Auf allen 11 Websites mit dem verwalteten Abschnitt sind GPTBot, ClaudeBot und Google-Extended gesperrt; PerplexityBot bleibt auf 11 davon offen, OAI-SearchBot auf 9. Wer den Such-Bot sperrt, schließt damit auch die Sichtbarkeit in den Antworten dieser Suchmaschine.

Nach Endung. Eine KI-spezifische Sperre am Server zeigt sich bei 12 Prozent der .com.tr-Websites, bei 10 Prozent der .gov.tr-Websites und bei 3 Prozent der .edu.tr-Websites. Der Anteil der Websites, die in der robots.txt mindestens einen KI-Bot ausdrücklich sperren, beträgt bei .com.tr 9 Prozent, bei .edu.tr 4 Prozent und bei .gov.tr 3 Prozent.

Die Grenzen dieser Messung

Zwei Messungen zeigen zwei Momente, keinen Trend; der Unterschied nach 25 Tagen beruht auf kleinen Zahlen.
Gemessen wurde von einem einzigen Standort aus; Netzwerkdienste können je nach Herkunft der Anfrage unterschiedlich entscheiden.
Die echte Anfrage eines Bots kann anders aussehen als unsere Sonde (IP-Adresse, Verifizierung); der Server kann den echten Bot anders behandeln.
Eine 403-Antwort ist nicht immer eine KI-Entscheidung; deshalb haben wir gewöhnliche Anfragen und Anfragen unter einem zufälligen Bot-Namen als Kontrolle verwendet.
Das Vorhandensein des verwalteten Abschnitts haben wir aus dem Text der Datei gelesen; die übrigen Einstellungen der Website im Cloudflare-Dashboard können wir nicht sehen.

Für Ihre eigene Website

Öffnen Sie Ihre robots.txt im Browser und suchen Sie nach der Zeile „# BEGIN Cloudflare Managed content“; ist sie vorhanden, stammen die Regeln zu KI-Bots möglicherweise aus einem Abschnitt, den Sie nicht selbst geschrieben haben. Was wo festgelegt wird, erklären wir in unserem Leitfaden zu KI-Crawlern und robots.txt.