Das Messobservatorium.
- gemessene Websites
- 160
- antwortend
- 131
- Messdatum
- Stichprobenliste
- Tranco 5674N
Eine periodische Messung der Web-Gesundheit auf den meistbesuchten Websites in der Türkei und Europa. Keine Urteile: nur gemessene Werte, die Methode, das Datum und der Befehl, der dieselben Zahlen reproduziert.
Bot-spezifische Serverantwort
Auf diesen Websites erhalten ein gewöhnlicher Browser und eine botförmige Kontrollsonde eine Antwort, während der genannte KI-Crawler einen anderen Statuscode erhält. Da beide Gegensonden durchkommen, hängt die Antwort von der Agentenidentität ab.
Manche Websites unterscheiden: Sie antworten bestimmten Agenten, anderen nicht. In der Tabelle zeigt sich das als Unterschied zwischen den Codes innerhalb einer Zeile.
| Website | Rang | Kontrolle | Placebo | GPTBot | OAI-SearchBot | ClaudeBot | PerplexityBot | Google-Extended |
|---|---|---|---|---|---|---|---|---|
| welt.de | 795 | 200 | 200 | 403 | 403 | 403 | 403 | 403 |
| spiegel.de | 828 | 200 | 200 | 403 | 200 | 200 | 200 | 200 |
| lefigaro.fr | 832 | 200 | 200 | 403 | 403 | 403 | 403 | 403 |
| corriere.it | 967 | 200 | 200 | 403 | 200 | 403 | 200 | 200 |
| franceinfo.fr | 1.106 | 200 | 200 | 403 | 403 | 403 | 403 | 403 |
| wetteronline.de | 1.112 | 200 | 200 | 403 | 403 | 403 | 403 | 200 |
| gazzetta.it | 1.233 | 200 | 200 | 403 | 200 | 403 | 200 | 200 |
| zalando.de | 1.245 | 200 | 200 | 403 | 403 | 403 | 403 | 200 |
| jutarnji.hr | 1.413 | 200 | 200 | 403 | 403 | 403 | 403 | 200 |
| t24.com.tr | 10.403 | 200 | 200 | 403 | 403 | 403 | 403 | 200 |
| hesap.com.tr | 20.084 | 200 | 200 | 403 | 403 | 403 | 403 | 403 |
Websites, bei denen robots.txt und Serverantwort auseinandergehen
Die robots.txt dieser Websites blockiert den genannten Agenten nicht; der Server liefert dennoch einen anderen Statuscode. robots.txt ist eine Erklärung, und die antwortende Schicht ist meist eine andere.
| Website | Agent | robots.txt | Messung | Kontrolle |
|---|---|---|---|---|
| wetteronline.de | GPTBot | in der Sammelgruppe erlaubt | 403 | 200 |
| wetteronline.de | OAI-SearchBot | in der Sammelgruppe erlaubt | 403 | 200 |
| wetteronline.de | ClaudeBot | in der Sammelgruppe erlaubt | 403 | 200 |
| wetteronline.de | PerplexityBot | in der Sammelgruppe erlaubt | 403 | 200 |
| hesap.com.tr | GPTBot | in eigener Gruppe erlaubt | 403 | 200 |
| hesap.com.tr | OAI-SearchBot | in eigener Gruppe erlaubt | 403 | 200 |
| hesap.com.tr | ClaudeBot | in eigener Gruppe erlaubt | 403 | 200 |
| hesap.com.tr | PerplexityBot | in eigener Gruppe erlaubt | 403 | 200 |
| hesap.com.tr | Google-Extended | in eigener Gruppe erlaubt | 403 | 200 |
Aggregierte Messungen
Gezählt über alle antwortenden Websites. Es wird keine einzelne Website genannt.
| Messung | Websites | Anteil |
|---|---|---|
| trägt eine gültige robots.txt | 118 | %90,1 |
| trägt JSON-LD auf der Startseite | 47 | %35,9 |
| trägt einen hreflang-Satz | 13 | %9,9 |
| sendet einen HSTS-Header | 83 | %63,4 |
| stellt eine llms.txt bereit | 23 | %17,6 |
| GPTBot — in robots.txt blockiert | 28 | %21,4 |
| OAI-SearchBot — in robots.txt blockiert | 17 | %13,0 |
| ClaudeBot — in robots.txt blockiert | 28 | %21,4 |
| PerplexityBot — in robots.txt blockiert | 25 | %19,1 |
| Google-Extended — in robots.txt blockiert | 22 | %16,8 |
Daten
Die vollständige Ausgabe jedes Durchlaufs wird maschinenlesbar veröffentlicht und nie gelöscht. Frühere Durchläufe bleiben bestehen; nur so entsteht eine Zeitreihe.
Die Daten dürfen frei verwendet werden. Eine Quellenangabe ist erwünscht, aber nicht erforderlich.