llms.txt und robots.txt: zwei Dateien, zwei Aufgaben.
Die robots.txt sagt einem Crawler, wohin er darf; die llms.txt sagt einem Modell, was die Website ist und wo was zu finden ist.
Beide Dateien liegen in der Wurzel der Website, beide sind Klartext, und ihre Namen ähneln sich — deshalb werden sie oft verwechselt. Ihre Aufgaben sind aber völlig verschieden, und keine ersetzt die andere. Den Unterschied zu verstehen heißt, von beiden das Richtige zu erwarten.
Die robots.txt ist ein dreißig Jahre alter Standard, wird von sämtlichen Suchmaschinen anerkannt und ist ein ZUGANGS-Protokoll: welcher Pfad gecrawlt werden darf, welcher nicht. Die llms.txt ist dagegen ein neuer Vorschlag, wird von keiner Maschine offiziell unterstützt und ist eine KARTE: die Zusammenfassung der Website, ihre Hauptbereiche und die Liste der wichtigen Seiten.
Die Aufgaben der beiden Dateien
- robots.txt — Zugangserlaubnis. Welcher Agent darf wohin. Breit anerkannt und befolgt.
- robots.txt — Sitemap-Angabe. Der Ausgangspunkt der Entdeckung.
- llms.txt — die Ein-Absatz-Zusammenfassung dessen, was die Website ist.
- llms.txt — die kommentierte Liste der Hauptbereiche und wichtigen Seiten.
- llms.txt — die geordnete Form der überprüfbaren Fakten.
Eines muss klar gesagt werden: Es gibt keinen Beleg, dass Google die llms.txt liest, und das Unternehmen hat keine solche Unterstützung erklärt. Bei den anderen Antwortmaschinen ist die Lage ähnlich — manche lesen sie vielleicht, manche nicht. Diese Datei zu hinterlegen ist keine Garantie, sondern eine Wette mit niedrigem Einsatz.
Warum sie dennoch geschrieben wird? Es gibt drei Gründe, und alle drei sind von der Datei selbst unabhängig.
Erstens: Die Übung, die Datei zu schreiben, schärft die Website selbst. Gezwungen zu sein, eine Website in einem Absatz zusammenzufassen und ihre Hauptseiten in je einem Satz zu beschreiben, zwingt dazu zu sehen, was die Website wirklich erzählt. Diese Klarheit färbt später auf Seitentitel und Beschreibungen ab.
Zweitens: Die Kosten sind fast null. Eine vom Generator erzeugte Datei aktualisiert sich von selbst, wenn sich die Seiten ändern. Wenn kein Posten mit Handpflege entsteht, ist selbst ein Ertrag mit niedriger Wahrscheinlichkeit vernünftig.
Drittens: Auch wenn sich der Standard nicht durchsetzt, ist der Inhalt selbst anderswo nützlich — dieselbe Zusammenfassung und dieselbe Faktenliste lassen sich in der Beschreibung der Startseite, im Schema und in den Social-Karten verwenden.
Die llms.txt ist keine Garantie, sondern eine Wette mit niedrigem Einsatz — und ihr eigentlicher Nutzen entsteht beim Schreiben.
Die Umsetzung auf dieser Website
Die llms.txt dieser Website kommt aus dem Generator und wird nicht von Hand bearbeitet. Sie enthält die Definition der Website, die Angabe der drei Sprachen, die kommentierte Liste der Hauptseiten, die Fallstudien, die Journalbeiträge und einen Abschnitt „überprüfbare Fakten“.
Der letzte Abschnitt ist eine bewusste Wahl: Die Datei trägt Fakten, keine Marketingsprache. Wer der Gründer ist, wie viele Sprachen, welche Technologie, welche Projekte. Informationen von der Art, die ein Modell verifizieren und mit anderen Quellen abgleichen kann.
Und eine Konsistenzregel: Jede URL in der Datei muss echt sein, und jede Aussage muss sich auch auf der Website selbst verifizieren lassen. Die Prüfsuite misst bei jedem Lauf, dass die Links der llms.txt mit den Blöcken auf dem Bildschirm übereinstimmen — sollte die Datei eines Tages lügen, bleibt der Test.
Was zuerst kommt
Die Reihenfolge ist unstrittig: Die robots.txt kommt zuerst. Ohne Zugangserlaubnis nützt keine Karte. Bei der Antwortmaschinen-Vorbereitung einer Website ist der erste Blick der robots.txt gewidmet, der zweite den Serverlogs — kommt der Crawler wirklich?
Die llms.txt kann dagegen ans Ende gestellt werden. Funktioniert der Zugang, ist die Inhaltsstruktur sauber und das Schema aufgebaut, ist diese Datei eine kleine zusätzliche Schicht. Ist der Zugang gebrochen, hat die Datei keinerlei Bedeutung.
Die praktische Zusammenfassung: robots.txt ist eine Pflicht, llms.txt eine Wahl. Ist die erste falsch geschrieben, schließt sich die Sichtbarkeit; wird die zweite nie geschrieben, geht nichts verloren — aber die Schreibübung selbst tut der Sprache der Website gut.
Was in die Datei geschrieben wird
Das Format der llms.txt ist als Vorschlag definiert und nicht streng, aber es gibt eine Struktur, die funktioniert: ein Titel, ein Zusammenfassungsabsatz, kommentierte Linklisten unter Abschnittsüberschriften und, falls vorhanden, überprüfbare Fakten.
- Titel — der Name der Website. Kurz und als Marke geschrieben.
- Zusammenfassung — was die Website ist, in einem Absatz. Definitionssprache, keine Marketingsprache.
- Abschnitte — die Hauptseitengruppen, neben jedem Link eine einsätzige Beschreibung.
- Fakten — überprüfbare Informationen: Gründungsjahr, Sprachen, Technologie, gemessene Zahlen.
- Links — Sitemap und, falls vorhanden, Feed-Adressen.
Die Beschreibungssätze sind der wertvollste Teil, weil sie dem Modell erlauben zu verstehen, was eine Seite ist, ohne sie zu öffnen. Die Aufgabe eines solchen Satzes ist zu sagen, welche Frage die Seite beantwortet — nicht, den Titel zu wiederholen.
Und dass die Datei vom Generator geschrieben wird, ist immer besser als von Hand. Eine handgeschriebene Karte veraltet, während sich die Seiten ändern — und eine veraltete Karte ist schlimmer als gar keine: Sie zeigt dem Modell Seiten, die es nicht gibt.
Konsistenz: dass die Datei nicht lügt
Die einzige echte Bedingung einer Karte ist, dass der gezeigte Ort existiert. Wird eine in der llms.txt gelistete Seite vom Netz genommen oder ändert sich ihre Adresse, beginnt die Datei lautlos zu lügen — und eine Karte, die ein Modell zu nicht existierenden Seiten führt, ist schlimmer als keine, weil sie das Vertrauen zerstört. Dass die Datei nicht von Hand, sondern aus dem Generator kommt, ist deshalb keine Vorliebe, sondern eine Notwendigkeit: Ändern sich die Seiten, ändert sich die Karte, und dazwischen liegt kein menschlicher Fehler.
Dieselbe Konsistenz gilt für die Aussagen. Der Abschnitt „überprüfbare Fakten“ muss Informationen tragen, die auch an anderen Stellen der Website erscheinen und messbar sind. Wie viele Sprachen, welche Technologie, welche Projekte — alles muss sich auch auf den Seiten verifizieren lassen. Auf dieser Website misst die Prüfsuite bei jedem Lauf, dass die Linkliste der llms.txt mit den Blöcken auf dem Bildschirm übereinstimmt; weicht die Datei eines Tages ab, leuchtet der Test rot, und der Unterschied wird im Moment des Deployments sichtbar.
Eine letzte praktische Anmerkung: Der Inhaltstyp der Datei muss Klartext sein, und im Browser geöffnet muss sie lesbar erscheinen. Manche Serverkonfigurationen liefern Dateien mit unbekannter Endung als Download aus oder senden sie mit falschem Typ; dann existiert die Datei technisch, kann aber nicht gelesen werden. Die Kontrolle ist einfach — Adresse im Browser öffnen, sicherstellen, dass sie als Text erscheint, und verifizieren, dass der Statuscode zweihundert ist. Diese drei Kontrollen lassen sich automatisieren, und sie sollten es, denn die Serverkonfiguration kann sich eines Tages lautlos ändern.