Definition & Erklärung llms.txt

Die llms.txt ist eine Textdatei im Markdown-Format, die Sprachmodellen (LLMs) dabei helfen soll, die Struktur und die Inhalte Deiner Webseite besser zu verstehen. Sie wird vom Webseitenbetreiber bereitgestellt und liegt im Root-Verzeichnis der Domain, z.B. www.deinewebseite.de/llms.txt.

Immer mehr KI-Systeme nutzen neben ihren Trainingsdaten auch das Web, um Ihre Modelle mit aktuellen Informationen zu füttern oder um Antworten direkt zu generieren. ChatGPT und Co. stoßen dabei auf Herausforderungen:

Die Webseiten sind primär für User erstellt, oft zu komplex und das Kontextfenster zu klein, um als LLM die meisten Webseiten in ihrer Gesamtheit vollständig zu verstehen. Die llms.txt wandelt diese komplexe Struktur, die zusätzlich zu den Inhalten weitere Bausteine wie Navigation, Werbung, JavaSkripte oder Bilder enthält, in LLM-freundlichen Klartext um, denn: LLMs bevorzugen prägnante, fachliche hochwertige Informationen ohne BlaBla.

Das bedeutet; Die llms.txt soll LLMs helfen,

• relevante Inhalte schneller zu finden.
• gezielter aus diesem Content Informationen zu extrahieren.
• effizienter bei der Websuche zu helfen.

So sollen Webseiten in den Antworten der Sprachmodelle sichtbarer werden.

Aufbau der llms.txt:

Laut oben genanntem Standard von Jeremy Howard, soll eine llms.txt folgenden Aufbau aufweisen:

1. Eine H1-Überschrift mit dem Namen der Seite oder des Projekts
2. Optional: Ein Absatz mit einer kurzen Zusammenfassung des Projekts und den notwendigen Informationen, um den Rest des Dokuments zu verstehen
3. Optional: Markdown-Abschnitte (z.B. Listen) mit weiteren Informationen zum Projekt, jedoch ohne weitere Überschriften
4. Optional: Markdown-Abschnitte mit Überschriften (H2), die Dateilisten mit URLs enthalten, die wiederum weitere Informationen beinhalten. Hier sind weitere Anmerkungen zu den Dateien möglich. Der Aufbau ist wie folgt [{Name}]({URL}):{Beschreibung}
5. Optional: Die „Optional“-Sektion: Dieser Bereich hat eine spezielle Bedeutung. Er kann von den LLMs übersprungen werden, wenn sie weniger Kontext benötigen. Das sind nur sekundäre Informationen.

Klingt kompliziert? Ein Beispiel macht es anschaulicher:

# Luisas Beispielprojekt

> Luisas Beispielprojekt ist kein echtes Projekt. Es dient dazu, anhand eines Beispiels den Aufbau einer llms.txt zu veranschaulichen. Gegründet wurde dieses Projekt niemals.

In diesem Abschnitt kannst Du weitere, optionale Details auflisten. Das Projekt enthält verschiedene Bereiche, die exemplarisch Inhalte und Funktionen bereitstellen.

## Shop

- [Shop]( Verkauf von Beispielen aller Arten zu fairen Preisen für Endnutzer

## Ratgeber

- [Ratgeberbereich]( Inhalte rund um Beispiele – wie man gute Beispiele erstellt und wann man sie benötigt.

## Unternehmen

- [Über uns]( Unsere (fiktive) Unternehmensstory

## Dienstleistungen

- [Beratung]( Beratungsdienstleistungen rund um Beispiele

## Optional

- [Wie schreibe ich ein gutes Beispiel?]( Schritt-für-Schritt-Anleitung

- [Wann braucht man Beispiele?]( Typische Szenarien und Anwendungsfälle

- [Die 10 häufigsten Fehler bei Beispielen]( Tipps zur Vermeidung von Stolperfallen

Inspiration & Generatoren für llms.txt

Du möchtest Dich noch mehr inspirieren lassen? Dann schau unter hier findest Du Links zu verschiedenen llms.txt.

Tipp: Du kannst nach .de filtern und Dir verschiedene, deutsche llms.txt files ansehen.

Die meisten CM- und Shopsysteme bieten inzwischen entweder selbst einen Generator an oder es gibt ein Plugin dafür. Bei WordPress bietet zum Beispiel YOAST bereits in der Free-Version eine Möglichkeit. Hier kannst Du die Seiten entweder automatisch aussuchen lassen oder manuell auswählen. In meinen Tests wurden bei der automatischen Auswahl meistens Seitens ausgewählt, die ich nicht in der llms.txt favorisiere, von daher wählte ich manuell:

In den YOAST-Einstellungen wählst Du selbst, ob Du die Seiten manuell auswählen möchtest oder das Plugin dies automatisiert für Dich übernimmt.

Allerdings gibt es bei der manuellen Auswahl vordefinierte Bereiche, denen Du dann aus einer Dropdown-Liste die richtigen URLs zuordnen kannst:

• Über Uns
• Kontakt
• Nutzungsbedingungen
• Datenschutzerklärung
• Shop

Darunter gibt es die Möglichkeit weitere Inhaltsseiten Anhand ihres Titels auszuwählen:

Im YOAST-Konfigurationsbereich lassen sich Seiten anhand ihres Titels auswählen.

Allerdings kannst Du hier keinen individuellen Titel vergeben und keine Beschreibung hinzufügen.

Als weitere Möglichkeit gibt es noch Online-Generatoren für Deine llms.txt, zum Beispiel

Dort gibst Du Deine Domain ein, Deine Webseite wird (an)gecrawlt und es wird eine llms.txt erstellt. So hast Du schon einmal die Grundstruktur. Der Generator von Wordlift listet recht gut die URLs auf, gibt aber keine Beschreibung der URLs.

Writesonic finde ich persönlich besser, weil dieser Generator eine kurze Beschreibung der URLs einbaut, die gar nicht so schlecht ist. Allerdings sind diese Beschreibungen manchmal – nicht immer – auf Englisch. Hier musst Du auf jeden Fall kontrollieren und im Zweifel nachbessern.

So sieht beispielsweise eine llms.txt aus, die mit writesonic erstellt wurde.

Llms.txt vs. llms-full.txt

Neben der llms.txt gibt es noch die llms-full.txt. Der Unterschied leitet sich bereits aus dem Namen ab:

• txt: Kompakte Übersicht der wichtigsten Seiten. Es ist eine Art Inhaltsverzeichnis.
• Llms-full.txt: Einzelnes Markdown-Dokument, in dem bereits der gesamte, reine Textinhalt Deiner Webseite zusammengefasst ist. Die llms-full ist also das „fertige Buch“.

Der Vorteil der llmsfull.txt liegt darin, dass das Einlesen der Informationen für die KI-Bots noch einfacher wird. Das bietet sich vor allem für API- oder Software-Dokumentationen an. Gibt man diese URL den LLMs als „Futter“, werden die Antworten deutlich präziser.

Unterschiede zwischen robots.txt, sitemap.xml und llms.txt

Anders als die robots.txt ist die llms.txt nicht für die Crawlingsteuerung zuständig, sondern soll als Brücke zwischen großen, komplexen Webseiten und den Sprachmodellen fungieren.

Vereinfacht gesagt: Die llms.txt soll den LLMs helfen, die Inhalte der Webseite besser zu verstehen.

Die robots.txt erlaubt oder verbietet bestimmten Crawlern den Besuch Deiner kompletten Webseite oder einzelner Bereiche. Mehr dazu kannst Du in unserem Blogpost zur robots.txt nachlesen.

Die llms.txt dagegen ist eine Möglichkeit LLMs kuratierte und LLM-freundliche Informationen bereitzustellen. Sie kann keine Bots blocken. Möchtest Du LLMs-Bots blocken, musst Du dafür die robots.txt verwenden. Die meisten der bekannten KI-Crawler (GPTBot, PerplexityBot, Google-Extended) beachten die robots.txt-Datei Deiner Webseite.

Die sitemap.xml ist eine XML-Datei, die alle indexierbaren URLs Deiner Webseite auflistet und Suchmaschinen-Bots dabei helfen soll, diese schneller zu crawlen und zu indexieren.

Die llms.txt hat eine ganz andere Funktion als die robots.txt. Letztere ist für das Crawling zuständig, während die llms.txt Informationen bereitstellt.

Kritikpunkte an der llms.txt

Die llms.txt ist aktuell noch experimentell und ihr Einsatz unter SEOs umstritten. Wie bei allem, gibt es Argumente für beide Seiten. Ich habe Dir hier die häufigsten Kritikpunkte aufgelistet – und meine Meinung dazu.

1.   Nur sehr wenige Webseiten nutzen bisher eine llms.txt.

Ein häufig genannter Kritikpunkt ist, dass aktuell nicht einmal 0,005% aller Webseiten eine llms.txt nutzen. Diesen Punkt lasse ich für mich persönlich nicht gelten. Wenn wir hier jetzt von einem riesigen Programmieraufwand sprechen würden, wäre ich vollkommen bei den kritischen Stimmen und würde sagen: „Warte erstmal ab, ob sich das durchsetzt“. Aber nachdem Du je nach Seitengröße mit den diversen Tools für eine erste, einfache llms.txt nicht mal 15 Minuten brauchst, bin ich der Meinung: Probiere es einfach aus!

2.   Es gibt keinen etablierten Standard.

Es gibt zwar einen Standard-Vorschlag, aber keinen etablierten Standard. Das heißt: Die llms.txt, die zu finden sind, unterscheiden sich im Aufbau. Niemand weiß, ob sich llms.txt durchsetzen werden und wenn ja, wie sie dann aussehen sollen. Es kann also sein, dass Du jetzt eine llms.txt erstellst, deren Aufbau künftig ganz anders sein soll. Hier gilt für mich das gleiche Argument wie beim vorherigen Punkt: Nachdem sich der Aufwand in Grenzen hält, ist auch eine spätere Adaption an einen Standard nicht dramatisch. Und: Die Etablierung von Standards dauert eben seine Zeit. Auch der Aufbau einer Sitemap oder der robots.txt geschah nicht über Nacht.

3.  Große LLMs ignorieren die llms.txt.

Laut John Müller und Gary Illyes von Google, ignorieren die großen LLMs die llms.txt. John Müller vergleicht sie in einem reddit-Thread sogar mit dem schon lange überflüssigen Keyword-Meta-Tag. Seine Argumente:

• Die Informationen in der llms.txt sind zu leicht manipulierbar (das sind aber Webseiteninhalte auch…)
• Die Bots müssten dann sowieso die Webseite erneut crawlen, um die Informationen gegenzuprüfen (ja, aber so haben sie schon einmal einen Anhaltspunkt, wo sie starten können).

Außerdem crawlt zumindest der OAI-SearchBot von ChatGPT bei einigen Projekten die llms.txt.

Ganz interessant ist auch das Experiment von Ryan Howard.Er hat in seinen llms.txt-Generator für WordPress einen Zähler integriert, der Aufrufe durch verschiedene LLM-Bots von seinem Plugin erstellten llms.txt-Dateien trackt. Laut diesem rufen der GPTBot und der Claude-Bot die llms.txt am häufigsten auf. Im Vergleich zu den Installationen seines Plugins (über 20.000) erscheint mir die Zahl jedoch sehr gering (einige Hundert besuchte llms.txts. Auch wie technisch korrekt das Projekt aufgezogen ist, kann ich ehrlicherweise nicht beurteilen. Kein belegbarer SEO- & LLMO-Vorteil vorhanden.

Korrekt, es gibt bisher keinen Hinweis darauf, dass die llms.txt das Ranking in den Suchmaschinen oder LLMs verbessert. Allerdings wurde auch noch nicht das Gegenteil bewiesen. Und solange es kein zuverlässiges (!) Tracking für LLMs gibt, wird es mit der Beweislast schwer. Ich bin der Meinung: Es kann zumindest auch nicht schaden.

4.   Die llms.txt muss gewartet werden.

Ich bin der Meinung, Du musst nicht gleich mit einer vollständigen llms-full.txt starten, sondern es reicht eine llms.txt mit Deinen wichtigsten URLs. Diese wichtigsten Inhalte werden sich vermutlich nicht allzu häufig ändern. Der Wartungsaufwand hält sich in Grenzen. Außerdem gibt es inzwischen einige automatisiert arbeitende Tools, für die llms-full.txt kann das hilfreich sein.

5.   Die Antworten in den LLMs zeigen nicht auf die Quell-URL, sondern auf die llms.txt.

Lustigerweise haben die gleichen Leute, die sagen, dass die LLMs die llms.txt nicht nutzen, Angst, dass die Sprachmodelle statt auf die Quell-URL auf die llms.txt verweisen, was ein negatives Nutzererlebnis darstellt. Ich selbst habe noch keine Quell-URL gesehen, die auf die llms.txt oder eine .md-Datei (Eine Markdown-Variante des Inhalts) verweist. Die llms.txt fungiert mehr wie ein Wegweiser und soll – wie gesagt – dem Sprachmodell helfen, relevanten Content zu finden.

Fazit: Solltest Du eine llms.txt nutzen?

Ganz ehrlich: Ich finde es schadet nicht und ist mit einem geringen Aufwand verbunden.

Der Standard formt sich gerade, die Nutzung wird immer häufiger. Ich sehe es wie Carolyn Shelby: „Because when it comes to the future of AI search, the riches go to those who make their value easy to find.”

Übrigens hat Anthropic, der Entwickler von Claude, für seine Dokumentation sowohl eine llms.txt als auch eine llsm-full.txt: . Das ist für mich ein starkes Signal, wenn eines der führenden AI-Unternehmen daraufsetzt. Und auch Google hat in seinem Agent-to-Agent Protokoll auf Github eine llms.txt integriert:

Aber: Wie die Zukunft der llms.txt aussehen wird – das weiß im Moment nur die Glaskugel.

Bildquellen:

Titelbild: © RaCreative #1561584766 Adobe Stock

Bild 2 und 3: © Seokratie, Screenshots aus Yoast-Plugin

Bild 4: © Seokratie, Screenshot aus dem Tool Writesonic

Bild 5: © KI-generiert mit ChatGPT