Definition & Erklärung llms.txt

Die llms.txt ist eine Textdatei im Markdown-Format, die Sprachmodellen (LLMs) dabei helfen soll, die Struktur und die Inhalte Deiner Webseite besser zu verstehen. Sie wird vom Webseitenbetreiber bereitgestellt und liegt im Root-Verzeichnis der Domain, z.B. www.deinewebseite.de/llms.txt.

Immer mehr KI-Systeme nutzen neben ihren Trainingsdaten auch das Web, um Ihre Modelle mit aktuellen Informationen zu füttern oder um Antworten direkt zu generieren. ChatGPT und Co. stoßen dabei auf Herausforderungen:

Die Webseiten sind primär für User erstellt, oft zu komplex und das Kontextfenster zu klein, um als LLM die meisten Webseiten in ihrer Gesamtheit vollständig zu verstehen. Die llms.txt wandelt diese komplexe Struktur, die zusätzlich zu den Inhalten weitere Bausteine wie Navigation, Werbung, JavaSkripte oder Bilder enthält, in LLM-freundlichen Klartext um, denn: LLMs bevorzugen prägnante, fachliche hochwertige Informationen ohne BlaBla.

Das bedeutet; Die llms.txt soll LLMs helfen,

• relevante Inhalte schneller zu finden.
• gezielter aus diesem Content Informationen zu extrahieren.
• effizienter bei der Websuche zu helfen.

So sollen Webseiten in den Antworten der Sprachmodelle sichtbarer werden.

Aufbau der llms.txt:

Laut oben genanntem Standard von Jeremy Howard, soll eine llms.txt folgenden Aufbau aufweisen:

1. Eine H1-Überschrift mit dem Namen der Seite oder des Projekts
2. Optional: Ein Absatz mit einer kurzen Zusammenfassung des Projekts und den notwendigen Informationen, um den Rest des Dokuments zu verstehen
3. Optional: Markdown-Abschnitte (z.B. Listen) mit weiteren Informationen zum Projekt, jedoch ohne weitere Überschriften
4. Optional: Markdown-Abschnitte mit Überschriften (H2), die Dateilisten mit URLs enthalten, die wiederum weitere Informationen beinhalten. Hier sind weitere Anmerkungen zu den Dateien möglich. Der Aufbau ist wie folgt [{Name}]({URL}):{Beschreibung}
5. Optional: Die „Optional“-Sektion: Dieser Bereich hat eine spezielle Bedeutung. Er kann von den LLMs übersprungen werden, wenn sie weniger Kontext benötigen. Das sind nur sekundäre Informationen.

Klingt kompliziert? Ein Beispiel macht es anschaulicher:

# Luisas Beispielprojekt

> Luisas Beispielprojekt ist kein echtes Projekt. Es dient dazu, anhand eines Beispiels den Aufbau einer llms.txt zu veranschaulichen. Gegründet wurde dieses Projekt niemals.

In diesem Abschnitt kannst Du weitere, optionale Details auflisten. Das Projekt enthält verschiedene Bereiche, die exemplarisch Inhalte und Funktionen bereitstellen.

## Shop

- [Shop]( Verkauf von Beispielen aller Arten zu fairen Preisen für Endnutzer

## Ratgeber

- [Ratgeberbereich]( Inhalte rund um Beispiele – wie man gute Beispiele erstellt und wann man sie benötigt.

## Unternehmen

- [Über uns]( Unsere (fiktive) Unternehmensstory

## Dienstleistungen

- [Beratung]( Beratungsdienstleistungen rund um Beispiele

## Optional

- [Wie schreibe ich ein gutes Beispiel?]( Schritt-für-Schritt-Anleitung

- [Wann braucht man Beispiele?]( Typische Szenarien und Anwendungsfälle

- [Die 10 häufigsten Fehler bei Beispielen]( Tipps zur Vermeidung von Stolperfallen

Inspiration & Generatoren für llms.txt

Du möchtest Dich noch mehr inspirieren lassen? Dann schau unter hier findest Du Links zu verschiedenen llms.txt.

Tipp: Du kannst nach .de filtern und Dir verschiedene, deutsche llms.txt files ansehen.

Die meisten CM- und Shopsysteme bieten inzwischen entweder selbst einen Generator an oder es gibt ein Plugin dafür. Bei WordPress bietet zum Beispiel YOAST bereits in der Free-Version eine Möglichkeit. Hier kannst Du die Seiten entweder automatisch aussuchen lassen oder manuell auswählen. In meinen Tests wurden bei der automatischen Auswahl meistens Seitens ausgewählt, die ich nicht in der llms.txt favorisiere, von daher wählte ich manuell:

In den YOAST-Einstellungen wählst Du selbst, ob Du die Seiten manuell auswählen möchtest oder das Plugin dies automatisiert für Dich übernimmt.

Allerdings gibt es bei der manuellen Auswahl vordefinierte Bereiche, denen Du dann aus einer Dropdown-Liste die richtigen URLs zuordnen kannst:

• Über Uns
• Kontakt
• Nutzungsbedingungen
• Datenschutzerklärung
• Shop

Darunter gibt es die Möglichkeit weitere Inhaltsseiten Anhand ihres Titels auszuwählen:

Im YOAST-Konfigurationsbereich lassen sich Seiten anhand ihres Titels auswählen.

Allerdings kannst Du hier keinen individuellen Titel vergeben und keine Beschreibung hinzufügen.

Als weitere Möglichkeit gibt es noch Online-Generatoren für Deine llms.txt, zum Beispiel

Dort gibst Du Deine Domain ein, Deine Webseite wird (an)gecrawlt und es wird eine llms.txt erstellt. So hast Du schon einmal die Grundstruktur. Der Generator von Wordlift listet recht gut die URLs auf, gibt aber keine Beschreibung der URLs.

Writesonic finde ich persönlich besser, weil dieser Generator eine kurze Beschreibung der URLs einbaut, die gar nicht so schlecht ist. Allerdings sind diese Beschreibungen manchmal – nicht immer – auf Englisch. Hier musst Du auf jeden Fall kontrollieren und im Zweifel nachbessern.

So sieht beispielsweise eine llms.txt aus, die mit writesonic erstellt wurde.

Llms.txt vs. llms-full.txt

Neben der llms.txt gibt es noch die llms-full.txt. Der Unterschied leitet sich bereits aus dem Namen ab:

• txt: Kompakte Übersicht der wichtigsten Seiten. Es ist eine Art Inhaltsverzeichnis.
• Llms-full.txt: Einzelnes Markdown-Dokument, in dem bereits der gesamte, reine Textinhalt Deiner Webseite zusammengefasst ist. Die llms-full ist also das „fertige Buch“.

Der Vorteil der llmsfull.txt liegt darin, dass das Einlesen der Informationen für die KI-Bots noch einfacher wird. Das bietet sich vor allem für API- oder Software-Dokumentationen an. Gibt man diese URL den LLMs als „Futter“, werden die Antworten deutlich präziser.

Unterschiede zwischen robots.txt, sitemap.xml und llms.txt

Anders als die robots.txt ist die llms.txt nicht für die Crawlingsteuerung zuständig, sondern soll als Brücke zwischen großen, komplexen Webseiten und den Sprachmodellen fungieren.

Vereinfacht gesagt: Die llms.txt soll den LLMs helfen, die Inhalte der Webseite besser zu verstehen.

Die robots.txt erlaubt oder verbietet bestimmten Crawlern den Besuch Deiner kompletten Webseite oder einzelner Bereiche. Mehr dazu kannst Du in unserem Blogpost zur robots.txt nachlesen.

Die llms.txt dagegen ist eine Möglichkeit LLMs kuratierte und LLM-freundliche Informationen bereitzustellen. Sie kann keine Bots blocken. Möchtest Du LLMs-Bots blocken, musst Du dafür die robots.txt verwenden. Die meisten der bekannten KI-Crawler (GPTBot, PerplexityBot, Google-Extended) beachten die robots.txt-Datei Deiner Webseite.

Die sitemap.xml ist eine XML-Datei, die alle indexierbaren URLs Deiner Webseite auflistet und Suchmaschinen-Bots dabei helfen soll, diese schneller zu crawlen und zu indexieren.

Die llms.txt hat eine ganz andere Funktion als die robots.txt. Letztere ist für das Crawling zuständig, während die llms.txt Informationen bereitstellt.

Kritikpunkte an der llms.txt

Die llms.txt ist aktuell noch experimentell und ihr Einsatz unter SEOs umstritten. Wie bei allem, gibt es Argumente für beide Seiten. Ich habe Dir hier die häufigsten Kritikpunkte aufgelistet – und meine Meinung dazu.

1.   Nur sehr wenige Webseiten nutzen bisher eine llms.txt.

Ein häufig genannter Kritikpunkt ist, dass aktuell nicht einmal 0,005% aller Webseiten eine llms.txt nutzen. Diesen Punkt lasse ich für mich persönlich nicht gelten. Wenn wir hier jetzt von einem riesigen Programmieraufwand sprechen würden, wäre ich vollkommen bei den kritischen Stimmen und würde sagen: „Warte erstmal ab, ob sich das durchsetzt“. Aber nachdem Du je nach Seitengröße mit den diversen Tools für eine erste, einfache llms.txt nicht mal 15 Minuten brauchst, bin ich der Meinung: Probiere es einfach aus!

2.   Es gibt keinen etablierten Standard.

Es gibt zwar einen Standard-Vorschlag, aber keinen etablierten Standard. Das heißt: Die llms.txt, die zu finden sind, unterscheiden sich im Aufbau. Niemand weiß, ob sich llms.txt durchsetzen werden und wenn ja, wie sie dann aussehen sollen. Es kann also sein, dass Du jetzt eine llms.txt erstellst, deren Aufbau künftig ganz anders sein soll. Hier gilt für mich das gleiche Argument wie beim vorherigen Punkt: Nachdem sich der Aufwand in Grenzen hält, ist auch eine spätere Adaption an einen Standard nicht dramatisch. Und: Die Etablierung von Standards dauert eben seine Zeit. Auch der Aufbau einer Sitemap oder der robots.txt geschah nicht über Nacht.

3.  Große LLMs ignorieren die llms.txt.

Laut John Müller und Gary Illyes von Google, ignorieren die großen LLMs die llms.txt. John Müller vergleicht sie in einem reddit-Thread sogar mit dem schon lange überflüssigen Keyword-Meta-Tag. Seine Argumente:

• Die Informationen in der llms.txt sind zu leicht manipulierbar (das sind aber Webseiteninhalte auch…)
• Die Bots müssten dann sowieso die Webseite erneut crawlen, um die Informationen gegenzuprüfen (ja, aber so haben sie schon einmal einen Anhaltspunkt, wo sie starten können).

Außerdem crawlt zumindest der OAI-SearchBot von ChatGPT bei einigen Projekten die llms.txt.

Ganz interessant ist auch das Experiment von Ryan Howard.Er hat in seinen llms.txt-Generator für WordPress einen Zähler integriert, der Aufrufe durch verschiedene LLM-Bots von seinem Plugin erstellten llms.txt-Dateien trackt. Laut diesem rufen der GPTBot und der Claude-Bot die llms.txt am häufigsten auf. Im Vergleich zu den Installationen seines Plugins (über 20.000) erscheint mir die Zahl jedoch sehr gering (einige Hundert besuchte llms.txts. Auch wie technisch korrekt das Projekt aufgezogen ist, kann ich ehrlicherweise nicht beurteilen. Kein belegbarer SEO- & LLMO-Vorteil vorhanden.

Korrekt, es gibt bisher keinen Hinweis darauf, dass die llms.txt das Ranking in den Suchmaschinen oder LLMs verbessert. Allerdings wurde auch noch nicht das Gegenteil bewiesen. Und solange es kein zuverlässiges (!) Tracking für LLMs gibt, wird es mit der Beweislast schwer. Ich bin der Meinung: Es kann zumindest auch nicht schaden.

4.   Die llms.txt muss gewartet werden.

Ich bin der Meinung, Du musst nicht gleich mit einer vollständigen llms-full.txt starten, sondern es reicht eine llms.txt mit Deinen wichtigsten URLs. Diese wichtigsten Inhalte werden sich vermutlich nicht allzu häufig ändern. Der Wartungsaufwand hält sich in Grenzen. Außerdem gibt es inzwischen einige automatisiert arbeitende Tools, für die llms-full.txt kann das hilfreich sein.

5.   Die Antworten in den LLMs zeigen nicht auf die Quell-URL, sondern auf die llms.txt.

Lustigerweise haben die gleichen Leute, die sagen, dass die LLMs die llms.txt nicht nutzen, Angst, dass die Sprachmodelle statt auf die Quell-URL auf die llms.txt verweisen, was ein negatives Nutzererlebnis darstellt. Ich selbst habe noch keine Quell-URL gesehen, die auf die llms.txt oder eine .md-Datei (Eine Markdown-Variante des Inhalts) verweist. Die llms.txt fungiert mehr wie ein Wegweiser und soll – wie gesagt – dem Sprachmodell helfen, relevanten Content zu finden.

Fazit: Solltest Du eine llms.txt nutzen?

Ganz ehrlich: Ich finde es schadet nicht und ist mit einem geringen Aufwand verbunden.

Der Standard formt sich gerade, die Nutzung wird immer häufiger. Ich sehe es wie Carolyn Shelby: „Because when it comes to the future of AI search, the riches go to those who make their value easy to find.”

Übrigens hat Anthropic, der Entwickler von Claude, für seine Dokumentation sowohl eine llms.txt als auch eine llsm-full.txt: . Das ist für mich ein starkes Signal, wenn eines der führenden AI-Unternehmen daraufsetzt. Und auch Google hat in seinem Agent-to-Agent Protokoll auf Github eine llms.txt integriert:

Aber: Wie die Zukunft der llms.txt aussehen wird – das weiß im Moment nur die Glaskugel.

Bildquellen:

Titelbild: © RaCreative #1561584766 Adobe Stock

Bild 2 und 3: © Seokratie, Screenshots aus Yoast-Plugin

Bild 4: © Seokratie, Screenshot aus dem Tool Writesonic

Bild 5: © KI-generiert mit ChatGPT

Am 3. November wird es ernst auf LinkedIn. Die Microsoft-Tochter informiert derzeit die Nutzer:innen via Pop-up über Veränderungen in den AGB sowie die kommende Datennutzung für das AI Training. Wer das nicht möchte, kann widersprechen.

Was User beachten müssen: LinkedIn möchte Daten von über einer Milliarde Mitglieder ausnutzen

Die Business-Plattform LinkedIn ist riesengroß und für zahlreiche Menschen eine alltagsrelevante Adresse für den Austausch, die Content-Distribution, das Recruiting und sogar die News-Rezeption. Daher sind die Daten von rund einer Milliarde Mitglieder auch besonders wertvoll sowohl im Werbekontext als auch für die Optimierung von KI-Diensten. Von diesen bietet LinkedIn selbst einige an, darunter beispielsweise den AI Hiring Assistant für HR Teams oder Accelerate zur KI-gestützten Kampagnenoptimierung. Um derlei Dienste und künftige Angebote noch besser zu machen, möchte man fortan die User-Daten per Default für das KI-Training nutzen. Im EWR stützt sich LinkedIn dabei auf das berechtigte Interesse im Rahmen der DSGVO, führt aber direkt an, dass User in den Einstellungen Widerspruch leisten können. Dort können die User einfach einen Schieberegler bedienen und sich für oder gegen die Unterstützung des KI-Trainings entscheiden. Private Nachrichten sind vom Training indes ausgeschlossen.

Des Weiteren ändert LinkedIn die AGB und möchte künftig zum Beispiel in besonderen Fällen keine Vorankündigungen bei manchen Themen mehr machen. Das bezieht sich auf manche Gesetzesänderungen oder Produktanpassungen. Auch im Werbekontext gibt es eine Anpassung: Das Unternehmen teilt user-spezifische Interaktionsdaten fortan umfassender mit verbundenen Unternehmen, wozu Microsoft und die Unterfirmen gehören. Das soll das Werbeangebot für Advertiser bei Microsoft Advertising verbessern, da Profildaten, Feed-Aktivitäten und Ad-Interaktionen weitergegeben werden. Doch den EWR und die Schweiz betrifft das nicht, da diese Änderung für die USA und den Rest der Welt (die nicht definierten Regionen neben EWR, UK etc.) gilt.

Wichtig für das Geschäftsmodell: User-Daten großer Plattformen werden zum KI-Vorteil

Alle Details zu den Änderungen an Nutzungsbedingungen und Datenweitergaben kannst du auf LinkedIns dedizierter Website nachlesen. Die Nutzung der User-Daten ist dabei wohl die größte Veränderung, aber eine logische Folge der Entwicklungen in einer KI-first-Ära. Auch andere Plattformen wie beispielsweise Pinterest und Meta nutzen die User-Daten für das KI-Training – wobei ein Widerspruch möglich ist –, Daten aus dem AI Chatbot Claude werden neuerdings ebenfalls für das KI-Training vorgesehen und Reddit nutzt die umfassenden Nutzer:innendaten sogar für KI-Deals mit Google und OpenAI. Nach Angaben von Bloomberg soll bereits der nächste milliardenschwere Deal mit Google anstehen, der eine enge Verzahnung von Reddit Usern und Googles KI-Produkten vorsieht und die User-Daten als Basis zur KI-Optimierung und womöglich gar Werbeoptimierung miteinbeziehen könnte.

Pinterest trainiert AI jetzt mit User-Daten und Fotos

Müssen wir noch über AI reden – wo wir doch schon seit Jahren über nichts anderes mehr reden? Ja! Oder um es mit Eric Schmidt zu sagen, der Google vor zehn Jahren schon darauf ausgerichtet hat „AI is underhyped“.

Daher gab es viel zu sehen, wie Unternehmen AI einsetzen und was daraus für das eigene Unternehmen gelernt werden kann. Und vor allem: Wie die User AI einsetzen.

1. Bot Traffic wächst durch AI

Wie viel des Web Traffic ist eigentlich noch human? Laut Dr. Torsten Schwarz muss eine Website inzwischen bis zu 1.000 Bot-Besuche ertragen, bevor daraus ein User-Besuch wird – eine krasse Veränderung im Vergleich zu SEO, wie wir es früher kannten. Deshalb blocken bereits fünf Prozent der Websites LLMs. Was ihnen dabei aber entgeht: Die Reputation in den Large Language Models der AIs.

2. Wer bezahlt die AI?

AI wird werbefinanziert werden müssen – aber die Werbeformen sind noch unklarer, als sie 2007 bei Facebook waren. Philipp „Pip“ Klöckner kann sich vorstellen, dass die No-click AI Waren für dich bestellt und mit Verkäufer:innen eine Provision aushandelt. Das könnte in der Konsequenz dazu führen, dass Werbungtreibende ein Ziel für die Menge zu verkaufender Produkte vorgeben und die AI-getriebenen Plattformen dann ermitteln, welche ihrer Nutzer:innen sie am leichtesten mit welchem Content davon überzeugen können, das Produkt zu kaufen. Nehmt euch in Acht, wenn eure AI euch im Chat Dinge sagt wie „Dein Auto ist aber schon ziemlich alt“ oder „Deine Haare könnten besser aussehen“.

3. AI ersetzt keine Agenturen

Die großen Werbungtreibenden dagegen wollen weiterhin human intelligence, die die AI bedient. Dementsprechend wollen sie auch weiterhin mit Agenturen zusammenarbeiten, die die neue Technik für sie einsetzen sollen. Damit stellen sich die großen Werbungtreibenden hinter die Agenturen und einen vielfältigen Dienstleister:innenkosmos; bei kleineren Werbungtreibenden kann das jedoch anders aussehen.

Gibt es sonst noch Veränderungen? Ja, aber ihre Geschwindigkeit verlangsamt sich weiter. Werfen wir einen Blick darauf, wie sich die Trends der vergangenen Jahre entwickelt haben:

4. MMM – Marketing Mix Modelling

Die meisten Unternehmen, die es sich leisten können, setzen inzwischen ein MMM ein – aber nur 68 Prozent der nutzenden Unternehmen halten sich an die Empfehlungen, die das MMM auswirft – sagt der MMM-Dienstleister:innen-Funnel. Das Dilemma aller Black-Box-Modelle, das früher oder später auch für AI gelten könnte: Nichts ist schlimmer als ein Modell, dem man nicht vertraut.

5. Mobile Commerce

Der Anteil von Mobile Commerce – also Online-Bestellungen, die vom Handy ausgehen – wächst nur noch um ein Prozent pro Jahr. Philipp Klöckner führt es darauf zurück, dass die bestehenden Konsument:innen nicht ihr Verhalten ändern, aber die neu hinzukommende Generation gleich auf Mobile startet.

6. ID-Lösungen

Ein Dauerthema der DMEXCO bleibt „das freie Internet gegen die Walled Gardens“. Veranstalter:in ist ja der Online-Vermarkter-Kreis im BVDW, der über die Jahre immer höherer Marktanteile im Verkauf von Werbeflächen vielfältiger Websites an Google und Meta abgeben musste. Ihr Bereich steht aus vielen Richtungen unter Druck: journalistischer Content ist teuer zu produzieren, aber kaum noch zu monetarisieren, wenn AIs die Texte zusammenfassen und die User nicht mehr auf die Website kommen. Dazu gibt es hier weniger Daten als bei in einem Walled Garden eingeloggten User.

Eine Lösung bieten IDs wie NetID und UTIQ. Sie sind nun einige Jahre auf dem Markt, warten aber noch auf den Durchbruch. Es ist das klassische Henne-Ei-Problem: Zu wenig Websites integrieren ID-Lösungen, daher geben Werbungtreibende wenig Budget in dem Bereich aus. Nun geht ein Ruck durch die Branche: Mediaagenturen und der Verband der Werbungtreibenden OWM setzen sich dafür ein und wollen, dass weitere Vermarkter:innen sich einer ID-Lösung anschließen. Das Zeitfenster für Durchbruch oder Scheitern könnte sich bald schließen.

Worüber wurde nicht mehr gesprochen auf der DMEXCO?

7. Datenschutz? erledigt

Es wurde nicht darüber gesprochen, wie man es den Konsument:innen und den Regierungen beim Umgang mit Daten recht machen kann. Sondern es geht eher darum, zunehmend die Transaktionsdaten wie beispielsweise von PayPal zum Tracking des Werbeerfolgs zu nutzen.

8. Purpose Marketing? Auch erledigt

Es kam unter die Räder – zu schwer umsetzbar, zu wenig umsatzrelevant und messbar. In Zeiten ohne Wirtschaftswachstum scheinen kurzfristige Maßnahmen einfach dringender.

Und was ist sonst noch wichtig?

9. Ein Weckruf von Professor Bernhard Pörksen

Wir müssen uns mehr anstrengen. Für mehr Bildung – besonders im Umgang mit Medien, Medienfreiheit und Fake News. Wir müssen uns mehr streiten, auch wenn es unbequemer wird: Online-Hass und Online-Übersensibilität kann nicht alleine durch die Plattformen gelöst werden, sondern vor allem auch durch unseren direkten Widerspruch.

Dabei müssen positive Beispiele hervorgehoben werden anstatt Pessimismus. Unser Europäisches Modell von Freiheit wird dazu aber auch Regulierung brauchen.

10. Budget-Anteil

Und noch eine gute Nachricht zum Schluss: in seinem dreißigsten Jahr hat die Online-Werbung jetzt den Anteil an den Werbe-Budgets erreicht, den sie an der Mediennutzung hat – sagen 72 Prozent der Befragten des Trendmonitors der Mediaagenturen im BVDW.

Sehen wir uns wieder auf der DMEXCO am 23. und 24. September 2026?

Wer nutzt ChatGPT wofür?

Studie bietet Insights aus Millionen Chats