Definition & Erklärung llms.txt

Die llms.txt ist eine Textdatei im Markdown-Format, die Sprachmodellen (LLMs) dabei helfen soll, die Struktur und die Inhalte Deiner Webseite besser zu verstehen. Sie wird vom Webseitenbetreiber bereitgestellt und liegt im Root-Verzeichnis der Domain, z.B. www.deinewebseite.de/llms.txt.

Immer mehr KI-Systeme nutzen neben ihren Trainingsdaten auch das Web, um Ihre Modelle mit aktuellen Informationen zu füttern oder um Antworten direkt zu generieren. ChatGPT und Co. stoßen dabei auf Herausforderungen:

Die Webseiten sind primär für User erstellt, oft zu komplex und das Kontextfenster zu klein, um als LLM die meisten Webseiten in ihrer Gesamtheit vollständig zu verstehen. Die llms.txt wandelt diese komplexe Struktur, die zusätzlich zu den Inhalten weitere Bausteine wie Navigation, Werbung, JavaSkripte oder Bilder enthält, in LLM-freundlichen Klartext um, denn: LLMs bevorzugen prägnante, fachliche hochwertige Informationen ohne BlaBla.

Das bedeutet; Die llms.txt soll LLMs helfen,

• relevante Inhalte schneller zu finden.
• gezielter aus diesem Content Informationen zu extrahieren.
• effizienter bei der Websuche zu helfen.

So sollen Webseiten in den Antworten der Sprachmodelle sichtbarer werden.

Aufbau der llms.txt:

Laut oben genanntem Standard von Jeremy Howard, soll eine llms.txt folgenden Aufbau aufweisen:

1. Eine H1-Überschrift mit dem Namen der Seite oder des Projekts
2. Optional: Ein Absatz mit einer kurzen Zusammenfassung des Projekts und den notwendigen Informationen, um den Rest des Dokuments zu verstehen
3. Optional: Markdown-Abschnitte (z.B. Listen) mit weiteren Informationen zum Projekt, jedoch ohne weitere Überschriften
4. Optional: Markdown-Abschnitte mit Überschriften (H2), die Dateilisten mit URLs enthalten, die wiederum weitere Informationen beinhalten. Hier sind weitere Anmerkungen zu den Dateien möglich. Der Aufbau ist wie folgt [{Name}]({URL}):{Beschreibung}
5. Optional: Die „Optional“-Sektion: Dieser Bereich hat eine spezielle Bedeutung. Er kann von den LLMs übersprungen werden, wenn sie weniger Kontext benötigen. Das sind nur sekundäre Informationen.

Klingt kompliziert? Ein Beispiel macht es anschaulicher:

# Luisas Beispielprojekt

> Luisas Beispielprojekt ist kein echtes Projekt. Es dient dazu, anhand eines Beispiels den Aufbau einer llms.txt zu veranschaulichen. Gegründet wurde dieses Projekt niemals.

In diesem Abschnitt kannst Du weitere, optionale Details auflisten. Das Projekt enthält verschiedene Bereiche, die exemplarisch Inhalte und Funktionen bereitstellen.

## Shop

- [Shop]( Verkauf von Beispielen aller Arten zu fairen Preisen für Endnutzer

## Ratgeber

- [Ratgeberbereich]( Inhalte rund um Beispiele – wie man gute Beispiele erstellt und wann man sie benötigt.

## Unternehmen

- [Über uns]( Unsere (fiktive) Unternehmensstory

## Dienstleistungen

- [Beratung]( Beratungsdienstleistungen rund um Beispiele

## Optional

- [Wie schreibe ich ein gutes Beispiel?]( Schritt-für-Schritt-Anleitung

- [Wann braucht man Beispiele?]( Typische Szenarien und Anwendungsfälle

- [Die 10 häufigsten Fehler bei Beispielen]( Tipps zur Vermeidung von Stolperfallen

Inspiration & Generatoren für llms.txt

Du möchtest Dich noch mehr inspirieren lassen? Dann schau unter hier findest Du Links zu verschiedenen llms.txt.

Tipp: Du kannst nach .de filtern und Dir verschiedene, deutsche llms.txt files ansehen.

Die meisten CM- und Shopsysteme bieten inzwischen entweder selbst einen Generator an oder es gibt ein Plugin dafür. Bei WordPress bietet zum Beispiel YOAST bereits in der Free-Version eine Möglichkeit. Hier kannst Du die Seiten entweder automatisch aussuchen lassen oder manuell auswählen. In meinen Tests wurden bei der automatischen Auswahl meistens Seitens ausgewählt, die ich nicht in der llms.txt favorisiere, von daher wählte ich manuell:

In den YOAST-Einstellungen wählst Du selbst, ob Du die Seiten manuell auswählen möchtest oder das Plugin dies automatisiert für Dich übernimmt.

Allerdings gibt es bei der manuellen Auswahl vordefinierte Bereiche, denen Du dann aus einer Dropdown-Liste die richtigen URLs zuordnen kannst:

• Über Uns
• Kontakt
• Nutzungsbedingungen
• Datenschutzerklärung
• Shop

Darunter gibt es die Möglichkeit weitere Inhaltsseiten Anhand ihres Titels auszuwählen:

Im YOAST-Konfigurationsbereich lassen sich Seiten anhand ihres Titels auswählen.

Allerdings kannst Du hier keinen individuellen Titel vergeben und keine Beschreibung hinzufügen.

Als weitere Möglichkeit gibt es noch Online-Generatoren für Deine llms.txt, zum Beispiel

Dort gibst Du Deine Domain ein, Deine Webseite wird (an)gecrawlt und es wird eine llms.txt erstellt. So hast Du schon einmal die Grundstruktur. Der Generator von Wordlift listet recht gut die URLs auf, gibt aber keine Beschreibung der URLs.

Writesonic finde ich persönlich besser, weil dieser Generator eine kurze Beschreibung der URLs einbaut, die gar nicht so schlecht ist. Allerdings sind diese Beschreibungen manchmal – nicht immer – auf Englisch. Hier musst Du auf jeden Fall kontrollieren und im Zweifel nachbessern.

So sieht beispielsweise eine llms.txt aus, die mit writesonic erstellt wurde.

Llms.txt vs. llms-full.txt

Neben der llms.txt gibt es noch die llms-full.txt. Der Unterschied leitet sich bereits aus dem Namen ab:

• txt: Kompakte Übersicht der wichtigsten Seiten. Es ist eine Art Inhaltsverzeichnis.
• Llms-full.txt: Einzelnes Markdown-Dokument, in dem bereits der gesamte, reine Textinhalt Deiner Webseite zusammengefasst ist. Die llms-full ist also das „fertige Buch“.

Der Vorteil der llmsfull.txt liegt darin, dass das Einlesen der Informationen für die KI-Bots noch einfacher wird. Das bietet sich vor allem für API- oder Software-Dokumentationen an. Gibt man diese URL den LLMs als „Futter“, werden die Antworten deutlich präziser.

Unterschiede zwischen robots.txt, sitemap.xml und llms.txt

Anders als die robots.txt ist die llms.txt nicht für die Crawlingsteuerung zuständig, sondern soll als Brücke zwischen großen, komplexen Webseiten und den Sprachmodellen fungieren.

Vereinfacht gesagt: Die llms.txt soll den LLMs helfen, die Inhalte der Webseite besser zu verstehen.

Die robots.txt erlaubt oder verbietet bestimmten Crawlern den Besuch Deiner kompletten Webseite oder einzelner Bereiche. Mehr dazu kannst Du in unserem Blogpost zur robots.txt nachlesen.

Die llms.txt dagegen ist eine Möglichkeit LLMs kuratierte und LLM-freundliche Informationen bereitzustellen. Sie kann keine Bots blocken. Möchtest Du LLMs-Bots blocken, musst Du dafür die robots.txt verwenden. Die meisten der bekannten KI-Crawler (GPTBot, PerplexityBot, Google-Extended) beachten die robots.txt-Datei Deiner Webseite.

Die sitemap.xml ist eine XML-Datei, die alle indexierbaren URLs Deiner Webseite auflistet und Suchmaschinen-Bots dabei helfen soll, diese schneller zu crawlen und zu indexieren.

Die llms.txt hat eine ganz andere Funktion als die robots.txt. Letztere ist für das Crawling zuständig, während die llms.txt Informationen bereitstellt.

Kritikpunkte an der llms.txt

Die llms.txt ist aktuell noch experimentell und ihr Einsatz unter SEOs umstritten. Wie bei allem, gibt es Argumente für beide Seiten. Ich habe Dir hier die häufigsten Kritikpunkte aufgelistet – und meine Meinung dazu.

1.   Nur sehr wenige Webseiten nutzen bisher eine llms.txt.

Ein häufig genannter Kritikpunkt ist, dass aktuell nicht einmal 0,005% aller Webseiten eine llms.txt nutzen. Diesen Punkt lasse ich für mich persönlich nicht gelten. Wenn wir hier jetzt von einem riesigen Programmieraufwand sprechen würden, wäre ich vollkommen bei den kritischen Stimmen und würde sagen: „Warte erstmal ab, ob sich das durchsetzt“. Aber nachdem Du je nach Seitengröße mit den diversen Tools für eine erste, einfache llms.txt nicht mal 15 Minuten brauchst, bin ich der Meinung: Probiere es einfach aus!

2.   Es gibt keinen etablierten Standard.

Es gibt zwar einen Standard-Vorschlag, aber keinen etablierten Standard. Das heißt: Die llms.txt, die zu finden sind, unterscheiden sich im Aufbau. Niemand weiß, ob sich llms.txt durchsetzen werden und wenn ja, wie sie dann aussehen sollen. Es kann also sein, dass Du jetzt eine llms.txt erstellst, deren Aufbau künftig ganz anders sein soll. Hier gilt für mich das gleiche Argument wie beim vorherigen Punkt: Nachdem sich der Aufwand in Grenzen hält, ist auch eine spätere Adaption an einen Standard nicht dramatisch. Und: Die Etablierung von Standards dauert eben seine Zeit. Auch der Aufbau einer Sitemap oder der robots.txt geschah nicht über Nacht.

3.  Große LLMs ignorieren die llms.txt.

Laut John Müller und Gary Illyes von Google, ignorieren die großen LLMs die llms.txt. John Müller vergleicht sie in einem reddit-Thread sogar mit dem schon lange überflüssigen Keyword-Meta-Tag. Seine Argumente:

• Die Informationen in der llms.txt sind zu leicht manipulierbar (das sind aber Webseiteninhalte auch…)
• Die Bots müssten dann sowieso die Webseite erneut crawlen, um die Informationen gegenzuprüfen (ja, aber so haben sie schon einmal einen Anhaltspunkt, wo sie starten können).

Außerdem crawlt zumindest der OAI-SearchBot von ChatGPT bei einigen Projekten die llms.txt.

Ganz interessant ist auch das Experiment von Ryan Howard.Er hat in seinen llms.txt-Generator für WordPress einen Zähler integriert, der Aufrufe durch verschiedene LLM-Bots von seinem Plugin erstellten llms.txt-Dateien trackt. Laut diesem rufen der GPTBot und der Claude-Bot die llms.txt am häufigsten auf. Im Vergleich zu den Installationen seines Plugins (über 20.000) erscheint mir die Zahl jedoch sehr gering (einige Hundert besuchte llms.txts. Auch wie technisch korrekt das Projekt aufgezogen ist, kann ich ehrlicherweise nicht beurteilen. Kein belegbarer SEO- & LLMO-Vorteil vorhanden.

Korrekt, es gibt bisher keinen Hinweis darauf, dass die llms.txt das Ranking in den Suchmaschinen oder LLMs verbessert. Allerdings wurde auch noch nicht das Gegenteil bewiesen. Und solange es kein zuverlässiges (!) Tracking für LLMs gibt, wird es mit der Beweislast schwer. Ich bin der Meinung: Es kann zumindest auch nicht schaden.

4.   Die llms.txt muss gewartet werden.

Ich bin der Meinung, Du musst nicht gleich mit einer vollständigen llms-full.txt starten, sondern es reicht eine llms.txt mit Deinen wichtigsten URLs. Diese wichtigsten Inhalte werden sich vermutlich nicht allzu häufig ändern. Der Wartungsaufwand hält sich in Grenzen. Außerdem gibt es inzwischen einige automatisiert arbeitende Tools, für die llms-full.txt kann das hilfreich sein.

5.   Die Antworten in den LLMs zeigen nicht auf die Quell-URL, sondern auf die llms.txt.

Lustigerweise haben die gleichen Leute, die sagen, dass die LLMs die llms.txt nicht nutzen, Angst, dass die Sprachmodelle statt auf die Quell-URL auf die llms.txt verweisen, was ein negatives Nutzererlebnis darstellt. Ich selbst habe noch keine Quell-URL gesehen, die auf die llms.txt oder eine .md-Datei (Eine Markdown-Variante des Inhalts) verweist. Die llms.txt fungiert mehr wie ein Wegweiser und soll – wie gesagt – dem Sprachmodell helfen, relevanten Content zu finden.

Fazit: Solltest Du eine llms.txt nutzen?

Ganz ehrlich: Ich finde es schadet nicht und ist mit einem geringen Aufwand verbunden.

Der Standard formt sich gerade, die Nutzung wird immer häufiger. Ich sehe es wie Carolyn Shelby: „Because when it comes to the future of AI search, the riches go to those who make their value easy to find.”

Übrigens hat Anthropic, der Entwickler von Claude, für seine Dokumentation sowohl eine llms.txt als auch eine llsm-full.txt: . Das ist für mich ein starkes Signal, wenn eines der führenden AI-Unternehmen daraufsetzt. Und auch Google hat in seinem Agent-to-Agent Protokoll auf Github eine llms.txt integriert:

Aber: Wie die Zukunft der llms.txt aussehen wird – das weiß im Moment nur die Glaskugel.

Bildquellen:

Titelbild: © RaCreative #1561584766 Adobe Stock

Bild 2 und 3: © Seokratie, Screenshots aus Yoast-Plugin

Bild 4: © Seokratie, Screenshot aus dem Tool Writesonic

Bild 5: © KI-generiert mit ChatGPT

Mit der Möglichkeit, eigene Kommentare in Posts anzupinnen, hat Instagram Creatorn und Brands kürzlich neue Optionen für Storytelling und Community Management geliefert. Denn mit der neuen Funktion lassen sich beispielsweise kurze Updates zu Ankündigungen, Antworten auf häufige Fragen oder zusätzliche Hintergrundinfos direkt unter dem Beitrag hinzufügen.

Instagram erlaubt jetzt das Anheften eigener Kommentare

Jetzt erhalten auch die User ein Feature, das ihnen mehr Kontrolle auf Instagram bietet: Die Plattform arbeitet an einer Funktion, die dich deinen Algorithmus steuern lässt. Social-Media-Experte Alessandro Paluzzi hat erste Hinweise auf das Feature entdeckt und in einem Threads Post geteilt.

Wie der Screenshot zeigt, kannst du Instagram mitteilen, wovon du mehr und wovon du weniger auf der Plattform sehen willst. Tippe einfach in einer der Kategorien auf das Plussymbol. Anschließend beschreibst du Instagram deine Interessen, zum Beispiel „Ich liebe Fußball“, und die Plattform fügt alle relevanten Keywords zum Dashboard hinzu. Mit dieser Funktion bietet Instagram den Usern neben bekannten Features wie dem „Interessiert mich nicht“-Button oder der Reset-Funktion eine weitere Möglichkeit, ihre App Experience zu steuern.

Neues Threads Feature: Take control of your feed

Auch auf Threads hat Paluzzi ein neues Algorithmus-Feature entdeckt: Unter dem Motto „Übernimm die Kontrolle über deinen Feed“ kannst du künftig – ähnlich wie auf Instagram – mehr oder weniger Posts zu einem bestimmten Thema sehen, indem du @threads.algo in einem Beitrag markierst. Unklar ist bislang, wie du spezifizieren kannst, ob dich das Thema besonders oder nicht interessiert (etwa durch den Zusatz „mehr“ oder „weniger“ hinter der Markierung). Eine offizielle Ankündigung der Funktion mit weiteren Informationen steht bislang aus.

Die Benachrichtigung zum neuen Feature lässt dich über eine integrierte Schaltfläche direkt einen neuen Post erstellen – das deutet darauf hin, dass die Markierung bei eigenen Beiträgen gesetzt werden kann. Möglicherweise kannst du aber auch in Kommentaren unter den Posts anderer Nutzer:innen @threads.algo taggen, um den Algorithmus zu beeinflussen, wenn dich ein Thema sehr oder gar nicht interessiert.

Beide neuen Meta Features befinden sich derzeit noch in der limitierten Testphase. Ob und wann der umfassende Roll-out folgt, wird sich zeigen. Schon jetzt kostenlos für alle User verfügbar ist derweil das neue Text Attachment Feature, mit dem du Textbeiträge mit bis zu 10.000 Zeichen deinen Threads Posts hinzufügen kannst.

---

Threads erlaubt längere Texte mit 10.000 Zeichen
– kostenlos für alle

Am 3. November wird es ernst auf LinkedIn. Die Microsoft-Tochter informiert derzeit die Nutzer:innen via Pop-up über Veränderungen in den AGB sowie die kommende Datennutzung für das AI Training. Wer das nicht möchte, kann widersprechen.

Was User beachten müssen: LinkedIn möchte Daten von über einer Milliarde Mitglieder ausnutzen

Die Business-Plattform LinkedIn ist riesengroß und für zahlreiche Menschen eine alltagsrelevante Adresse für den Austausch, die Content-Distribution, das Recruiting und sogar die News-Rezeption. Daher sind die Daten von rund einer Milliarde Mitglieder auch besonders wertvoll sowohl im Werbekontext als auch für die Optimierung von KI-Diensten. Von diesen bietet LinkedIn selbst einige an, darunter beispielsweise den AI Hiring Assistant für HR Teams oder Accelerate zur KI-gestützten Kampagnenoptimierung. Um derlei Dienste und künftige Angebote noch besser zu machen, möchte man fortan die User-Daten per Default für das KI-Training nutzen. Im EWR stützt sich LinkedIn dabei auf das berechtigte Interesse im Rahmen der DSGVO, führt aber direkt an, dass User in den Einstellungen Widerspruch leisten können. Dort können die User einfach einen Schieberegler bedienen und sich für oder gegen die Unterstützung des KI-Trainings entscheiden. Private Nachrichten sind vom Training indes ausgeschlossen.

Des Weiteren ändert LinkedIn die AGB und möchte künftig zum Beispiel in besonderen Fällen keine Vorankündigungen bei manchen Themen mehr machen. Das bezieht sich auf manche Gesetzesänderungen oder Produktanpassungen. Auch im Werbekontext gibt es eine Anpassung: Das Unternehmen teilt user-spezifische Interaktionsdaten fortan umfassender mit verbundenen Unternehmen, wozu Microsoft und die Unterfirmen gehören. Das soll das Werbeangebot für Advertiser bei Microsoft Advertising verbessern, da Profildaten, Feed-Aktivitäten und Ad-Interaktionen weitergegeben werden. Doch den EWR und die Schweiz betrifft das nicht, da diese Änderung für die USA und den Rest der Welt (die nicht definierten Regionen neben EWR, UK etc.) gilt.

Wichtig für das Geschäftsmodell: User-Daten großer Plattformen werden zum KI-Vorteil

Alle Details zu den Änderungen an Nutzungsbedingungen und Datenweitergaben kannst du auf LinkedIns dedizierter Website nachlesen. Die Nutzung der User-Daten ist dabei wohl die größte Veränderung, aber eine logische Folge der Entwicklungen in einer KI-first-Ära. Auch andere Plattformen wie beispielsweise Pinterest und Meta nutzen die User-Daten für das KI-Training – wobei ein Widerspruch möglich ist –, Daten aus dem AI Chatbot Claude werden neuerdings ebenfalls für das KI-Training vorgesehen und Reddit nutzt die umfassenden Nutzer:innendaten sogar für KI-Deals mit Google und OpenAI. Nach Angaben von Bloomberg soll bereits der nächste milliardenschwere Deal mit Google anstehen, der eine enge Verzahnung von Reddit Usern und Googles KI-Produkten vorsieht und die User-Daten als Basis zur KI-Optimierung und womöglich gar Werbeoptimierung miteinbeziehen könnte.

Pinterest trainiert AI jetzt mit User-Daten und Fotos