Technicalllms.txt

Nutzen Google, OpenAI und Anthropic die llms.txt?

Google Search wertet die llms.txt nicht aus, OpenAI und Anthropic äußern sich nicht. Was die drei Anbieter dokumentieren, mit Evidenzstufe, Stand November 2026.

4 min read
In this article6
  1. Was die llms.txt ist
  2. Was Google, OpenAI und Anthropic sagen, mit Evidenzstufe
  3. Wo die Belege enden
  4. Wann sich die Datei trotzdem lohnt
  5. Häufig gestellte Fragen
  6. Quellen
Hände über einer gedruckten Dokumentation, daneben zwei Bildschirme mit Code und einem Dashboard.
Hände über einer gedruckten Dokumentation, daneben zwei Bildschirme mit Code und einem Dashboard.

Was die llms.txt ist

Die llms.txt ist eine Textdatei im Markdown-Format, die unter `/llms.txt` im Stammverzeichnis einer Website liegt. Sie fasst zusammen, worum es auf der Website geht, und verlinkt die wichtigsten Seiten. Den Vorschlag veröffentlichte Jeremy Howard am 3. September 2024; die überarbeitete Version 2 stammt vom 10. August 2026.[1] Es ist ein Vorschlag, kein Standard eines Gremiums.

Gedacht ist die Datei für Agenten, also KI-Programme, die eine Website im Auftrag eines Nutzers lesen, etwa ein Coding-Assistent, der Dokumentation nachschlägt. Der Vorschlag sieht die Nutzung bei Bedarf vor, während ein Agent einem Nutzer hilft, und weniger für das Training von Modellen.[1] Das ist ein anderer Zweck als bei der `robots.txt`, die regelt, welche Crawler welche Seiten abrufen dürfen.

Zwei Zeilen: Die robots.txt lesen Crawler wie OAI-SearchBot, GPTBot, ClaudeBot und Googlebot, um zu erfahren, welche Seiten sie abrufen dürfen. Die llms.txt ist eine Markdown-Zusammenfassung für Agenten; Chrome Lighthouse prüft sie optional, Google Search ignoriert sie, für ChatGPT und Claude gibt es keine Betreiberaussage.
Die robots.txt steuert den Zugriff der Crawler, die llms.txt fasst Inhalte für Agenten zusammen; Google Search ignoriert sie (Stand: November 2026).

Was Google, OpenAI und Anthropic sagen, mit Evidenzstufe

Nur Google hat eine ausdrückliche Betreiberaussage veröffentlicht, und sie ist negativ. OpenAI und Anthropic dokumentieren ihre Crawler, aber keine Auswertung der llms.txt.

AnbieterProduktAussage zur llms.txtEvidenzstufeEigene llms.txt
GoogleGoogle Search, AI Overviews, AI Modewird nicht genutztvom Betreiber dokumentiert (Mai 2026)ja, Gemini API
GoogleChrome Lighthouseoptionaler Audit-Punkt für Agentenvom Betreiber dokumentiert (Mai 2026)–
OpenAIChatGPT, `OAI-SearchBot`, `GPTBot`, `ChatGPT-User`keinenicht vom Betreiber bestätigtja, Entwicklerdoku
AnthropicClaude, `ClaudeBot`, `Claude-User`, `Claude-SearchBot`keinenicht vom Betreiber bestätigtja, Entwicklerdoku

Stand: 16. November 2026; „–“ heißt, dass die Quelle dazu keine Angabe enthält.

Google Search. Der Search-Central-Leitfaden zur Optimierung für generative KI-Funktionen zählt llms.txt-Dateien zu den Dingen, die Website-Betreiber ignorieren können. Google Search verwendet sie nicht, auch nicht für die generativen Funktionen.[2] Eine solche Datei anzulegen ist erlaubt, ändert aber weder Sichtbarkeit noch Rankings, weil Google Search sie ignoriert. Die Seite zu den KI-Funktionen sagt dasselbe für AI Overviews und AI Mode: Es braucht keine neuen maschinenlesbaren Dateien und kein besonderes Schema-Markup.[3] Was zählt, sind Crawling, Indexierung und die üblichen Snippet-Voraussetzungen der Google Suche.

Chrome Lighthouse. Ein anderes Google-Produkt prüft die Datei. Lighthouse, das Audit-Werkzeug in Chrome, hat eine Kategorie Agentic Browsing mit einem Prüfpunkt für die llms.txt. Fehlt die Datei, gilt der Punkt als „nicht anwendbar“; nur ein Serverfehler beim Abruf wird markiert.[4] Der Punkt richtet sich an Agenten im Browser und steht außerhalb der SEO-Audits.

OpenAI. OpenAI betreibt drei Crawler: `OAI-SearchBot` für die Suche in ChatGPT, `GPTBot` für das Training und `ChatGPT-User` für Aktionen auf Anfrage von Nutzern. Gesteuert werden sie über Einträge in der `robots.txt`.[5] Die Seite enthält keine Aussage, dass ChatGPT eine llms.txt auswertet (Stand: November 2026).

Anthropic. Für Anthropic gilt dasselbe. Die Bots `ClaudeBot`, `Claude-User` und `Claude-SearchBot` befolgen Anweisungen in der `robots.txt`, und ein Opt-out läuft über diese Datei.[6] Zur llms.txt enthält die Seite keine Aussage (Stand: November 2026).

Alle drei Anbieter stellen selbst eine llms.txt bereit: OpenAI für seine Entwicklerdokumentation[7], Anthropic für die Claude-Dokumentation[8] und Google für die Gemini API[9]. Damit helfen sie Agenten, die ihre eigene Dokumentation lesen.

Wo die Belege enden

Die Belege reichen für eine klare Aussage zu Google Search und für keine Aussage zu ChatGPT und Claude. Dass OpenAI und Anthropic schweigen, heißt nicht, dass ihre Produkte die Datei ignorieren. Es heißt auch nicht, dass sie sie lesen.

Offen bleibt, wie oft Agenten die Datei tatsächlich abrufen. Keiner der drei Anbieter veröffentlicht dazu Zahlen. Abrufe sind nur im eigenen Server-Log sichtbar, mit dem User-Agent des abrufenden Programms.

Wann sich die Datei trotzdem lohnt

Für die Sichtbarkeit in der Google Suche lohnt sich die llms.txt nicht, das schließt Googles Leitfaden aus. Sinnvoll kann sie für Websites sein, deren Inhalte Agenten gezielt lesen: Entwicklerdokumentation, API-Referenzen, Produktdaten für Einkaufsagenten. Für diese Fälle ist die Datei gedacht, und Lighthouse prüft sie dafür.

Entscheidungspfad: Geht es um Sichtbarkeit in der Google Suche, ist keine llms.txt nötig. Hat die Website Inhalte, die Agenten gezielt nachschlagen, wird die Datei automatisch erzeugt; sonst zuerst das Server-Log auf Abrufe prüfen.
Für die Google Suche braucht es keine llms.txt; sinnvoll ist sie für Inhalte, die Agenten gezielt nachschlagen.

Der Aufwand ist gering, solange die Datei automatisch entsteht. Shopify liefert sie für jeden Shop bereits aus (llms.txt in Shopify einrichten), andere Systeme erzeugen sie über Generatoren (llms.txt-Generatoren im Vergleich). Eine Datei, die von Hand gepflegt wird und veraltet, schadet der Aufgabe, für die sie da ist.

Vor einer Entscheidung helfen drei Prüfungen:

  • Im Server-Log nachsehen, ob und von welchen User-Agents `/llms.txt` bereits abgerufen wird.
  • In der `robots.txt` prüfen, ob `OAI-SearchBot`, `Claude-SearchBot` und `Googlebot` die Seiten abrufen dürfen, die in Antworten erscheinen sollen.
  • Klären, ob die Website Inhalte hat, die Agenten gezielt nachschlagen, etwa Dokumentation oder Produktdaten.

Wie KI-Übersichten den Traffic verändern, fasst die Studienlage zu KI-Übersichten zusammen.

Häufig gestellte Fragen

Liest ChatGPT die llms.txt einer Website?

OpenAIs Crawler-Dokumentation enthält dazu keine Aussage. Sie regelt den Zugriff von `OAI-SearchBot`, `GPTBot` und `ChatGPT-User` über die `robots.txt`. Ob ein Abruf stattfindet, zeigt nur das eigene Server-Log.

Ersetzt die llms.txt die robots.txt?

Nein. Die `robots.txt` regelt, welche Crawler welche Seiten abrufen dürfen. Die llms.txt fasst Inhalte für Agenten zusammen und erlaubt oder sperrt nichts.

Schadet eine llms.txt dem Google-Ranking?

Nein. Google Search ignoriert die Datei; sie hilft und schadet der Sichtbarkeit in der Google Suche nicht.

Warum veröffentlicht Google eine llms.txt, wenn Google Search sie nicht nutzt?

Die Datei für die Gemini API richtet sich an Agenten und Entwickler, die diese Dokumentation lesen. Google Search ist ein anderes Produkt mit eigener Regel.

Quellen

  1. llmstxt.org
  2. developers.google.com
  3. developers.google.com
  4. developer.chrome.com
  5. platform.openai.com
  6. support.claude.com
  7. developers.openai.com
  8. docs.claude.com
  9. ai.google.dev

Rankings and scores on Optinest cannot be bought — no commercial relationship changes how a provider is assessed. How we score

Related reading

All Technical →