llms.txt

Was ist llms.txt?

llms.txt ist eine einfache Textdatei, die an der Wurzel einer Website abgelegt wird – ähnlich wie robots.txt für klassische Suchmaschinen-Crawler, aber speziell für KI-Sprachmodelle konzipiert. Sie enthält eine strukturierte, maschinenlesbare Zusammenfassung der wichtigsten Inhalte einer Website in einem Format, das KI-Modelle effizient verarbeiten können.

Die Datei folgt dem Markdown-Format und beschreibt in klarer Sprache, wer oder was hinter der Website steckt, welche Seiten existieren und welche Informationen dort zu finden sind. KI-Assistenten, die Anfragen mit Web-Inhalten beantworten, können diese Datei direkt einlesen – ohne aufwändiges HTML-Parsen.

Herkunft und Geschichte

Die Idee zu llms.txt stammt von Jeremy Howard, dem Mitgründer von fast.ai und einer der einflussreichsten Persönlichkeiten im Bereich des maschinellen Lernens. Er veröffentlichte 2024 die erste Spezifikation unter llmstxt.org und löste damit eine breite Diskussion in der Web- und KI-Community aus.

Der Ansatz folgt einer einfachen Logik: Wenn das Web bereits eine standardisierte Konvention für Suchmaschinen (robots.txt, Sitemaps) und Menschen (HTML, CSS) hat – warum nicht auch eine für KI? Die Initiative trifft einen Nerv: Innerhalb weniger Monate haben Hunderte von Unternehmen den Standard übernommen, darunter technologie-affine KMUs, Open-Source-Projekte und Software-Anbieter.

Wie sieht eine llms.txt-Datei aus?

Das Format ist bewusst einfach gehalten – lesbares Markdown, kein proprietäres Schema:

Warum ist llms.txt für KI entscheidend?

Moderne KI-Assistenten wie Claude, ChatGPT oder Perplexity beantworten Nutzerfragen zunehmend auf Basis von Echtzeit-Web-Inhalten. Wenn jemand fragt: „Welche Software gibt es für die Eingliederungshilfe?" – durchsucht die KI das Web und versucht, relevante Anbieter zu identifizieren und zu beschreiben.

Ohne llms.txt muss die KI den rohen HTML-Quelltext parsen, Menüs, Footer, Werbebanner und Boilerplate-Text herausfiltern und den eigentlichen Inhalt rekonstruieren. Das Ergebnis ist fehleranfällig und oft unvollständig.

Mit llms.txt bekommt die KI direkt eine saubere, strukturierte Zusammenfassung – präzise formuliert, ohne Rauschen, in dem Format, das KI-Modelle am effizientesten verarbeiten.

llms-full.txt: Die vollständige Version

Neben der kompakten llms.txt empfiehlt der Standard auch eine llms-full.txt – eine Datei, die den vollständigen Inhalt aller Unterseiten enthält. Diese wird von KI-Systemen genutzt, die tiefer in den Content einsteigen möchten, beispielsweise für umfangreiche Recherchen oder das Erstellen von Zusammenfassungen.

Geoify erstellt und aktualisiert beide Dateien automatisch im Hintergrund, nach jedem Crawl-Zyklus.

Unterstützung und Adoption

Der Standard wird bereits von einer wachsenden Zahl von KI-Diensten und Browser-Tools erkannt. Da er offen, einfach und nicht proprietär ist, ist die Hürde zur Einbindung gering – und der Nutzen wächst mit jeder KI-Anwendung, die ihn unterstützt.

Weiterführende Links

llmstxt.org – Die offizielle Spezifikation

llmstxt.org

GitHub: AnswerDotAI/llms-txt – Technische Details & Beispiele

github.com/AnswerDotAI/llms-txt

llms.txt Directory – Verzeichnis von Websites mit llms.txt

directory.llmstxt.cloud