robots.txt testen: 15-Minuten-Check und KI-Crawler steuern
robots.txt testen in 15 Minuten: Darf Google deine wichtigen Seiten abrufen? Typische Fehler, KI-Crawler im Überblick und Prüfliste als PDF.

Inhaltsverzeichnis anzeigen
- Was die robots.txt steuert, und was nicht
- Sperre und noindex heben sich auf
- Wo die Datei liegen muss
- Aufbau: Gruppen, Regeln und zwei Sonderzeichen
- Welche Regel gewinnt?
- So liest ein Crawler deine robots.txt
- Der 15-Minuten-Schnellcheck für deine robots.txt
- Typische Fehler in der robots.txt
- Unerwartete Sperre gefunden, was jetzt?
- Woher die Sperre kommen kann
- Ändern und erneut prüfen
- Wenn die Ursache tiefer liegt
- KI-Crawler: zulassen oder sperren?
- Entscheidung nach Ziel
- Kommentierte Beispiele für drei Website-Typen
- Firmenwebsite: wenig sperren
- WordPress: was die Standardausgabe enthält
- Onlineshop: Prüffragen statt Pauschalsperre
- WordPress und Shopify: woher die Datei kommt
- Häufige Fragen zur robots.txt
- Entfernt eine robots.txt-Sperre eine Seite aus Google?
- Brauche ich überhaupt eine robots.txt?
- Wo finde ich die robots.txt meiner Website?
- Wie teste ich meine robots.txt?
- Was bedeutet Disallow in der robots.txt?
- Gehört die Sitemap in die robots.txt?
- Soll ich KI-Crawler wie GPTBot sperren?
- Brauche ich eine llms.txt?
Die robots.txt ist eine einfache Textdatei im obersten Verzeichnis deiner Website. Sie legt fest, welche Adressen deiner Website Suchmaschinen und andere Crawler abrufen dürfen. Ob sie richtig eingestellt ist, entscheidet eine einzige Prüffrage: Darf der gewünschte Crawler deine wichtigen Seiten abrufen? Mit dem Schnellcheck in diesem Ratgeber beantwortest du sie in rund 15 Minuten, ohne Programmierkenntnisse. Ein vollständiger technischer Audit ist das nicht, aber du findest Sperren, die deine wichtigsten Seiten betreffen.
- Die Prüffrage: Darf der gewünschte Crawler deine wichtigen Seiten abrufen? Der Schnellcheck beantwortet sie für drei ausgewählte URLs in rund 15 Minuten.
- Crawling, nicht Index: Die robots.txt regelt das Abrufen, nicht die Aufnahme in den Index. Ein noindex wirkt nur, wenn die Seite abgerufen werden darf.
- Kein Zugriffsschutz: Die Regeln erzwingen nichts. Vertrauliche Bereiche gehören hinter ein Passwort.
- Der längste passende Pfad gewinnt, bei Gleichstand die weniger strenge Regel. Bekommt ein Crawler eine eigene Gruppe, gelten für ihn die Regeln der Gruppe mit dem Stern nicht mehr.
- KI-Crawler getrennt entscheiden: Training, Suchindex und Abrufe im Auftrag von Nutzern sind verschiedene Zugriffe. Abrufe, die ein Nutzer auslöst, folgen der Datei laut OpenAI und Perplexity nicht zuverlässig.
Was die robots.txt steuert, und was nicht
Die robots.txt sagt Crawlern, welche URLs deiner Website sie abrufen dürfen. Sie steuert also das Crawling, nicht den Index. Google schreibt selbst, dass die Datei kein Mittel ist, um eine Seite aus Google herauszuhalten: Ist eine gesperrte URL von anderen Seiten verlinkt, kann sie trotzdem im Index landen. Soll eine Seite nicht in den Suchergebnissen erscheinen, nennt Google zwei Wege, ein noindex oder einen Passwortschutz. Die Kurzdefinition findest du im Glossar unter robots.txt, hier geht es um die Prüfung.
Welche Crawler welche Pfade abrufen dürfen, getrennt nach Gruppen je Crawler. Dazu kann sie auf deine Sitemap verweisen.
Ob jemand eine Seite tatsächlich aufrufen kann. Laut Google können die Anweisungen das Verhalten eines Crawlers nicht erzwingen, und RFC 9309 stellt klar, dass sie keine Zugriffsberechtigung sind.
Sperre und noindex heben sich auf
Ein verbreiteter Denkfehler: Eine Seite bekommt ein noindex und wird zur Sicherheit zusätzlich in der robots.txt gesperrt. Das geht nicht auf. Damit Google das noindex sieht, muss es die Seite abrufen dürfen. Ist sie gesperrt, bleibt das noindex ungelesen.
Wo die Datei liegen muss
- Im obersten Verzeichnis: unter deine-domain.de/robots.txt, nicht in einem Unterordner.
- Je Host, Protokoll und Port: Die Regeln gelten nur dafür. Ein Shop auf einer eigenen Subdomain braucht eine eigene Datei.
- Reiner Text in UTF-8: Google erwartet eine UTF-8-codierte Klartextdatei und setzt eine Größengrenze von 500 KiB.
- Groß- und Kleinschreibung: Pfade in den Regeln und der Dateiname selbst unterscheiden sie.
Quellen: Google Search Central, Einführung in robots.txt, Indexierung mit noindex blockieren und So interpretiert Google die robots.txt-Spezifikation; RFC 9309, Robots Exclusion Protocol (Abschnitte 1, 2.2, 2.3, 2.5). Englische Seiten sinngemäß übersetzt, abgerufen im November 2026.
Aufbau: Gruppen, Regeln und zwei Sonderzeichen
Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer Zeile User-agent, die den Crawler benennt, danach folgen die Regeln. Alles hinter einem # ist Kommentar. Das Beispiel zeigt alle Bausteine auf einmal, es ist keine Vorlage für deine Website.
# Gruppe 1: alle anderen Crawler
User-agent: *
# interne Suche nicht abrufen
Disallow: /suche/
# Ausnahme: diese Seite erlaubt
Allow: /suche/hilfe.html
# Adressen mit Endung .pdf
Disallow: /*.pdf$
# Gruppe 2: nur für Googlebot
User-agent: Googlebot
Disallow: /testbereich/
# Gilt unabhängig von den Gruppen
Sitemap: https://www.example.com/sitemap.xmlUser-agentnennt den Crawler, für den die Gruppe gilt. Der Stern steht für alle Crawler ohne eigene Gruppe. Den Namen vergleichen Crawler ohne Rücksicht auf Groß- und Kleinschreibung.Disallownennt einen Pfad, der nicht abgerufen werden soll. Er wirkt als Anfang:/suche/trifft jede Adresse, die damit beginnt.Allowerlaubt einen Pfad ausdrücklich, meist als Ausnahme innerhalb einer Sperre.Sitemapverweist mit vollständiger Adresse auf deine Sitemap und ist an keinen Crawler gebunden.*im Pfad steht für beliebig viele Zeichen,$für das Ende der URL.
Welche Regel gewinnt?
Passen mehrere Regeln auf eine URL, zählt nicht ihre Reihenfolge, sondern ihre Länge. Google und RFC 9309 nehmen die spezifischste Regel, also die mit dem längsten Pfad. Sind zwei Regeln gleich spezifisch, gewinnt die weniger strenge, also Allow. Trifft keine Regel, darf der Crawler die URL abrufen. Im Beispiel ist /suche/hilfe.html deshalb erlaubt, obwohl /suche/ gesperrt ist.
Bekommt ein Crawler eine eigene Gruppe, gilt für ihn nur diese. Google kombiniert sie nicht mit der Gruppe mit dem Stern. Im Beispiel darf Googlebot deshalb /suche/ abrufen, denn in seiner Gruppe steht nur der Testbereich. Willst du für einen Crawler mit eigener Gruppe dieselben Sperren, wiederhol sie dort. Zeilen wie crawl-delay unterstützt Google nicht.
Quellen: Google Search Central, So interpretiert Google die robots.txt-Spezifikation; RFC 9309 (Abschnitte 2.1 bis 2.2.3). Sinngemäß übersetzt, abgerufen im November 2026.
So liest ein Crawler deine robots.txt
Bevor ein Crawler eine Seite abruft, durchläuft er vier Stationen: Er holt die Datei, sucht die Gruppe, die für ihn gilt, wählt darin die spezifischste passende Regel und kommt so zu einem Ergebnis für die einzelne URL.
Das Schaubild in Kürze:
- Station 1, Datei abrufen: Bei Status 2xx gelten die Regeln. Bei 4xx außer 429 verhält sich Google wie ohne Datei, alles ist erlaubt. Bei 5xx crawlt Google zunächst nicht und nutzt danach bis zu 30 Tage die letzte gute Fassung.
- Station 2, passende Gruppe finden: Gibt es eine eigene Gruppe für den Crawler, etwa Googlebot, gilt nur sie, die Gruppe mit dem Stern nicht. Sonst gilt die Gruppe
User-agent: *. Der Name zählt ohne Rücksicht auf Groß- und Kleinschreibung. - Station 3, spezifischste Regel wählen: Der längste passende Pfad gewinnt, bei gleicher Länge die weniger strenge Regel, also Allow. Pfade beachten Groß- und Kleinschreibung.
- Station 4, Ergebnis für die URL: Allow oder keine passende Regel heißt abrufen, Disallow heißt nicht abrufen.
- Was sie nicht leistet: Sie ist kein Index-Schalter, kein Zugriffsschutz und kein noindex-Ersatz, und sie wirkt nicht sofort, weil Google sie in der Regel bis zu 24 Stunden im Cache hält.
Der 15-Minuten-Schnellcheck für deine robots.txt
Der Schnellcheck beantwortet die Prüffrage für deine wichtigsten Seiten. Er ist ausdrücklich kein vollständiger technischer Audit: Wie oft Google deine Seiten abruft und warum einzelne Seiten nicht im Index stehen, zeigt er nicht. Du brauchst einen Browser, Zugang zur Google Search Console und drei wichtige URLs, etwa die Startseite, deine wichtigste Leistungs- oder Kategorieseite und eine Seite, die neu ist oder kürzlich geändert wurde.
- 1
Datei im Browser aufrufen
Ruf deine-domain.de/robots.txt genau unter der Adresse auf, unter der deine Website läuft, also mit dem richtigen Protokoll und mit oder ohne www. Hast du eine Subdomain, etwa für einen Shop, ruf auch deren Datei auf.
Prüfen: Erscheint reiner Text mit mindestens einer ZeileUser-agent?
Erwartet: Die Datei lädt als Text. Fehlt sie und der Server meldet 404, ist das kein Fehler: Google behandelt das so, als wäre alles erlaubt. - 2
robots.txt-Bericht öffnen, Abrufstatus prüfen
Den Bericht findest du in der Search Console in den Einstellungen deiner Property. Laut Google-Hilfe steht er für Properties auf Domain-Ebene bereit, also für Domain-Properties und URL-Präfix-Properties ohne Pfad. Für jede gefundene Datei zeigt er einen Abrufstatus: abgerufen, nicht gefunden (404) oder aus einem anderen Grund nicht abgerufen.
Prüfen: Welchen Abrufstatus zeigt der Bericht für deine Datei?
Erwartet: Abgerufen, wenn du eine Datei hast. Nicht gefunden (404) nur, wenn du bewusst keine hast. Zeigt er einen anderen Grund, prüf, ob der Server beim Abruf einen Fehler meldet.
Hintergrund: Bei einem Serverfehler (5xx) stoppt Google zunächst das Crawlen der Website und nutzt danach bis zu 30 Tage die letzte gute Fassung. Einen Serverfehler an dieser Stelle würde ich deshalb vor jeder einzelnen Regel beheben. - 3
Hosts und Parsing-Fehler im Bericht prüfen
Der Bericht zeigt die robots.txt-Dateien, die Google für die 20 wichtigsten Hosts deiner Website gefunden hat, mit letztem Abruf und Größe.
Prüfen: Ist jeder deiner Hosts dabei, wann wurde zuletzt abgerufen, und gibt es Parsing-Fehler?
Erwartet: Für jeden deiner Hosts eine abgerufene Datei ohne Parsing-Fehler. - 4
Drei wichtige URLs gegen die Regeln halten
Such die Gruppe, die für Googlebot gilt: eine eigene Gruppe mit diesem Namen, sonst die Gruppe
User-agent: *. Vergleich dann den Pfad jeder deiner drei URLs mit den Disallow- und Allow-Zeilen dieser Gruppe.
Prüfen: Beginnt der Pfad mit einem gesperrten Pfad? Gibt es eine längere Allow-Regel, die ihn wieder freigibt? Stimmt die Groß- und Kleinschreibung?
Erwartet: Keine der drei URLs ist gesperrt. Wiederhol den Vergleich für jeden weiteren Crawler, der deine Seiten abrufen soll, etwa einen Such-Crawler aus der KI-Tabelle weiter unten. - 5
Skripte und Stilvorlagen nicht sperren
Sieh dir an, welche Ordner unter Disallow stehen, und ob darin Dateien liegen, die deine Seiten zum Darstellen laden.
Prüfen: Liegen JavaScript-Dateien oder Stilvorlagen in einem gesperrten Pfad?
Erwartet: Nein.
Hintergrund: Google rendert laut eigener Dokumentation kein JavaScript aus gesperrten Dateien. Stilvorlagen würde ich ebenfalls nicht sperren, weil sie zur Darstellung der Seite gehören. Das ist meine Einschätzung, die verlinkte Google-Seite nennt nur JavaScript. - 6
Sitemap-Zeile prüfen
Such die Zeile, die mit
Sitemap:beginnt, und öffne die Adresse dahinter im Browser.
Prüfen: Ist die Adresse vollständig, mit https und Domain? Lädt die Sitemap?
Erwartet: Steht eine Sitemap-Zeile in der Datei, ist die Adresse vollständig und lädt.
Hintergrund: Google verlangt hier eine vollständige URL mit Protokoll und Host. - 7
Nach jeder Änderung erneut prüfen
Wird die Datei geändert, wiederhol die Schritte 1, 4 und 6 und fordere im robots.txt-Bericht einen neuen Abruf an, in der Oberfläche über „Erneutes Crawlen beantragen“.
Prüfen: Zeigt der Bericht einen Abruf nach deiner Änderung?
Erwartet: Neuer Abruf, Status abgerufen, keine Parsing-Fehler.
Hintergrund: Google hält die Datei in der Regel bis zu 24 Stunden im Cache. Ohne neuen Abruf kann Google also noch kurz die alte Fassung nutzen.
Quellen: Google Search Console-Hilfe, robots.txt-Bericht; Google Search Central, So interpretiert Google die robots.txt-Spezifikation und Grundlagen JavaScript-SEO. Sinngemäß übersetzt, abgerufen im November 2026.
Typische Fehler in der robots.txt
Die erste Zeile der Tabelle ist meine Einschätzung aus der Praxis, keine Aussage von Google. Die Folgen in den übrigen Zeilen stützen sich auf die Google-Dokumentation und RFC 9309. Dass jeder die Datei aufrufen kann, siehst du selbst in Schritt 1.
| Fehler | Woran du es erkennst | Was daraus folgt |
|---|---|---|
| Komplettsperre nach Relaunch oder Umzug | Disallow: / in der Gruppe mit dem Stern, obwohl die Website live ist, oft vom Testsystem übernommen | Kein Crawler, der sich an die Datei hält, ruft noch eine Seite ab |
| Sperre statt noindex | Eine Seite soll aus Google verschwinden, steht aber nur unter Disallow, manchmal zusätzlich mit noindex | Das Ziel wird verfehlt, Google kann ein noindex auf der Seite nicht lesen |
| Skripte gesperrt | Disallow auf Ordnern, aus denen die Seiten JavaScript laden | Google rendert das JavaScript aus gesperrten Dateien nicht |
| Eigene Gruppe ohne die allgemeinen Sperren | Eine Gruppe für einen bestimmten Crawler enthält nur einzelne Zeilen | Für diesen Crawler gelten die Regeln der Gruppe mit dem Stern nicht |
| Abweichende Schreibweise im Pfad | Disallow: /Intern/, die Adressen beginnen aber mit /intern/ | Die Regel greift nicht, Pfade beachten Groß- und Kleinschreibung |
| Datei am falschen Ort | Datei in einem Unterordner oder nur auf der Hauptdomain, der Shop läuft auf einer Subdomain | Regeln gelten nur für Host, Protokoll und Port der Datei im obersten Verzeichnis |
| Vertrauliches eingetragen | Pfade interner Bereiche stehen unter Disallow, ohne Passwortschutz | Kein Schutz: Die Regeln erzwingen nichts, und die Datei kann jeder aufrufen wie du in Schritt 1 |
| Serverfehler beim Abruf | Der robots.txt-Bericht zeigt einen Fehlerstatus, die Datei lädt nicht | Google stoppt bei 5xx zunächst das Crawlen und nutzt danach die letzte gute Fassung |
| crawl-delay als Bremse | Eine Zeile crawl-delay soll Google verlangsamen | Google unterstützt die Zeile nicht |
Unerwartete Sperre gefunden, was jetzt?
Steht eine wichtige URL unter einer Sperre, die niemand bewusst gesetzt hat, ändere nicht als Erstes die Datei. Finde zuerst heraus, woher die Zeile kommt. Sonst steht sie nach dem nächsten Update oder der nächsten Veröffentlichung womöglich wieder da.
Woher die Sperre kommen kann
Die Datei des Testsystems ist mit auf die Live-Website gewandert, samt einer Komplettsperre.
WordPress erzeugt die Datei virtuell. Shopify liefert eine Standarddatei aus, die sich nur über die Theme-Vorlage robots.txt.liquid ändern lässt. Die Zeile steht dann nicht in einer Datei, die du hochgeladen hast.
Bietet eine Erweiterung Einstellungen zur robots.txt an, kann sie die ausgelieferte Datei verändern.
Eine Einstellung, die nur für den Aufbau gedacht war, ist im Live-Betrieb aktiv geblieben.
Ändern und erneut prüfen
- Die Zeile an der Quelle ändern: in der Vorlage, der Einstellung oder der Datei, aus der sie stammt.
- deine-domain.de/robots.txt neu aufrufen und lesen, was wirklich ausgeliefert wird. Nutzt deine Website einen Seiten-Cache, leere ihn vorher.
- Die drei URLs aus Schritt 4 erneut gegen die Regeln halten.
- Im robots.txt-Bericht der Search Console einen neuen Abruf anfordern und den Abrufstatus prüfen.
Angenommen, ein Ingenieurbüro für Tragwerksplanung hat seine Website neu gebaut. Nach dem Livegang zeigt Schritt 4 des Schnellchecks, dass alle drei URLs gesperrt sind: In der Gruppe mit dem Stern steht Disallow: /, übernommen vom Testsystem.
Die Zeile wird in der Vorlage der Live-Website entfernt, auf dem Testsystem bleibt sie stehen. Danach zeigt die robots.txt im Browser die neue Fassung, die drei URLs sind frei, und im robots.txt-Bericht wird ein neuer Abruf angefordert. Den gesamten Schnellcheck wiederholt das Büro nach dem nächsten größeren Update.
Wenn die Ursache tiefer liegt
Manchmal ist die robots.txt in Ordnung, und trotzdem kommen wichtige Seiten nicht im Index an. Wenn wichtige Seiten trotz erreichbarer Website nicht zuverlässig gecrawlt werden, prüfe ich im SEO-Audit die technischen Ursachen. Ich arbeite seit 2004 in der Webentwicklung, entwickle als Plugin-Hersteller Erweiterungen für Shopsysteme und betreue Webdesign und SEO von Münster aus. Was ein Audit über die robots.txt hinaus prüft, zeigt die SEO-Audit-Checkliste. Steht ein Relaunch an, hilft die Website-Relaunch-Checkliste, damit eine Sperre vom Testsystem gar nicht erst live geht.
KI-Crawler: zulassen oder sperren?
Erst wenn der Basischeck sitzt, lohnt der Blick auf KI-Crawler. Dabei hilft es, drei Arten von Zugriffen zu trennen, denn die Anbieter regeln sie unterschiedlich:
Inhalte fließen in das Training von Sprachmodellen. Steuern lässt sich das über GPTBot und ClaudeBot sowie über Google-Extended und Applebot-Extended, die keine eigenen Crawler sind, sondern Kennzeichen in der robots.txt.
Crawler für die Suchfunktion eines KI-Dienstes, etwa OAI-SearchBot, Claude-SearchBot oder PerplexityBot.
Ein Nutzer stellt eine Frage, und der Dienst ruft dafür deine Seite ab, etwa über ChatGPT-User, Claude-User oder Perplexity-User.
Entscheidung nach Ziel
- Du willst in KI-Suchantworten als Quelle infrage kommen: Lass die Such-Crawler zu. Wer OAI-SearchBot aussperrt, erscheint laut OpenAI nicht in den Suchantworten von ChatGPT. Umgekehrt garantiert ein Zugang keine Erwähnung. Wie Inhalte zitierfähig werden, behandelt der Ratgeber zur Generative Engine Optimization.
- Du willst Inhalte nicht für das Training bereitstellen: Sperr die Training-Tokens und lass die Such-Crawler zu. Die Sperre wirkt nur gegenüber den Crawlern, die du nennst, und nur für künftige Abrufe. Eine Sperre von Google-Extended betrifft laut Google neben dem Training auch das Grounding in Gemini Apps und Vertex AI. Auf die Aufnahme in die Google-Suche wirkt sie laut Google nicht, und sie ist kein Ranking-Signal.
- Die KI-Funktionen der Google-Suche: Sie steuerst du laut Google über die Regeln für Googlebot, nicht über Google-Extended.
- Du willst gar keine KI-Zugriffe: Dann sperrst du alle Tokens aus der Tabelle. Abrufe, die ein Nutzer auslöst, folgen der Datei laut OpenAI und Perplexity trotzdem nicht zuverlässig, und ein Zugriffsschutz ist die robots.txt auch hier nicht.
| Token | Anbieter | Zweck laut Anbieter | robots.txt laut Anbieter |
|---|---|---|---|
| GPTBot | OpenAI | Training der Basismodelle | lässt sich über die robots.txt steuern |
| OAI-SearchBot | OpenAI | Websites für die Suche in ChatGPT finden | lässt sich steuern; ausgesperrte Websites erscheinen nicht in den Suchantworten |
| ChatGPT-User | OpenAI | Aktionen von Nutzern in ChatGPT und Custom GPTs, kein automatisches Crawlen | weil Nutzer die Abrufe auslösen, gelten die Regeln möglicherweise nicht |
| ClaudeBot | Anthropic | Training | lässt sich steuern; eine Sperre schließt künftige Inhalte aus den Trainingsdaten aus |
| Claude-SearchBot | Anthropic | Index für die Relevanz von Suchergebnissen | allgemeine Aussage zu den Anthropic-Bots, keine gesonderte |
| Claude-User | Anthropic | Abruf, wenn ein Nutzer Claude eine Frage stellt | Betreiber können diese Anfragen steuern; keine gesonderte Aussage zur robots.txt |
| PerplexityBot | Perplexity | Suchergebnisse in Perplexity, nicht für das Training von Basismodellen | Perplexity empfiehlt, ihn in der robots.txt zu erlauben |
| Perplexity-User | Perplexity | Abrufe auf Anfrage von Nutzern, kein Training | ignoriert die Regeln meist, weil ein Nutzer den Abruf ausgelöst hat |
| Google-Extended | Token ohne eigenen Crawler für das Training künftiger Gemini-Modelle und das Grounding in Gemini Apps und Vertex AI, also das Stützen von Antworten auf abgerufene Webinhalte | Steuerung per robots.txt; kein Einfluss auf die Aufnahme in die Google-Suche | |
| Applebot-Extended | Apple | Ausschluss vom Training der Apple-Basismodelle, crawlt selbst nicht | Steuerung per robots.txt; gesperrte Seiten können weiter in Suchergebnissen erscheinen |
| CCBot | Common Crawl | offenes Archiv von Webseiten | Sperre per eigener Gruppe mit Disallow: /; gefälschte Abrufe sind möglich |
Willst du zum Beispiel die Training-Crawler von OpenAI und Google sperren, die Suche in ChatGPT aber zulassen, sieht der Teil so aus. Voraussetzung ist, dass du diese Entscheidung bewusst getroffen hast:
# Training sperren
# Google-Extended: auch Grounding
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# OAI-SearchBot: keine eigene
# Gruppe, folgt der *-GruppeOAI-SearchBot bekommt hier bewusst keine eigene Gruppe und folgt damit den Regeln der Gruppe mit dem Stern, wie alle anderen Crawler. Gibst du ihm eine eigene Gruppe, wiederhol dort die Sperren. Danach testest du die drei URLs aus Schritt 4 für OAI-SearchBot und Googlebot. Google kündigt außerdem an, ab Anfang 2027 ein zusätzliches Signal für KI-Training in der robots.txt zu unterstützen. Das ist eine Ankündigung, Stand November 2026.
Rechtlich spielt § 44b UrhG hinein. Vervielfältigungen rechtmäßig zugänglicher Werke für Text und Data Mining sind danach erlaubt, solange sich der Rechtsinhaber die Nutzung nicht vorbehalten hat. Bei online zugänglichen Werken wirkt ein solcher Vorbehalt nur, wenn er maschinenlesbar erklärt ist. Ob eine Sperre in der robots.txt dafür ausreicht, ist nicht abschließend geklärt.
Dieser Abschnitt gibt einen technischen Überblick und ersetzt keine Rechtsberatung. Ob du einen Nutzungsvorbehalt erklärst, entscheidest du selbst. Ob eine robots.txt dafür genügt, ist rechtlich nicht abschließend geklärt, Stand November 2026, Gesetzeslage und Auslegung können sich ändern. Lass das bei konkreten Fragen von einer Anwältin oder einem Anwalt prüfen. Ich unterstütze bei der technischen Umsetzung, nicht bei der rechtlichen Bewertung.
Welche KI-Zugriffe zu deinen Sichtbarkeitszielen passen, kläre ich mit dir in der GEO-Beratung. Für Shops zeigt der Ratgeber zur Shopware KI-Suche, wie du den Zugang der Such-Crawler dort prüfst.
Quellen: OpenAI, Overview of OpenAI Crawlers; Anthropic, Hilfeartikel zu den Anthropic-Crawlern; Perplexity, Perplexity Crawlers; Google, Übersicht der Google-Crawler und KI-Funktionen und deine Website; Apple, About Applebot; Common Crawl, CCBot; § 44b UrhG. Englische Seiten sinngemäß übersetzt, abgerufen im November 2026.
Kommentierte Beispiele für drei Website-Typen
Die folgenden Beispiele sind keine Vorlagen zum Kopieren. Pfade, Systeme und Ziele unterscheiden sich, deshalb steht bei jedem Beispiel, wann es passt. Danach kommt immer der Test aus Schritt 4. Die Domain example.com steht für deine eigene.
Firmenwebsite: wenig sperren
# Alle Crawler ohne eigene Gruppe
User-agent: *
# interne Suche nicht abrufen
Disallow: /suche/
Sitemap: https://www.example.com/sitemap.xmlVoraussetzung: Deine interne Suche erzeugt eigene Adressen unter /suche/, und diese sollen nicht abgerufen werden. Hat deine Website keine solche Suche, brauchst du die Disallow-Zeile nicht. Danach testen: Startseite, wichtigste Leistungsseite und Kontaktseite gegen die Regeln halten.
WordPress: was die Standardausgabe enthält
# Standardausgabe, so ähnlich
User-agent: *
# Verwaltungsbereich nicht abrufen
Disallow: /wp-admin/
# Ausnahme für admin-ajax.php
Allow: /wp-admin/admin-ajax.php
# ab 5.5 bei öffentlicher Website
Sitemap: https://www.example.com/wp-sitemap.xmlVoraussetzung: Was deine Installation tatsächlich ausgibt, zeigt allein der Aufruf von /robots.txt. Seit Version 5.5 hängt WordPress bei einer öffentlichen Website selbst eine Sitemap-Zeile mit /wp-sitemap.xml an. Prüf, welche Sitemap-Zeile deine Installation tatsächlich ausgibt und ob diese Sitemap lädt. Welche Ausgaben WordPress selbst, das Theme und ein SEO-Plugin verantworten, zeigt der Ratgeber WordPress SEO. Danach testen: drei Seiten und einen Beitrag gegen die Regeln halten.
Onlineshop: Prüffragen statt Pauschalsperre
Angenommen, ein Onlineshop für Kaffeezubehör hat Kategorien mit Filtern für Material und Preis und eine Sortierung nach Preis.
User-agent: *
# Warenkorb, Kasse, Konto sperren
Disallow: /warenkorb/
Disallow: /kasse/
Disallow: /konto/
# Prüffrage, erst nach Klärung:
# Disallow: /*?sortierung=
Sitemap: https://www.example.com/sitemap.xmlDie Pfade heißen in deinem Shopsystem sehr wahrscheinlich anders. Filter- und Parameter-Adressen sperrst du nicht pauschal, sondern klärst vorher drei Fragen:
- Eigene Adressen: Erzeugen Filter und Sortierung eigene Adressen, etwa mit Parametern hinter einem Fragezeichen?
- Gesuchte Filterseiten: Gibt es darunter Seiten, die Kunden suchen und die in Google erscheinen sollen, etwa „Handmühlen aus Edelstahl“? Diese sperrst du nicht.
- Bereits bekannte Adressen: Stehen die übrigen Varianten schon im Index? Dann klärst du das vor einer Sperre.
Meine Einschätzung: Erzeugen Filter viele Adressen, die niemand sucht und die noch nicht im Index stehen, kann die auskommentierte Zeile passen. Sind sie schon im Index oder gesucht, würde ich nicht sperren und die Sache im Audit klären.
Danach testen: die drei URLs aus Schritt 4 plus eine Kategorie- und eine Produktseite, mit und ohne Filter.
WordPress und Shopify: woher die Datei kommt
WordPress erzeugt die robots.txt virtuell, du findest sie also nicht als hochgeladene Datei. Die Einstellung „Suchmaschinen davon abhalten, diese Website zu indexieren“ setzt seit WordPress 5.3 ein noindex,nofollow im Seitenkopf und gibt in der robots.txt keine Komplettsperre mehr aus. Laut WordPress sperrt die Einstellung den Zugriff nicht. Ob Suchmaschinen sie beachten, liegt bei ihnen. Nach einem Relaunch prüfst du deshalb beides: die robots.txt und die Einstellung unter „Lesen“.
Bei Shopify hat jeder Shop eine Standard-robots.txt, die Shopify als optimal für die Suchmaschinenoptimierung bezeichnet. Ändern lässt sie sich nur über die Theme-Vorlage robots.txt.liquid, die du dafür im Theme anlegst, etwa um Pfade zu sperren, Sitemap-Adressen zu ergänzen oder einzelne Crawler zu regeln. Shopify nennt das eine nicht unterstützte Anpassung und warnt, dass eine falsche Nutzung den gesamten Traffic kosten kann. Ich würde die Vorlage deshalb nur mit konkretem Grund ändern und danach den Schnellcheck vollständig wiederholen.
Quellen: WordPress Developer Resources, do_robots(); WordPress-Dokumentation, Settings Reading Screen; Shopify-Hilfe, Editing robots.txt.liquid. Sinngemäß übersetzt, abgerufen im November 2026.
Die llms.txt ist ein Vorschlag von llmstxt.org aus dem September 2024, kein formaler Standard. Sie soll KI-Agenten Informationen zur Nutzung einer Website geben, regelt aber keinen Zugriff. Google schreibt zu seinen KI-Funktionen, dass du dafür keine neuen maschinenlesbaren Dateien oder KI-Textdateien brauchst, die llms.txt nennt Google dort nicht namentlich. Ob sie für deine Ziele etwas bringt, gehört in deine GEO-Planung, nicht in die robots.txt.
robots.txt-Prüfliste als PDF
Die sieben Schritte des Schnellchecks zum Ankreuzen, Felder für geprüfte Domain und Datum und drei kurze kommentierte Beispiele. Eine Seite zum Ausdrucken und manuellen Ausfüllen.
Jetzt herunterladen (PDF)Häufige Fragen zur robots.txt
Entfernt eine robots.txt-Sperre eine Seite aus Google?
Nein. Laut Google ist die robots.txt kein Mittel, um eine Seite aus Google herauszuhalten. Ist die gesperrte Adresse von anderen Seiten verlinkt, kann sie trotzdem im Index stehen. Soll eine Seite verschwinden, setz ein noindex und lass die Seite abrufbar, damit Google es lesen kann, oder schütz sie mit einem Passwort.
Brauche ich überhaupt eine robots.txt?
Nicht zwingend. Fehlt sie und der Server meldet 404, behandelt Google das so, als wäre alles erlaubt. Sinnvoll ist sie, wenn du Bereiche vom Crawling ausnehmen oder auf deine Sitemap verweisen willst.
Wo finde ich die robots.txt meiner Website?
Im obersten Verzeichnis deiner Domain, also unter deine-domain.de/robots.txt. Sie gilt nur für genau diesen Host, dieses Protokoll und diesen Port, eine Subdomain hat ihre eigene. WordPress erzeugt die Datei virtuell. Shopify liefert eine Standarddatei aus, die sich nur über die Theme-Vorlage robots.txt.liquid ändern lässt. Meldet der Server unter der Adresse 404, hat die Website keine robots.txt, und Google behandelt das so, als wäre alles erlaubt.
Wie teste ich meine robots.txt?
Mit dem Schnellcheck oben: Datei aufrufen, im robots.txt-Bericht der Search Console Abrufstatus und Parsing-Fehler prüfen, dann drei wichtige URLs gegen die Regeln der passenden Gruppe halten. Den Bericht gibt es laut Google-Hilfe für Domain-Properties und für URL-Präfix-Properties ohne Pfad. Er zeigt Abrufstatus, letzten Abruf, Größe und Parsing-Fehler. Den früheren robots.txt-Tester erwähnt die aktuelle Search-Console-Hilfe zum Bericht nicht, deshalb hältst du die URLs im Schnellcheck manuell gegen die Regeln. Wer selbst entwickelt, kann den Parser nutzen, den Google als Open-Source-Bibliothek bereitstellt und laut eigener Aussage auch in der Google-Suche einsetzt.
Was bedeutet Disallow in der robots.txt?
Disallow nennt einen Pfad, den die Crawler der Gruppe nicht abrufen sollen. Der Pfad wirkt als Anfang: Disallow: /intern trifft auch /intern-alt/ und /intern.html. Disallow: / sperrt die ganze Website. Ein * steht für beliebig viele Zeichen, ein $ für das Ende der URL. Eine längere Allow-Regel gibt einzelne Pfade wieder frei.
Gehört die Sitemap in die robots.txt?
Du kannst sie dort mit einer Zeile Sitemap: angeben. Google verlangt dafür eine vollständige Adresse mit Protokoll und Domain. Die Zeile ist an keinen bestimmten Crawler gebunden und kann deshalb an beliebiger Stelle in der Datei stehen.
Soll ich KI-Crawler wie GPTBot sperren?
Das hängt von deinem Ziel ab. GPTBot sammelt laut OpenAI Inhalte für das Training, OAI-SearchBot dient der Suche in ChatGPT. Wer nur das Training ausschließen will, sperrt GPTBot und lässt OAI-SearchBot zu. Abrufe, die Nutzer auslösen, etwa über ChatGPT-User, folgen der robots.txt laut OpenAI möglicherweise nicht. Ob eine Sperre als Nutzungsvorbehalt nach § 44b UrhG genügt, ist rechtlich nicht abschließend geklärt. Bei konkreten Fragen hilft eine anwaltliche Prüfung.
Brauche ich eine llms.txt?
Pflicht ist sie nicht. Google schreibt, dass du für seine KI-Funktionen keine neuen maschinenlesbaren Dateien oder KI-Textdateien brauchst. Die llms.txt ist ein Vorschlag, kein formaler Standard, und sie regelt keinen Zugriff. Ob sie für deine Ziele einen Nutzen hat, klärst du im Rahmen deiner GEO-Strategie.
Quellen zu den Antworten: Google Search Central, Einführung in robots.txt und So interpretiert Google die robots.txt-Spezifikation; Search Console-Hilfe, robots.txt-Bericht; OpenAI, Overview of OpenAI Crawlers; § 44b UrhG; llmstxt.org; Google, KI-Funktionen und deine Website. Sinngemäß übersetzt, abgerufen im November 2026.
Die robots.txt ist schnell geändert und genauso schnell vergessen. Wer nach jedem Relaunch, jedem Systemwechsel und jeder Änderung an der Datei die drei wichtigsten URLs gegen die Regeln hält, findet eine unerwartete Sperre, bevor sie lange wirkt.
Wichtige Seiten trotz freier robots.txt nicht im Index?
Ein paar Sätze zu deiner Website und zu dem, was dir im Schnellcheck aufgefallen ist, genügen im Formular weiter unten.
Technische Prüfung anfragenWichtige Seiten trotz robots.txt-Check nicht im Index?
Schreib mir kurz deine Domain, mit welchem System deine Website läuft und was dir im Schnellcheck aufgefallen ist. Ich schaue mir die technischen Ursachen an und melde mich bei dir.



