Zum Inhalt springen

robots.txt testen: 15-Minuten-Check und KI-Crawler steuern

robots.txt testen in 15 Minuten: Darf Google deine wichtigen Seiten abrufen? Typische Fehler, KI-Crawler im Überblick und Prüfliste als PDF.

robots.txt testen: 15-Minuten-Check und KI-Crawler steuern, Blog-Header von inventivo
Inhaltsverzeichnis anzeigen
  1. Was die robots.txt steuert, und was nicht
  2. Sperre und noindex heben sich auf
  3. Wo die Datei liegen muss
  4. Aufbau: Gruppen, Regeln und zwei Sonderzeichen
  5. Welche Regel gewinnt?
  6. So liest ein Crawler deine robots.txt
  7. Der 15-Minuten-Schnellcheck für deine robots.txt
  8. Typische Fehler in der robots.txt
  9. Unerwartete Sperre gefunden, was jetzt?
  10. Woher die Sperre kommen kann
  11. Ändern und erneut prüfen
  12. Wenn die Ursache tiefer liegt
  13. KI-Crawler: zulassen oder sperren?
  14. Entscheidung nach Ziel
  15. Kommentierte Beispiele für drei Website-Typen
  16. Firmenwebsite: wenig sperren
  17. WordPress: was die Standardausgabe enthält
  18. Onlineshop: Prüffragen statt Pauschalsperre
  19. WordPress und Shopify: woher die Datei kommt
  20. Häufige Fragen zur robots.txt
  21. Entfernt eine robots.txt-Sperre eine Seite aus Google?
  22. Brauche ich überhaupt eine robots.txt?
  23. Wo finde ich die robots.txt meiner Website?
  24. Wie teste ich meine robots.txt?
  25. Was bedeutet Disallow in der robots.txt?
  26. Gehört die Sitemap in die robots.txt?
  27. Soll ich KI-Crawler wie GPTBot sperren?
  28. Brauche ich eine llms.txt?

Die robots.txt ist eine einfache Textdatei im obersten Verzeichnis deiner Website. Sie legt fest, welche Adressen deiner Website Suchmaschinen und andere Crawler abrufen dürfen. Ob sie richtig eingestellt ist, entscheidet eine einzige Prüffrage: Darf der gewünschte Crawler deine wichtigen Seiten abrufen? Mit dem Schnellcheck in diesem Ratgeber beantwortest du sie in rund 15 Minuten, ohne Programmierkenntnisse. Ein vollständiger technischer Audit ist das nicht, aber du findest Sperren, die deine wichtigsten Seiten betreffen.

Das Wichtigste in Kürze
  • Die Prüffrage: Darf der gewünschte Crawler deine wichtigen Seiten abrufen? Der Schnellcheck beantwortet sie für drei ausgewählte URLs in rund 15 Minuten.
  • Crawling, nicht Index: Die robots.txt regelt das Abrufen, nicht die Aufnahme in den Index. Ein noindex wirkt nur, wenn die Seite abgerufen werden darf.
  • Kein Zugriffsschutz: Die Regeln erzwingen nichts. Vertrauliche Bereiche gehören hinter ein Passwort.
  • Der längste passende Pfad gewinnt, bei Gleichstand die weniger strenge Regel. Bekommt ein Crawler eine eigene Gruppe, gelten für ihn die Regeln der Gruppe mit dem Stern nicht mehr.
  • KI-Crawler getrennt entscheiden: Training, Suchindex und Abrufe im Auftrag von Nutzern sind verschiedene Zugriffe. Abrufe, die ein Nutzer auslöst, folgen der Datei laut OpenAI und Perplexity nicht zuverlässig.

Was die robots.txt steuert, und was nicht

Die robots.txt sagt Crawlern, welche URLs deiner Website sie abrufen dürfen. Sie steuert also das Crawling, nicht den Index. Google schreibt selbst, dass die Datei kein Mittel ist, um eine Seite aus Google herauszuhalten: Ist eine gesperrte URL von anderen Seiten verlinkt, kann sie trotzdem im Index landen. Soll eine Seite nicht in den Suchergebnissen erscheinen, nennt Google zwei Wege, ein noindex oder einen Passwortschutz. Die Kurzdefinition findest du im Glossar unter robots.txt, hier geht es um die Prüfung.

1
Was die Datei regelt

Welche Crawler welche Pfade abrufen dürfen, getrennt nach Gruppen je Crawler. Dazu kann sie auf deine Sitemap verweisen.

Gilt für: genau den Host, das Protokoll und den Port, unter dem sie liegt.

2
Was sie nicht regelt

Ob jemand eine Seite tatsächlich aufrufen kann. Laut Google können die Anweisungen das Verhalten eines Crawlers nicht erzwingen, und RFC 9309 stellt klar, dass sie keine Zugriffsberechtigung sind.

Für Vertrauliches: Passwortschutz statt Eintrag in der robots.txt.

Sperre und noindex heben sich auf

Ein verbreiteter Denkfehler: Eine Seite bekommt ein noindex und wird zur Sicherheit zusätzlich in der robots.txt gesperrt. Das geht nicht auf. Damit Google das noindex sieht, muss es die Seite abrufen dürfen. Ist sie gesperrt, bleibt das noindex ungelesen.

Wo die Datei liegen muss

  • Im obersten Verzeichnis: unter deine-domain.de/robots.txt, nicht in einem Unterordner.
  • Je Host, Protokoll und Port: Die Regeln gelten nur dafür. Ein Shop auf einer eigenen Subdomain braucht eine eigene Datei.
  • Reiner Text in UTF-8: Google erwartet eine UTF-8-codierte Klartextdatei und setzt eine Größengrenze von 500 KiB.
  • Groß- und Kleinschreibung: Pfade in den Regeln und der Dateiname selbst unterscheiden sie.

Quellen: Google Search Central, Einführung in robots.txt, Indexierung mit noindex blockieren und So interpretiert Google die robots.txt-Spezifikation; RFC 9309, Robots Exclusion Protocol (Abschnitte 1, 2.2, 2.3, 2.5). Englische Seiten sinngemäß übersetzt, abgerufen im November 2026.

Aufbau: Gruppen, Regeln und zwei Sonderzeichen

Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer Zeile User-agent, die den Crawler benennt, danach folgen die Regeln. Alles hinter einem # ist Kommentar. Das Beispiel zeigt alle Bausteine auf einmal, es ist keine Vorlage für deine Website.

# Gruppe 1: alle anderen Crawler
User-agent: *
# interne Suche nicht abrufen
Disallow: /suche/
# Ausnahme: diese Seite erlaubt
Allow: /suche/hilfe.html
# Adressen mit Endung .pdf
Disallow: /*.pdf$

# Gruppe 2: nur für Googlebot
User-agent: Googlebot
Disallow: /testbereich/

# Gilt unabhängig von den Gruppen
Sitemap: https://www.example.com/sitemap.xml
  • User-agent nennt den Crawler, für den die Gruppe gilt. Der Stern steht für alle Crawler ohne eigene Gruppe. Den Namen vergleichen Crawler ohne Rücksicht auf Groß- und Kleinschreibung.
  • Disallow nennt einen Pfad, der nicht abgerufen werden soll. Er wirkt als Anfang: /suche/ trifft jede Adresse, die damit beginnt.
  • Allow erlaubt einen Pfad ausdrücklich, meist als Ausnahme innerhalb einer Sperre.
  • Sitemap verweist mit vollständiger Adresse auf deine Sitemap und ist an keinen Crawler gebunden.
  • * im Pfad steht für beliebig viele Zeichen, $ für das Ende der URL.

Welche Regel gewinnt?

Passen mehrere Regeln auf eine URL, zählt nicht ihre Reihenfolge, sondern ihre Länge. Google und RFC 9309 nehmen die spezifischste Regel, also die mit dem längsten Pfad. Sind zwei Regeln gleich spezifisch, gewinnt die weniger strenge, also Allow. Trifft keine Regel, darf der Crawler die URL abrufen. Im Beispiel ist /suche/hilfe.html deshalb erlaubt, obwohl /suche/ gesperrt ist.

Die Falle mit der eigenen Gruppe

Bekommt ein Crawler eine eigene Gruppe, gilt für ihn nur diese. Google kombiniert sie nicht mit der Gruppe mit dem Stern. Im Beispiel darf Googlebot deshalb /suche/ abrufen, denn in seiner Gruppe steht nur der Testbereich. Willst du für einen Crawler mit eigener Gruppe dieselben Sperren, wiederhol sie dort. Zeilen wie crawl-delay unterstützt Google nicht.

Quellen: Google Search Central, So interpretiert Google die robots.txt-Spezifikation; RFC 9309 (Abschnitte 2.1 bis 2.2.3). Sinngemäß übersetzt, abgerufen im November 2026.

So liest ein Crawler deine robots.txt

Bevor ein Crawler eine Seite abruft, durchläuft er vier Stationen: Er holt die Datei, sucht die Gruppe, die für ihn gilt, wählt darin die spezifischste passende Regel und kommt so zu einem Ergebnis für die einzelne URL.

Wie ein Crawler deine robots.txt liestVier Stationen, nacheinander. 1, Datei abrufen: /robots.txt: Status 2xx: Regeln gelten, weiter mit Station 2; Status 4xx (außer 429): wie ohne Datei, alles erlaubt; Status 5xx: Google crawlt zunächst nicht und nutzt danach bis zu 30 Tage die letzte gute Fassung. 2, Passende Gruppe finden: Eigene Gruppe für den Crawler, etwa Googlebot: dann gilt nur sie, die *-Gruppe nicht; Keine eigene Gruppe: die Gruppe User-agent: *; Name ohne Rücksicht auf Groß- und Kleinschreibung. 3, Spezifischste Regel wählen: Der längste passende Pfad gewinnt; Gleich lang: die weniger strenge Regel, also Allow; Pfade beachten Groß- und Kleinschreibung. 4, Ergebnis für die URL: Allow oder keine passende Regel: abrufen; Disallow: nicht abrufen. Dazu: Was die robots.txt nicht leistet. Kein Index-Schalter: Eine gesperrte URL kann trotzdem im Index stehen. Kein Zugriffsschutz: Die Regeln erzwingen nichts. Vertrauliches gehört hinter ein Passwort. Kein noindex-Ersatz: noindex wirkt nur, wenn die Seite abgerufen werden darf. Nicht sofort wirksam: Google hält die Datei in der Regel bis zu 24 Stunden im Cache. Regeln nach Google und RFC 9309. Schnellcheck-Hilfe, kein vollständiger technischer Audit.Wie ein Crawler deine robots.txt liestVier Stationen vom Abruf bis zum Ergebnis · Stand 11/20261Datei abrufen: /robots.txtStatus 2xx: Regeln gelten, weiter mit Station 2Status 4xx (außer 429): wie ohne Datei, alles erlaubtStatus 5xx: Google crawlt zunächst nicht und nutztdanach bis zu 30 Tage die letzte gute Fassung2Passende Gruppe findenEigene Gruppe für den Crawler, etwa Googlebot:dann gilt nur sie, die *-Gruppe nichtKeine eigene Gruppe: die Gruppe User-agent: *Name ohne Rücksicht auf Groß- und Kleinschreibung3Spezifischste Regel wählenDer längste passende Pfad gewinntGleich lang: die weniger strenge Regel, also AllowPfade beachten Groß- und Kleinschreibung4Ergebnis für die URL✓ Allow oder keine passende Regel: abrufen✕ Disallow: nicht abrufenWas sie nicht leistet✕ Kein Index-SchalterEine gesperrte URL kanntrotzdem im Index stehen.✕ Kein ZugriffsschutzDie Regeln erzwingen nichts.Vertrauliches gehört hinterein Passwort.✕ Kein noindex-Ersatznoindex wirkt nur, wenn dieSeite abgerufen werden darf.✕ Nicht sofort wirksamGoogle hält die Datei in derRegel bis zu 24 Stunden imCache.Regeln nach Google undRFC 9309.Schnellcheck-Hilfe, keinvollständiger technischerAudit. Wie ein Crawler deine robots.txt liestVier Stationen, nacheinander. 1, Datei abrufen: /robots.txt: Status 2xx: Regeln gelten, weiter mit Station 2; Status 4xx (außer 429): wie ohne Datei, alles erlaubt; Status 5xx: Google crawlt zunächst nicht und nutzt danach bis zu 30 Tage die letzte gute Fassung. 2, Passende Gruppe finden: Eigene Gruppe für den Crawler, etwa Googlebot: dann gilt nur sie, die *-Gruppe nicht; Keine eigene Gruppe: die Gruppe User-agent: *; Name ohne Rücksicht auf Groß- und Kleinschreibung. 3, Spezifischste Regel wählen: Der längste passende Pfad gewinnt; Gleich lang: die weniger strenge Regel, also Allow; Pfade beachten Groß- und Kleinschreibung. 4, Ergebnis für die URL: Allow oder keine passende Regel: abrufen; Disallow: nicht abrufen. Dazu: Was die robots.txt nicht leistet. Kein Index-Schalter: Eine gesperrte URL kann trotzdem im Index stehen. Kein Zugriffsschutz: Die Regeln erzwingen nichts. Vertrauliches gehört hinter ein Passwort. Kein noindex-Ersatz: noindex wirkt nur, wenn die Seite abgerufen werden darf. Nicht sofort wirksam: Google hält die Datei in der Regel bis zu 24 Stunden im Cache. Regeln nach Google und RFC 9309. Schnellcheck-Hilfe, kein vollständiger technischer Audit.Wie ein Crawler deinerobots.txt liestVier Stationen vom Abruf bis zumErgebnis · Stand 11/20261Datei abrufen: /robots.txtStatus 2xx: Regeln gelten, weiter mitStation 2Status 4xx (außer 429): wie ohne Datei,alles erlaubtStatus 5xx: Google crawlt zunächstnicht und nutzt danach bis zu 30 Tagedie letzte gute Fassung2Passende Gruppe findenEigene Gruppe für den Crawler, etwaGooglebot: dann gilt nur sie, die*-Gruppe nichtKeine eigene Gruppe: die GruppeUser-agent: *Name ohne Rücksicht auf Groß- undKleinschreibung3Spezifischste Regel wählenDer längste passende Pfad gewinntGleich lang: die weniger strenge Regel,also AllowPfade beachten Groß- undKleinschreibung4Ergebnis für die URL✓ Allow oder keine passende Regel:abrufen✕ Disallow: nicht abrufenWas sie nicht leistet✕ Kein Index-SchalterEine gesperrte URL kann trotzdem imIndex stehen.✕ Kein ZugriffsschutzDie Regeln erzwingen nichts.Vertrauliches gehört hinter einPasswort.✕ Kein noindex-Ersatznoindex wirkt nur, wenn die Seiteabgerufen werden darf.✕ Nicht sofort wirksamGoogle hält die Datei in der Regel biszu 24 Stunden im Cache.Regeln nach Google und RFC 9309.Schnellcheck-Hilfe, kein vollständigertechnischer Audit.

Dieses Schaubild einbinden

Du darfst die Grafik gerne kostenlos und unverändert auf deiner Website nutzen, auch auf gewerblichen Seiten, solange der enthaltene Quellenlink zu diesem Artikel erhalten bleibt. Kopiere einfach den Code und füge ihn ein. Die Größe darfst du anpassen. Für andere Nutzungen, etwa in Druckwerken oder in veränderter Form, frag mich bitte vorher. Stand 11/2026.

Das Schaubild in Kürze:

  • Station 1, Datei abrufen: Bei Status 2xx gelten die Regeln. Bei 4xx außer 429 verhält sich Google wie ohne Datei, alles ist erlaubt. Bei 5xx crawlt Google zunächst nicht und nutzt danach bis zu 30 Tage die letzte gute Fassung.
  • Station 2, passende Gruppe finden: Gibt es eine eigene Gruppe für den Crawler, etwa Googlebot, gilt nur sie, die Gruppe mit dem Stern nicht. Sonst gilt die Gruppe User-agent: *. Der Name zählt ohne Rücksicht auf Groß- und Kleinschreibung.
  • Station 3, spezifischste Regel wählen: Der längste passende Pfad gewinnt, bei gleicher Länge die weniger strenge Regel, also Allow. Pfade beachten Groß- und Kleinschreibung.
  • Station 4, Ergebnis für die URL: Allow oder keine passende Regel heißt abrufen, Disallow heißt nicht abrufen.
  • Was sie nicht leistet: Sie ist kein Index-Schalter, kein Zugriffsschutz und kein noindex-Ersatz, und sie wirkt nicht sofort, weil Google sie in der Regel bis zu 24 Stunden im Cache hält.

Der 15-Minuten-Schnellcheck für deine robots.txt

Der Schnellcheck beantwortet die Prüffrage für deine wichtigsten Seiten. Er ist ausdrücklich kein vollständiger technischer Audit: Wie oft Google deine Seiten abruft und warum einzelne Seiten nicht im Index stehen, zeigt er nicht. Du brauchst einen Browser, Zugang zur Google Search Console und drei wichtige URLs, etwa die Startseite, deine wichtigste Leistungs- oder Kategorieseite und eine Seite, die neu ist oder kürzlich geändert wurde.

  1. 1

    Datei im Browser aufrufen

    Ruf deine-domain.de/robots.txt genau unter der Adresse auf, unter der deine Website läuft, also mit dem richtigen Protokoll und mit oder ohne www. Hast du eine Subdomain, etwa für einen Shop, ruf auch deren Datei auf.
    Prüfen: Erscheint reiner Text mit mindestens einer Zeile User-agent?
    Erwartet: Die Datei lädt als Text. Fehlt sie und der Server meldet 404, ist das kein Fehler: Google behandelt das so, als wäre alles erlaubt.

  2. 2

    robots.txt-Bericht öffnen, Abrufstatus prüfen

    Den Bericht findest du in der Search Console in den Einstellungen deiner Property. Laut Google-Hilfe steht er für Properties auf Domain-Ebene bereit, also für Domain-Properties und URL-Präfix-Properties ohne Pfad. Für jede gefundene Datei zeigt er einen Abrufstatus: abgerufen, nicht gefunden (404) oder aus einem anderen Grund nicht abgerufen.
    Prüfen: Welchen Abrufstatus zeigt der Bericht für deine Datei?
    Erwartet: Abgerufen, wenn du eine Datei hast. Nicht gefunden (404) nur, wenn du bewusst keine hast. Zeigt er einen anderen Grund, prüf, ob der Server beim Abruf einen Fehler meldet.
    Hintergrund: Bei einem Serverfehler (5xx) stoppt Google zunächst das Crawlen der Website und nutzt danach bis zu 30 Tage die letzte gute Fassung. Einen Serverfehler an dieser Stelle würde ich deshalb vor jeder einzelnen Regel beheben.

  3. 3

    Hosts und Parsing-Fehler im Bericht prüfen

    Der Bericht zeigt die robots.txt-Dateien, die Google für die 20 wichtigsten Hosts deiner Website gefunden hat, mit letztem Abruf und Größe.
    Prüfen: Ist jeder deiner Hosts dabei, wann wurde zuletzt abgerufen, und gibt es Parsing-Fehler?
    Erwartet: Für jeden deiner Hosts eine abgerufene Datei ohne Parsing-Fehler.

  4. 4

    Drei wichtige URLs gegen die Regeln halten

    Such die Gruppe, die für Googlebot gilt: eine eigene Gruppe mit diesem Namen, sonst die Gruppe User-agent: *. Vergleich dann den Pfad jeder deiner drei URLs mit den Disallow- und Allow-Zeilen dieser Gruppe.
    Prüfen: Beginnt der Pfad mit einem gesperrten Pfad? Gibt es eine längere Allow-Regel, die ihn wieder freigibt? Stimmt die Groß- und Kleinschreibung?
    Erwartet: Keine der drei URLs ist gesperrt. Wiederhol den Vergleich für jeden weiteren Crawler, der deine Seiten abrufen soll, etwa einen Such-Crawler aus der KI-Tabelle weiter unten.

  5. 5

    Skripte und Stilvorlagen nicht sperren

    Sieh dir an, welche Ordner unter Disallow stehen, und ob darin Dateien liegen, die deine Seiten zum Darstellen laden.
    Prüfen: Liegen JavaScript-Dateien oder Stilvorlagen in einem gesperrten Pfad?
    Erwartet: Nein.
    Hintergrund: Google rendert laut eigener Dokumentation kein JavaScript aus gesperrten Dateien. Stilvorlagen würde ich ebenfalls nicht sperren, weil sie zur Darstellung der Seite gehören. Das ist meine Einschätzung, die verlinkte Google-Seite nennt nur JavaScript.

  6. 6

    Sitemap-Zeile prüfen

    Such die Zeile, die mit Sitemap: beginnt, und öffne die Adresse dahinter im Browser.
    Prüfen: Ist die Adresse vollständig, mit https und Domain? Lädt die Sitemap?
    Erwartet: Steht eine Sitemap-Zeile in der Datei, ist die Adresse vollständig und lädt.
    Hintergrund: Google verlangt hier eine vollständige URL mit Protokoll und Host.

  7. 7

    Nach jeder Änderung erneut prüfen

    Wird die Datei geändert, wiederhol die Schritte 1, 4 und 6 und fordere im robots.txt-Bericht einen neuen Abruf an, in der Oberfläche über „Erneutes Crawlen beantragen“.
    Prüfen: Zeigt der Bericht einen Abruf nach deiner Änderung?
    Erwartet: Neuer Abruf, Status abgerufen, keine Parsing-Fehler.
    Hintergrund: Google hält die Datei in der Regel bis zu 24 Stunden im Cache. Ohne neuen Abruf kann Google also noch kurz die alte Fassung nutzen.

Quellen: Google Search Console-Hilfe, robots.txt-Bericht; Google Search Central, So interpretiert Google die robots.txt-Spezifikation und Grundlagen JavaScript-SEO. Sinngemäß übersetzt, abgerufen im November 2026.

Typische Fehler in der robots.txt

Die erste Zeile der Tabelle ist meine Einschätzung aus der Praxis, keine Aussage von Google. Die Folgen in den übrigen Zeilen stützen sich auf die Google-Dokumentation und RFC 9309. Dass jeder die Datei aufrufen kann, siehst du selbst in Schritt 1.

FehlerWoran du es erkennstWas daraus folgt
Komplettsperre nach Relaunch oder UmzugDisallow: / in der Gruppe mit dem Stern, obwohl die Website live ist, oft vom Testsystem übernommenKein Crawler, der sich an die Datei hält, ruft noch eine Seite ab
Sperre statt noindexEine Seite soll aus Google verschwinden, steht aber nur unter Disallow, manchmal zusätzlich mit noindexDas Ziel wird verfehlt, Google kann ein noindex auf der Seite nicht lesen
Skripte gesperrtDisallow auf Ordnern, aus denen die Seiten JavaScript ladenGoogle rendert das JavaScript aus gesperrten Dateien nicht
Eigene Gruppe ohne die allgemeinen SperrenEine Gruppe für einen bestimmten Crawler enthält nur einzelne ZeilenFür diesen Crawler gelten die Regeln der Gruppe mit dem Stern nicht
Abweichende Schreibweise im PfadDisallow: /Intern/, die Adressen beginnen aber mit /intern/Die Regel greift nicht, Pfade beachten Groß- und Kleinschreibung
Datei am falschen OrtDatei in einem Unterordner oder nur auf der Hauptdomain, der Shop läuft auf einer SubdomainRegeln gelten nur für Host, Protokoll und Port der Datei im obersten Verzeichnis
Vertrauliches eingetragenPfade interner Bereiche stehen unter Disallow, ohne PasswortschutzKein Schutz: Die Regeln erzwingen nichts, und die Datei kann jeder aufrufen wie du in Schritt 1
Serverfehler beim AbrufDer robots.txt-Bericht zeigt einen Fehlerstatus, die Datei lädt nichtGoogle stoppt bei 5xx zunächst das Crawlen und nutzt danach die letzte gute Fassung
crawl-delay als BremseEine Zeile crawl-delay soll Google verlangsamenGoogle unterstützt die Zeile nicht
← Tabelle seitlich scrollen →

Unerwartete Sperre gefunden, was jetzt?

Steht eine wichtige URL unter einer Sperre, die niemand bewusst gesetzt hat, ändere nicht als Erstes die Datei. Finde zuerst heraus, woher die Zeile kommt. Sonst steht sie nach dem nächsten Update oder der nächsten Veröffentlichung womöglich wieder da.

Woher die Sperre kommen kann

1
Relaunch oder Umzug

Die Datei des Testsystems ist mit auf die Live-Website gewandert, samt einer Komplettsperre.

Achte auf: Disallow: / in der Gruppe mit dem Stern.

2
System und Vorlage

WordPress erzeugt die Datei virtuell. Shopify liefert eine Standarddatei aus, die sich nur über die Theme-Vorlage robots.txt.liquid ändern lässt. Die Zeile steht dann nicht in einer Datei, die du hochgeladen hast.

Achte auf: Änderungen an Vorlage oder Einstellungen seit dem letzten Test.

3
Erweiterung oder Plugin

Bietet eine Erweiterung Einstellungen zur robots.txt an, kann sie die ausgelieferte Datei verändern.

Achte auf: neu installierte oder aktualisierte Erweiterungen.

4
Einstellung fürs Testsystem

Eine Einstellung, die nur für den Aufbau gedacht war, ist im Live-Betrieb aktiv geblieben.

Achte auf: bei WordPress zusätzlich auf die Sichtbarkeit für Suchmaschinen. Sie sperrt nicht in der robots.txt, setzt aber ein noindex, mehr dazu weiter unten.

Ändern und erneut prüfen

  1. Die Zeile an der Quelle ändern: in der Vorlage, der Einstellung oder der Datei, aus der sie stammt.
  2. deine-domain.de/robots.txt neu aufrufen und lesen, was wirklich ausgeliefert wird. Nutzt deine Website einen Seiten-Cache, leere ihn vorher.
  3. Die drei URLs aus Schritt 4 erneut gegen die Regeln halten.
  4. Im robots.txt-Bericht der Search Console einen neuen Abruf anfordern und den Abrufstatus prüfen.
Beispiel: ein Ingenieurbüro nach dem Relaunch

Angenommen, ein Ingenieurbüro für Tragwerksplanung hat seine Website neu gebaut. Nach dem Livegang zeigt Schritt 4 des Schnellchecks, dass alle drei URLs gesperrt sind: In der Gruppe mit dem Stern steht Disallow: /, übernommen vom Testsystem.

Die Zeile wird in der Vorlage der Live-Website entfernt, auf dem Testsystem bleibt sie stehen. Danach zeigt die robots.txt im Browser die neue Fassung, die drei URLs sind frei, und im robots.txt-Bericht wird ein neuer Abruf angefordert. Den gesamten Schnellcheck wiederholt das Büro nach dem nächsten größeren Update.

Wenn die Ursache tiefer liegt

Manchmal ist die robots.txt in Ordnung, und trotzdem kommen wichtige Seiten nicht im Index an. Wenn wichtige Seiten trotz erreichbarer Website nicht zuverlässig gecrawlt werden, prüfe ich im SEO-Audit die technischen Ursachen. Ich arbeite seit 2004 in der Webentwicklung, entwickle als Plugin-Hersteller Erweiterungen für Shopsysteme und betreue Webdesign und SEO von Münster aus. Was ein Audit über die robots.txt hinaus prüft, zeigt die SEO-Audit-Checkliste. Steht ein Relaunch an, hilft die Website-Relaunch-Checkliste, damit eine Sperre vom Testsystem gar nicht erst live geht.

KI-Crawler: zulassen oder sperren?

Erst wenn der Basischeck sitzt, lohnt der Blick auf KI-Crawler. Dabei hilft es, drei Arten von Zugriffen zu trennen, denn die Anbieter regeln sie unterschiedlich:

1
Training

Inhalte fließen in das Training von Sprachmodellen. Steuern lässt sich das über GPTBot und ClaudeBot sowie über Google-Extended und Applebot-Extended, die keine eigenen Crawler sind, sondern Kennzeichen in der robots.txt.

Steuerung: laut Anbieter über die robots.txt.

2
Suchindex

Crawler für die Suchfunktion eines KI-Dienstes, etwa OAI-SearchBot, Claude-SearchBot oder PerplexityBot.

Steuerung: laut Anbieter über die robots.txt.

3
Abruf für Nutzer

Ein Nutzer stellt eine Frage, und der Dienst ruft dafür deine Seite ab, etwa über ChatGPT-User, Claude-User oder Perplexity-User.

Steuerung: je Anbieter verschieden, siehe Tabelle.

Entscheidung nach Ziel

  • Du willst in KI-Suchantworten als Quelle infrage kommen: Lass die Such-Crawler zu. Wer OAI-SearchBot aussperrt, erscheint laut OpenAI nicht in den Suchantworten von ChatGPT. Umgekehrt garantiert ein Zugang keine Erwähnung. Wie Inhalte zitierfähig werden, behandelt der Ratgeber zur Generative Engine Optimization.
  • Du willst Inhalte nicht für das Training bereitstellen: Sperr die Training-Tokens und lass die Such-Crawler zu. Die Sperre wirkt nur gegenüber den Crawlern, die du nennst, und nur für künftige Abrufe. Eine Sperre von Google-Extended betrifft laut Google neben dem Training auch das Grounding in Gemini Apps und Vertex AI. Auf die Aufnahme in die Google-Suche wirkt sie laut Google nicht, und sie ist kein Ranking-Signal.
  • Die KI-Funktionen der Google-Suche: Sie steuerst du laut Google über die Regeln für Googlebot, nicht über Google-Extended.
  • Du willst gar keine KI-Zugriffe: Dann sperrst du alle Tokens aus der Tabelle. Abrufe, die ein Nutzer auslöst, folgen der Datei laut OpenAI und Perplexity trotzdem nicht zuverlässig, und ein Zugriffsschutz ist die robots.txt auch hier nicht.
TokenAnbieterZweck laut Anbieterrobots.txt laut Anbieter
GPTBotOpenAITraining der Basismodellelässt sich über die robots.txt steuern
OAI-SearchBotOpenAIWebsites für die Suche in ChatGPT findenlässt sich steuern; ausgesperrte Websites erscheinen nicht in den Suchantworten
ChatGPT-UserOpenAIAktionen von Nutzern in ChatGPT und Custom GPTs, kein automatisches Crawlenweil Nutzer die Abrufe auslösen, gelten die Regeln möglicherweise nicht
ClaudeBotAnthropicTraininglässt sich steuern; eine Sperre schließt künftige Inhalte aus den Trainingsdaten aus
Claude-SearchBotAnthropicIndex für die Relevanz von Suchergebnissenallgemeine Aussage zu den Anthropic-Bots, keine gesonderte
Claude-UserAnthropicAbruf, wenn ein Nutzer Claude eine Frage stelltBetreiber können diese Anfragen steuern; keine gesonderte Aussage zur robots.txt
PerplexityBotPerplexitySuchergebnisse in Perplexity, nicht für das Training von BasismodellenPerplexity empfiehlt, ihn in der robots.txt zu erlauben
Perplexity-UserPerplexityAbrufe auf Anfrage von Nutzern, kein Trainingignoriert die Regeln meist, weil ein Nutzer den Abruf ausgelöst hat
Google-ExtendedGoogleToken ohne eigenen Crawler für das Training künftiger Gemini-Modelle und das Grounding in Gemini Apps und Vertex AI, also das Stützen von Antworten auf abgerufene WebinhalteSteuerung per robots.txt; kein Einfluss auf die Aufnahme in die Google-Suche
Applebot-ExtendedAppleAusschluss vom Training der Apple-Basismodelle, crawlt selbst nichtSteuerung per robots.txt; gesperrte Seiten können weiter in Suchergebnissen erscheinen
CCBotCommon Crawloffenes Archiv von WebseitenSperre per eigener Gruppe mit Disallow: /; gefälschte Abrufe sind möglich
← Tabelle seitlich scrollen →

Willst du zum Beispiel die Training-Crawler von OpenAI und Google sperren, die Suche in ChatGPT aber zulassen, sieht der Teil so aus. Voraussetzung ist, dass du diese Entscheidung bewusst getroffen hast:

# Training sperren
# Google-Extended: auch Grounding
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# OAI-SearchBot: keine eigene
# Gruppe, folgt der *-Gruppe

OAI-SearchBot bekommt hier bewusst keine eigene Gruppe und folgt damit den Regeln der Gruppe mit dem Stern, wie alle anderen Crawler. Gibst du ihm eine eigene Gruppe, wiederhol dort die Sperren. Danach testest du die drei URLs aus Schritt 4 für OAI-SearchBot und Googlebot. Google kündigt außerdem an, ab Anfang 2027 ein zusätzliches Signal für KI-Training in der robots.txt zu unterstützen. Das ist eine Ankündigung, Stand November 2026.

Rechtlich spielt § 44b UrhG hinein. Vervielfältigungen rechtmäßig zugänglicher Werke für Text und Data Mining sind danach erlaubt, solange sich der Rechtsinhaber die Nutzung nicht vorbehalten hat. Bei online zugänglichen Werken wirkt ein solcher Vorbehalt nur, wenn er maschinenlesbar erklärt ist. Ob eine Sperre in der robots.txt dafür ausreicht, ist nicht abschließend geklärt.

Hinweis:

Dieser Abschnitt gibt einen technischen Überblick und ersetzt keine Rechtsberatung. Ob du einen Nutzungsvorbehalt erklärst, entscheidest du selbst. Ob eine robots.txt dafür genügt, ist rechtlich nicht abschließend geklärt, Stand November 2026, Gesetzeslage und Auslegung können sich ändern. Lass das bei konkreten Fragen von einer Anwältin oder einem Anwalt prüfen. Ich unterstütze bei der technischen Umsetzung, nicht bei der rechtlichen Bewertung.

Welche KI-Zugriffe zu deinen Sichtbarkeitszielen passen, kläre ich mit dir in der GEO-Beratung. Für Shops zeigt der Ratgeber zur Shopware KI-Suche, wie du den Zugang der Such-Crawler dort prüfst.

Quellen: OpenAI, Overview of OpenAI Crawlers; Anthropic, Hilfeartikel zu den Anthropic-Crawlern; Perplexity, Perplexity Crawlers; Google, Übersicht der Google-Crawler und KI-Funktionen und deine Website; Apple, About Applebot; Common Crawl, CCBot; § 44b UrhG. Englische Seiten sinngemäß übersetzt, abgerufen im November 2026.

Kommentierte Beispiele für drei Website-Typen

Die folgenden Beispiele sind keine Vorlagen zum Kopieren. Pfade, Systeme und Ziele unterscheiden sich, deshalb steht bei jedem Beispiel, wann es passt. Danach kommt immer der Test aus Schritt 4. Die Domain example.com steht für deine eigene.

Firmenwebsite: wenig sperren

# Alle Crawler ohne eigene Gruppe
User-agent: *
# interne Suche nicht abrufen
Disallow: /suche/

Sitemap: https://www.example.com/sitemap.xml

Voraussetzung: Deine interne Suche erzeugt eigene Adressen unter /suche/, und diese sollen nicht abgerufen werden. Hat deine Website keine solche Suche, brauchst du die Disallow-Zeile nicht. Danach testen: Startseite, wichtigste Leistungsseite und Kontaktseite gegen die Regeln halten.

WordPress: was die Standardausgabe enthält

# Standardausgabe, so ähnlich
User-agent: *
# Verwaltungsbereich nicht abrufen
Disallow: /wp-admin/
# Ausnahme für admin-ajax.php
Allow: /wp-admin/admin-ajax.php

# ab 5.5 bei öffentlicher Website
Sitemap: https://www.example.com/wp-sitemap.xml

Voraussetzung: Was deine Installation tatsächlich ausgibt, zeigt allein der Aufruf von /robots.txt. Seit Version 5.5 hängt WordPress bei einer öffentlichen Website selbst eine Sitemap-Zeile mit /wp-sitemap.xml an. Prüf, welche Sitemap-Zeile deine Installation tatsächlich ausgibt und ob diese Sitemap lädt. Welche Ausgaben WordPress selbst, das Theme und ein SEO-Plugin verantworten, zeigt der Ratgeber WordPress SEO. Danach testen: drei Seiten und einen Beitrag gegen die Regeln halten.

Onlineshop: Prüffragen statt Pauschalsperre

Angenommen, ein Onlineshop für Kaffeezubehör hat Kategorien mit Filtern für Material und Preis und eine Sortierung nach Preis.

User-agent: *
# Warenkorb, Kasse, Konto sperren
Disallow: /warenkorb/
Disallow: /kasse/
Disallow: /konto/
# Prüffrage, erst nach Klärung:
# Disallow: /*?sortierung=

Sitemap: https://www.example.com/sitemap.xml

Die Pfade heißen in deinem Shopsystem sehr wahrscheinlich anders. Filter- und Parameter-Adressen sperrst du nicht pauschal, sondern klärst vorher drei Fragen:

  • Eigene Adressen: Erzeugen Filter und Sortierung eigene Adressen, etwa mit Parametern hinter einem Fragezeichen?
  • Gesuchte Filterseiten: Gibt es darunter Seiten, die Kunden suchen und die in Google erscheinen sollen, etwa „Handmühlen aus Edelstahl“? Diese sperrst du nicht.
  • Bereits bekannte Adressen: Stehen die übrigen Varianten schon im Index? Dann klärst du das vor einer Sperre.

Meine Einschätzung: Erzeugen Filter viele Adressen, die niemand sucht und die noch nicht im Index stehen, kann die auskommentierte Zeile passen. Sind sie schon im Index oder gesucht, würde ich nicht sperren und die Sache im Audit klären.

Danach testen: die drei URLs aus Schritt 4 plus eine Kategorie- und eine Produktseite, mit und ohne Filter.

WordPress und Shopify: woher die Datei kommt

WordPress erzeugt die robots.txt virtuell, du findest sie also nicht als hochgeladene Datei. Die Einstellung „Suchmaschinen davon abhalten, diese Website zu indexieren“ setzt seit WordPress 5.3 ein noindex,nofollow im Seitenkopf und gibt in der robots.txt keine Komplettsperre mehr aus. Laut WordPress sperrt die Einstellung den Zugriff nicht. Ob Suchmaschinen sie beachten, liegt bei ihnen. Nach einem Relaunch prüfst du deshalb beides: die robots.txt und die Einstellung unter „Lesen“.

Bei Shopify hat jeder Shop eine Standard-robots.txt, die Shopify als optimal für die Suchmaschinenoptimierung bezeichnet. Ändern lässt sie sich nur über die Theme-Vorlage robots.txt.liquid, die du dafür im Theme anlegst, etwa um Pfade zu sperren, Sitemap-Adressen zu ergänzen oder einzelne Crawler zu regeln. Shopify nennt das eine nicht unterstützte Anpassung und warnt, dass eine falsche Nutzung den gesamten Traffic kosten kann. Ich würde die Vorlage deshalb nur mit konkretem Grund ändern und danach den Schnellcheck vollständig wiederholen.

Quellen: WordPress Developer Resources, do_robots(); WordPress-Dokumentation, Settings Reading Screen; Shopify-Hilfe, Editing robots.txt.liquid. Sinngemäß übersetzt, abgerufen im November 2026.

llms.txt: kein Ersatz für die robots.txt (Stand November 2026)

Die llms.txt ist ein Vorschlag von llmstxt.org aus dem September 2024, kein formaler Standard. Sie soll KI-Agenten Informationen zur Nutzung einer Website geben, regelt aber keinen Zugriff. Google schreibt zu seinen KI-Funktionen, dass du dafür keine neuen maschinenlesbaren Dateien oder KI-Textdateien brauchst, die llms.txt nennt Google dort nicht namentlich. Ob sie für deine Ziele etwas bringt, gehört in deine GEO-Planung, nicht in die robots.txt.

robots.txt-Prüfliste als PDF

Die sieben Schritte des Schnellchecks zum Ankreuzen, Felder für geprüfte Domain und Datum und drei kurze kommentierte Beispiele. Eine Seite zum Ausdrucken und manuellen Ausfüllen.

Jetzt herunterladen (PDF)

Häufige Fragen zur robots.txt

Entfernt eine robots.txt-Sperre eine Seite aus Google?

Nein. Laut Google ist die robots.txt kein Mittel, um eine Seite aus Google herauszuhalten. Ist die gesperrte Adresse von anderen Seiten verlinkt, kann sie trotzdem im Index stehen. Soll eine Seite verschwinden, setz ein noindex und lass die Seite abrufbar, damit Google es lesen kann, oder schütz sie mit einem Passwort.

Brauche ich überhaupt eine robots.txt?

Nicht zwingend. Fehlt sie und der Server meldet 404, behandelt Google das so, als wäre alles erlaubt. Sinnvoll ist sie, wenn du Bereiche vom Crawling ausnehmen oder auf deine Sitemap verweisen willst.

Wo finde ich die robots.txt meiner Website?

Im obersten Verzeichnis deiner Domain, also unter deine-domain.de/robots.txt. Sie gilt nur für genau diesen Host, dieses Protokoll und diesen Port, eine Subdomain hat ihre eigene. WordPress erzeugt die Datei virtuell. Shopify liefert eine Standarddatei aus, die sich nur über die Theme-Vorlage robots.txt.liquid ändern lässt. Meldet der Server unter der Adresse 404, hat die Website keine robots.txt, und Google behandelt das so, als wäre alles erlaubt.

Wie teste ich meine robots.txt?

Mit dem Schnellcheck oben: Datei aufrufen, im robots.txt-Bericht der Search Console Abrufstatus und Parsing-Fehler prüfen, dann drei wichtige URLs gegen die Regeln der passenden Gruppe halten. Den Bericht gibt es laut Google-Hilfe für Domain-Properties und für URL-Präfix-Properties ohne Pfad. Er zeigt Abrufstatus, letzten Abruf, Größe und Parsing-Fehler. Den früheren robots.txt-Tester erwähnt die aktuelle Search-Console-Hilfe zum Bericht nicht, deshalb hältst du die URLs im Schnellcheck manuell gegen die Regeln. Wer selbst entwickelt, kann den Parser nutzen, den Google als Open-Source-Bibliothek bereitstellt und laut eigener Aussage auch in der Google-Suche einsetzt.

Was bedeutet Disallow in der robots.txt?

Disallow nennt einen Pfad, den die Crawler der Gruppe nicht abrufen sollen. Der Pfad wirkt als Anfang: Disallow: /intern trifft auch /intern-alt/ und /intern.html. Disallow: / sperrt die ganze Website. Ein * steht für beliebig viele Zeichen, ein $ für das Ende der URL. Eine längere Allow-Regel gibt einzelne Pfade wieder frei.

Gehört die Sitemap in die robots.txt?

Du kannst sie dort mit einer Zeile Sitemap: angeben. Google verlangt dafür eine vollständige Adresse mit Protokoll und Domain. Die Zeile ist an keinen bestimmten Crawler gebunden und kann deshalb an beliebiger Stelle in der Datei stehen.

Soll ich KI-Crawler wie GPTBot sperren?

Das hängt von deinem Ziel ab. GPTBot sammelt laut OpenAI Inhalte für das Training, OAI-SearchBot dient der Suche in ChatGPT. Wer nur das Training ausschließen will, sperrt GPTBot und lässt OAI-SearchBot zu. Abrufe, die Nutzer auslösen, etwa über ChatGPT-User, folgen der robots.txt laut OpenAI möglicherweise nicht. Ob eine Sperre als Nutzungsvorbehalt nach § 44b UrhG genügt, ist rechtlich nicht abschließend geklärt. Bei konkreten Fragen hilft eine anwaltliche Prüfung.

Brauche ich eine llms.txt?

Pflicht ist sie nicht. Google schreibt, dass du für seine KI-Funktionen keine neuen maschinenlesbaren Dateien oder KI-Textdateien brauchst. Die llms.txt ist ein Vorschlag, kein formaler Standard, und sie regelt keinen Zugriff. Ob sie für deine Ziele einen Nutzen hat, klärst du im Rahmen deiner GEO-Strategie.

Die robots.txt ist schnell geändert und genauso schnell vergessen. Wer nach jedem Relaunch, jedem Systemwechsel und jeder Änderung an der Datei die drei wichtigsten URLs gegen die Regeln hält, findet eine unerwartete Sperre, bevor sie lange wirkt.

Wichtige Seiten trotz freier robots.txt nicht im Index?

Ein paar Sätze zu deiner Website und zu dem, was dir im Schnellcheck aufgefallen ist, genügen im Formular weiter unten.

Technische Prüfung anfragen
Anfrage starten

Wichtige Seiten trotz robots.txt-Check nicht im Index?

Schreib mir kurz deine Domain, mit welchem System deine Website läuft und was dir im Schnellcheck aufgefallen ist. Ich schaue mir die technischen Ursachen an und melde mich bei dir.

Unverbindlich anfragen

Fünf Angaben genügen. Ich antworte dir in der Regel werktags innerhalb von 48 Stunden persönlich.

4,98 von 5 Sternen bei 57 Bewertungen auf Google und ProvenExpert