Ein Crawler ist ein Programm, das Websites automatisch abruft und ihren Verlinkungen folgt, um Inhalte zu erfassen. Der bekannteste ist der Googlebot, der die Grundlage für den Suchindex zusammenträgt.
Ein Crawler arbeitet wie ein sehr schneller Leser, der nie aufhört. Er ruft eine Seite ab, liest ihren Inhalt, sammelt alle Links darauf ein und ruft anschließend diese Adressen ab. So bewegt er sich durch das Netz, ohne dass ihm jemand einzelne Seiten melden müsste. Neben dem Googlebot sind Crawler anderer Suchmaschinen unterwegs, dazu die von SEO-Werkzeugen und von KI-Anbietern. Zu erkennen geben sie sich über einen Kennzeichner im Seitenaufruf, den User-Agent.
Wie oft und wie tief eine Website abgerufen wird, ist begrenzt. Der eingebürgerte Begriff dafür lautet Crawl-Budget, und er beschreibt keine feste Zahl, sondern das Ergebnis aus zwei Größen: wie viel Last der Server verträgt und wie interessant die Website für die Suchmaschine ist. Bei kleinen Websites spielt das kaum eine Rolle. Bei einem großen Onlineshop mit tausenden Filter- und Sortiervarianten dagegen kann ein Crawler seine Zeit in Adressen verbrauchen, die niemand braucht, während wichtige Produktseiten selten drankommen.
Der stärkste Hebel dagegen ist nicht technisch, sondern strukturell: die interne Verlinkung. Was von vielen Stellen aus verlinkt ist, gilt als wichtig, was erst über fünf Klicks erreichbar ist, wird seltener besucht. Ergänzend sperrt die robots.txt ganze Verzeichnisse oder Parametermuster, die Sitemap meldet umgekehrt die Adressen mit Vorrang, und eine schnelle Serverantwort erhöht schlicht die Zahl der Seiten, die in derselben Zeit abgerufen werden.
Zwei Missverständnisse halten sich hartnäckig. Das erste: Der Crawler entscheidet nicht, ob eine Seite in den Suchergebnissen erscheint. Er liefert nur das Material, aufgenommen wird es an anderer Stelle. Das zweite betrifft JavaScript. Inhalte, die erst im Browser des Besuchers entstehen, sieht ein Crawler nicht sofort, sondern erst in einem zweiten Durchgang. Was in der Suche zuverlässig zählen soll, gehört deshalb in das ausgelieferte HTML.