Was bedeutet „crawl-delay" in der robots.txt?

Was die Angabe bedeuten soll

crawl-delay ist eine Zeile in der robots.txt, die Suchmaschinen bitten soll, langsamer zu machen. Der Gedanke dahinter: Wenn ein Crawler hundert Seiten in einer Minute abruft, kann das einen kleinen Server spürbar ausbremsen – und dann wird die Seite auch für echte Besucher langsam.

Die übliche Schreibweise sieht so aus:

User-agent: *
Crawl-delay: 10

Die Zahl sind Sekunden. Üblich sind Werte zwischen 5 und 120. Was die Zahl allerdings genau bewirkt, legt jede Suchmaschine für sich fest – und genau da fängt das Problem an.

Wichtig zu wissen: crawl-delay ist kein Teil des offiziellen Standards. Es ist eine Erweiterung, die einzelne Anbieter irgendwann eingeführt haben. Niemand ist verpflichtet, sie zu lesen.

Google ignoriert die Angabe

Das ist der entscheidende Satz dieses Artikels, und er steht bewusst weit oben: Google liest crawl-delay nicht. Die Zeile darf in der Datei stehen, sie verursacht keinen Fehler – sie bewirkt nur nichts.

Für die allermeisten Websites heißt das: Wer die Zeile einträgt, um seinen Server zu entlasten, hat nichts entlastet. Er hat nur das Gefühl, etwas geregelt zu haben. Und dieses Gefühl ist teurer als gar keine Maßnahme, weil danach niemand mehr nach der echten Ursache sucht.

Google steuert die Abrufgeschwindigkeit selbst und passt sie an, wenn der Server langsam antwortet oder Fehler liefert. Das funktioniert in der Regel gut – ein Server, der unter Googles Last zusammenbricht, hat fast immer ein anderes Problem.

Bing, Yahoo und Yandex: verstanden, aber anders

Bing und Yahoo lesen die Angabe – interpretieren sie aber nicht als Wartezeit, sondern als Fenstergröße. Bei Crawl-delay: 10 wird der Tag in Zehn-Sekunden-Fenster geteilt, und in jedem Fenster wird höchstens eine Seite abgerufen.

Rechne das einmal durch: 86.400 Sekunden am Tag, geteilt durch zehn, ergibt maximal 8.640 Seiten täglich. Klingt viel. Bei Crawl-delay: 120 sind es noch 720 – und wer einen Shop mit mehreren tausend Produkten hat, wartet damit Wochen, bis Bing alles einmal gesehen hat.

Yandex hat die Angabe lange unterstützt und verweist inzwischen auf die Einstellung in den eigenen Webmaster-Tools. Auch hier gilt also: Der Weg führt über das Werkzeug des Anbieters, nicht über die Textdatei.

Was stattdessen hilft

Wenn dein Server tatsächlich unter Crawler-Last leidet, ist die robots.txt der falsche Hebel. Diese vier sind die richtigen, in dieser Reihenfolge:

1. Nachsehen, wer da eigentlich abruft. In den Server-Protokollen steht es. Sehr oft ist es gar nicht Google, sondern ein Analysedienst wie AhrefsBot oder SemrushBot – oder ein Programm, das sich um gar nichts kümmert.
2. Die Aufdringlichen gezielt aussperren. Das geht in der robots.txt und wirkt sofort, weil ein Disallow im Gegensatz zu crawl-delay von seriösen Anbietern befolgt wird.
3. Einen Zwischenspeicher einrichten. Wenn jede Seite bei jedem Abruf neu berechnet wird, ist nicht der Crawler das Problem, sondern die fehlende Zwischenspeicherung.
4. Bei Bing die Einstellung in den Webmaster-Tools benutzen statt der Zeile in der Datei. Dort wirkt sie zuverlässig.

Warum unser Generator die Angabe nicht anbietet

Der robots.txt-Generator auf dieser Website kann vieles, aber kein crawl-delay. Das ist kein Versehen.

Ein Werkzeug, das eine Zeile anbietet, die der wichtigste Empfänger ignoriert, erzeugt genau das falsche Gefühl. Stattdessen findest du dort die Liste der Analysedienste, die sich tatsächlich aussperren lassen – und zwar wirksam.