Bei dem “crawl-delay” handelt es sich um eine inoffizielle Crawl-Delay-Direktive, die den Crawlern von Suchmaschinen mitteilen soll, dass sie das Crawling verlangsamen sollen, um den Webserver nicht zu überlasten.

Als Standard kann man crawl-delay: 10 hinterlegen

Bei dem nachgestellten Wert handelt es sich um Sekunden, die im Bereich von 5 bis 120 hinterlegt werden können.

Diese inoffizielle Direktive wird nicht von allen Suchmaschinen unterstützt, zudem wird die Anweisung auf unterschiedlichste Arten interpretiert und berücksichtigt.

Wie interpretiert Google ein crawl-delay: 10? #

Google unterstützt die Crawl-Delay-Direktive nicht, sodass ihre Crawler sie einfach ignorieren.

Wie interpretieren Bing und Yahoo ein crawl-delay: 10? #

Bing und Yahoo unterstützen die crawl-delay-Direktive.
Im Falle von crawl-delay: 10 wird ein Tag mit 24 Stunden in 10-Sekunden-Fenster unterteilt und innerhalb jedes Fensters wird maximal eine Seite gecrawlt.

Mehr Informationen dazu findest du unter To crawl or not to crawl, that is BingBot’s question

Wie interpretiert Yandex ein crawl-delay: 10? #

Yandex unterstützt die crawl-delay-Direktive, und im Falle von crawl-delay: 10 wird mindestens 10 Sekunden gewartet, bevor eine andere URL angefordert wird.

Zudem empfiehlt Yandex die Verwendung von Yandex Webmaster Tools.

Mehr Informationen dazu findest du unter Yandex Support – Using robots.txt