robots.txt Generator für jede Website und WordPress – Einfach. Schnell. Kostenlos.

Sie möchten Ihre Website vor Crawlern mit einer robots.txt schützten?
Crawler im Auftrag von Suchmaschinen sind kleine Bots, die stets auf der Suche nach neuen Inhalten auf allen Websites und Webservern dieser Welt sind. Sie machen nichts anderes als den Inhalt zu klassifizieren und an Google und Co zu übermitteln. Einerseits recht praktisch, da somit der eigene Content irgendwann mal sichtbar(er) wird. Andererseits allerdings auch lästig, da nicht jedes Webverzeichnis und jede URL in den Ergebnissen einer Suchmaschine auftauchen soll.

Mit dem robots.txt Generator können Sie schnell und einfach die perfekte robots.txt Datei generieren und Ihren Webauftritt egal ob Blog, Vereinswebseite oder Unternehmenswebseite absichern. Bestimmen Sie dabei selbst, wie Crawler mit Ihrer Webpräsenz und deren URLs umgehen soll.

Die Nutzung ist jederzeit kostenlos. Über einen Backlink auf www.idigit.onl oder einer idigIT e.U. Bewertung abgeben freue ich mich natürlich jederzeit!

Im übrigen bedient sich der Generator dem “Du”, da es in dieser Form einfacher ist auf bestimmte Dinge aufmerksam zu machen.

Persönlicher Hinweis: Bitte verwenden Sie diesen Generator nur, wenn Sie genau wissen, was die robots.txt bewirkt. Eine falsche Einstellung kann zur Folge haben, dass Ihre Website nicht korrekt in den Ergebnissen einer Suchmaschine angezeigt wird!

Standard Einstellungen

Alle Crawler erlauben (mit optionalen Ausnahmen) Alle Crawler verbieten

Standard - Kein Delay 5 Sekunden 10 Sekunden 30 Sekunden 60 Sekunden 120 Sekunden

Spezifische Crawler Einstellungen


Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Standardeinstellung übernehmen Verbieten

Verbotene Verzeichnisse



Risiko & Haftung

Haftungsauschluss

Hiermit bestätige ich, dass die Nutzung der generierten Texte und Skripte auf eigenes Risiko erfolgt. idigIT e.U. kann für etwaige Schäden nicht haftbar gemacht werden. Alle eingegebenen Daten werden nur zur Erstellung und Anzeige des jeweiligen Codes (Outputs) benötigt und gespeichert.