Kostenloses Werkzeug
robots.txt erstellen – ohne dich selbst auszusperren.
Vorlage wählen, entscheiden, wer deine Seite abrufen darf, Datei kopieren. Mit dem Unterschied, den kaum ein anderes Werkzeug macht: KI-Training und KI-Antworten sind zwei verschiedene Schalter.
- Alles bleibt in deinem Browser – nichts wird gesendet
- Training und Antwort getrennt einstellbar
- Warnt vor den zwei häufigsten Fehlern
- Ohne Anmeldung, ohne Pflicht-Rückverweis
Was für eine Website ist das?
Die Vorlage setzt nur einen sinnvollen Anfang. Alles lässt sich danach ändern.
Training von KI-Modellen
Diese Programme sammeln Texte, aus denen später Sprachmodelle lernen. Deine Inhalte fließen dabei in ein Modell ein, ohne dass jemand deine Website besucht. Wer das nicht will, sperrt hier – es kostet keine Sichtbarkeit.
Mein Rat: Geschmackssache. Sperren ist vertretbar.
Antworten und Zitate
Diese Programme holen deine Seite ab, WENN jemand gerade eine Frage stellt – und nennen dich dann in der Antwort. Das ist keine Datensammlung, das ist Sichtbarkeit.
Mein Rat: Offen lassen. Wer hier sperrt, kommt in KI-Antworten nicht vor.
Analysedienste von Mitbewerbern
Diese Programme durchsuchen das Netz, damit ihre Kunden sehen können, wer wohin verlinkt. Für dich bringen sie nichts – sie kosten nur Rechenzeit auf deinem Server. Sperren schadet der Sichtbarkeit bei Google nicht.
Eigene Sperren und die Sitemap
Einer pro Zeile, jeweils mit Schrägstrich beginnend. *
steht für beliebige Zeichen, $ für das Ende der
Adresse.
Der einzige Eintrag, der Suchmaschinen etwas gibt,
statt etwas zu verbieten. Bei WordPress meist
/sitemap_index.xml oder /sitemap.xml.
„Disallow" heißt nicht „unsichtbar"
Eine gesperrte Adresse kann trotzdem in den Suchergebnissen
auftauchen – nur ohne Beschreibung, weil sie ja nicht gelesen
werden durfte. Wer eine Seite wirklich aus der Suche haben will,
braucht ein noindex im Seitenkopf. Und damit Google
das liest, muss die Seite abrufbar bleiben –
also gerade nicht in der robots.txt stehen.
Diese Datei kann jeder lesen
Sie liegt unter deine-domain.at/robots.txt und ist
öffentlich. Wer dort ein geheimes Verzeichnis hineinschreibt,
um es zu verstecken, hat es damit veröffentlicht. Für alles,
was wirklich niemand sehen soll, brauchst du ein Passwort –
keine Zeile in einer Textdatei.
Deine robots.txt
Als Datei robots.txt speichern und ins
Hauptverzeichnis deiner Website legen – nicht
in einen Unterordner.
Hat dir das geholfen?
Eine kurze Bewertung dauert dreißig Sekunden und sorgt dafür, dass die Nächsten das Werkzeug finden. Kostenlos bleibt es so oder so.
Kurz erklärt
Was eine robots.txt eigentlich macht
Sie ist eine Textdatei im Hauptverzeichnis deiner Website – und das Erste, was ein Suchmaschinenprogramm dort abruft. Darin steht, welche Bereiche es sich ansehen soll und welche nicht.
Mehr ist es nicht. Kein Schutz, keine Einstellung, kein Vertrag – eine Bitte. Seriöse Anbieter wie Google und Bing halten sich daran. Wer bösartig unterwegs ist, liest die Datei allenfalls, um zu sehen, wo etwas Interessantes liegt.
Deshalb gilt: Sie regelt Höflichkeit, nicht Sicherheit. Und in den allermeisten Fällen ist die beste robots.txt eine sehr kurze.
Der häufigste Schaden
Nicht eine fehlende robots.txt, sondern eine zu strenge. Ich
sehe regelmäßig Seiten, die /wp-content/ sperren –
dort liegen bei WordPress die Bilder, Stile und Skripte.
Google kann die Seite dann nicht darstellen und bewertet, was es sieht: ein Gerippe ohne Gestaltung. Das kostet Platzierung, und niemand kommt darauf, dass eine Zeile in einer Textdatei schuld ist. Deshalb sperrt die Vorlage hier deutlich weniger, als es die üblichen Anleitungen tun.
Der neue Teil
Warum „alle KI-Bots sperren" ein teurer Klick sein kann
Fast jedes andere Werkzeug hat dafür einen einzigen Schalter. Das ist bequem und führt regelmäßig zu einem Ergebnis, das niemand wollte.
Training
Deine Texte fließen in ein Modell ein.
-
Programme wie
GPTBotoderGoogle-Extendedsammeln Inhalte, aus denen später ein Sprachmodell lernt. - Niemand besucht dabei deine Website, und niemand nennt dich. Du bekommst dafür nichts.
- Wer das nicht möchte, kann hier sperren, ohne Sichtbarkeit zu verlieren.
Ehrlich gesagt: Ob eine Sperre rückwirkend etwas bewirkt, ist offen – was einmal in einem Modell ist, holt niemand heraus. Und ob sich alle daran halten, weiß man nicht. Es ist trotzdem die einzige Möglichkeit, es überhaupt zu sagen.
Antworten
Dein Betrieb wird genannt, wenn jemand fragt.
-
OAI-SearchBot,PerplexityBotund ähnliche rufen deine Seite ab, weil gerade jemand eine Frage gestellt hat. - Sie nennen dich in der Antwort – mit Namen und Link. Das ist genau die Sichtbarkeit, für die andere Geld ausgeben.
- Wer sie sperrt, verschwindet aus KI-Antworten. Still, ohne Fehlermeldung.
Ehrlich gesagt: Diese Antworten kosten dich auch Besucher – wer die Auskunft schon dort bekommt, klickt seltener. Auf dieser Website ist das messbar, die Zahlen stehen unter GEO-Sichtbarkeit. Nur ist „nicht vorkommen" die schlechtere der beiden Antworten.
Aus der Praxis
Vier Fehler, die ich regelmäßig finde
Alle vier stehen in robots.txt-Dateien, die jemand mit einem Generator erstellt oder aus einer Anleitung abgeschrieben hat.
-
/wp-content/gesperrt. Der teuerste Fehler. Dort liegen bei WordPress Bilder, Stile und Skripte – Google kann die Seite dann nicht darstellen und bewertet ein Gerippe. Steht trotzdem in unzähligen Anleitungen aus der Zeit vor 2015, als das noch sinnvoll war. -
Gesperrt statt auf noindex gesetzt. Wer eine
Seite aus der Suche haben will, sperrt sie hier – und wundert
sich, dass sie trotzdem erscheint, nur ohne Beschreibung. Der
Grund: Google darf die Seite nicht mehr lesen und findet deshalb
das
noindexnicht, das dort steht. Genau dazu gibt es einen eigenen Artikel im Wissensbereich. -
Geheime Verzeichnisse hineingeschrieben.
Disallow: /kundendaten-2024/ist keine Sperre, sondern ein Wegweiser. Die Datei liest jeder, der die Adresse kennt – und die kennt jeder. - Die Sitemap vergessen. Der einzige Eintrag, der Suchmaschinen etwas gibt, statt etwas zu verbieten. Er kostet eine Zeile und wird trotzdem meistens ausgelassen. Wenn du noch keine hast, baut dir der Sitemap-Generator eine – dort steht auch, ob du überhaupt eine brauchst.
Und warum Crawl-delay hier fehlt
Google ignoriert Crawl-delay seit Jahren, Bing stellt die Einstellung in seinen Webmaster-Tools bereit. Deshalb bietet dieses Werkzeug die Angabe nicht an – sie würde nur den Eindruck erwecken, etwas geregelt zu haben. Wenn dein Server unter der Last von Crawlern leidet, ist die robots.txt nicht der richtige Hebel – dann geht es um Serverleistung, Zwischenspeicher oder darum, aufdringliche Programme gezielt auszusperren. Das machst du oben in der Liste.
Häufige Fragen
Was mich dazu am häufigsten gefragt wird
Ins Hauptverzeichnis deiner Website, also so, dass sie unter deine-domain.at/robots.txt erreichbar ist. In einem Unterordner wird sie nicht gefunden.
Bei WordPress erzeugt das System selbst eine virtuelle Datei, wenn keine echte vorhanden ist. Legst du eine echte an, hat die Vorrang. Manche SEO-Plugins bringen dafür einen eigenen Editor mit – dann trag den Inhalt dort ein statt per FTPEin Zugang, über den man Dateien direkt auf den Server legt oder herunterlädt – am Redaktionssystem vorbei. Der Weg, der bleibt, wenn die Website selbst nicht mehr erreichbar ist..
Zwingend nein. Fehlt sie, dürfen Suchmaschinen alles abrufen – und bei einer normalen Firmenwebsite ist genau das richtig.
Sinnvoll wird sie in drei Fällen: wenn du Bereiche hast, die niemanden interessieren (Warenkorb, Verwaltung), wenn du die SitemapEine Liste aller Adressen deiner Website, die Suchmaschinen als Wegweiser dient. Von Hand gepflegt veraltet sie ab dem Tag ihrer Entstehung – sie sollte sich selbst erzeugen.Zum Generator eintragen willst, oder wenn du zu KI-Diensten eine Entscheidung treffen möchtest. Sonst ist eine leere besser als eine ausgedachte.
Nein – und das ist das häufigste Missverständnis überhaupt. Disallow heißt „nicht abrufen", nicht „nicht anzeigen".
Eine gesperrte Adresse kann weiter in den Ergebnissen stehen, nur ohne Beschreibung – Google kennt sie ja von Links anderer Seiten, darf aber nicht nachsehen, was drinsteht. Wer eine Seite wirklich heraushaben will, braucht ein noindex im Seitenkopf. Und damit Google das liest, darf die Seite gerade nicht gesperrt sein.
Meine Empfehlung: Training sperren, wenn es dich stört – Antworten offen lassen.
Das Training bringt dir nichts: Deine Texte fließen in ein Modell, niemand nennt dich, niemand besucht dich. Die Antwort-Bots dagegen holen deine Seite ab, weil gerade jemand fragt – und nennen dich dann. Wer beides zusammen sperrt, verliert Sichtbarkeit für einen Vorteil, den er gar nicht wollte.
Nein. Die robots.txtEine Textdatei im Hauptverzeichnis, die Suchmaschinen sagt, welche Bereiche sie nicht durchsuchen sollen. Sie verhindert das Lesen, nicht das Erscheinen in der Suche – dafür braucht es noindex.Zum Generator ist eine Bitte, keine Sperre. Seriöse Anbieter halten sich daran, alle anderen nicht – und für die ist sie eher ein Wegweiser zu den interessanten Verzeichnissen.
Was tatsächlich hilft: Passwortschutz, Sperren auf Serverebene und eine gepflegte Installation. Dazu steht mehr auf der Seite zur Website-Betreuung.
Weil Google die Angabe ignoriert und Bing sie über seine Webmaster-Tools regelt. Sie in die Datei zu schreiben ändert also nichts – erzeugt aber das Gefühl, etwas geregelt zu haben.
Wenn dein HostingDer gemietete Platz auf einem Server, auf dem die Dateien deiner Website liegen. Billiges Hosting ist die häufigste Ursache für langsame Seiten – und die einzige, an der kein noch so guter Text etwas ändert. unter Crawler-Last leidet, liegt die Lösung woanders: aufdringliche Programme gezielt aussperren (die Liste oben), CacheEin Zwischenspeicher, der eine einmal erzeugte Seite aufbewahrt und beim nächsten Aufruf sofort ausliefert. Er ist auch der Grund, warum Änderungen manchmal erst nach einem harten Neuladen sichtbar werden. einrichten, oder mehr Serverleistung. Ich sehe mir das gern an, bevor du irgendwo etwas einträgst.
Unsicher, ob deine robots.txt dir gerade schadet?
Schick mir deine Adresse – ich sehe nach, was dort steht, und sage dir, ob etwas gesperrt ist, das offen gehört. Das dauert fünf Minuten und kostet nichts. Der häufigste Befund ist übrigens genau der erste Punkt aus der Fehlerliste.