Kann man IP-Adressen mit der robots.txt aussperren?
Nein. Die robots.txt kennt keine IP-Adressen – sie ist eine Bitte an Programme, keine Zugangskontrolle. Was stattdessen funktioniert, steht hier.
Warum es nicht geht
Die robots.txt spricht Programme über ihren
Namen an – User-agent: Googlebot. Sie kennt keine
IP-Adressen, und es gibt keine Schreibweise dafür.
Wichtiger noch: Sie ist eine Bitte. Seriöse Anbieter halten sich daran, alle anderen nicht. Genau die Programme, die man wegen ihrer IP aussperren möchte, sind aber typischerweise die, die sich um nichts kümmern.
Eine Sperre, die auf Freiwilligkeit beruht, hilft gegen niemanden, der nicht freiwillig aufhört.
Was funktioniert: die .htaccess
Auf einem Apache-Server ist das der einfachste Weg. Einzelne Adresse:
<RequireAll>
Require all granted
Require not ip 203.0.113.42
</RequireAll>Ein ganzer Bereich:
<RequireAll>
Require all granted
Require not ip 203.0.113
</RequireAll>Wer so gesperrt ist, bekommt einen Fehler 403 – und zwar unabhängig davon, ob er sich an Regeln hält.
Auf NGINX wirkt eine .htaccess gar
nicht – der Server liest sie nicht. Dort muss die Sperre in die
Serverkonfiguration, und dafür brauchst du deinen Hoster.
Meistens ist die IP der falsche Ansatz
Bevor du eine Adresse sperrst, lohnt ein Blick auf das eigentliche Problem – denn IP-Sperren sind mühsam und halten selten lange:
-
Aufdringliche Analysedienste lassen sich über ihren
Namen in der
robots.txtaussperren, und daran halten sie sich. AhrefsBot, SemrushBot und Ähnliche stehen im robots.txt-Generator zur Auswahl. - Anmeldeversuche gehören nicht auf IP-Ebene bekämpft, sondern mit Zwei-Faktor-Anmeldung und einer Begrenzung der Versuche. IP-Adressen wechseln, das Passwort nicht.
- Echte Angriffe aus vielen Quellen bekommst du mit einer Liste nicht in den Griff. Dafür gibt es Dienste, die vorgeschaltet werden – dort ist die Sperre bereits erledigt, bevor die Anfrage deinen Server erreicht.
Sieh zuerst ins Server-Protokoll, statt zu raten. Sehr oft steht
dort ein Programm, das sich brav mit Namen meldet – und dann reicht
eine Zeile in der robots.txt statt einer IP-Sperre, die
morgen schon veraltet ist.
Jemand hämmert auf deinen Server ein?
Dieser Artikel beantwortet die Frage allgemein – deine ist vermutlich konkreter. Schreib mir kurz, worum es geht. Ich antworte selbst, meist am selben Tag, und es kostet nichts.
Hat dir das geholfen?
Dann sag es weiter. Eine kurze Bewertung dauert dreißig Sekunden und sorgt dafür, dass die Nächsten diese Antwort überhaupt finden.
Passt dazu
- SEO Was bedeutet „crawl-delay" in der robots.txt? Eine Bremse für Suchmaschinen – die der wichtigste Empfänger einfach ignoriert.
- SEO Wie kann ich den SemrushBot aussperren? Zwei Zeilen genügen. Wichtiger ist die Frage davor: Was es dir bringt – und was es entgegen einem verbreiteten Gerücht nicht kostet.
- Schnipsel Bösartige URL-Anfragen zurückweisen Ein Filter gegen die immergleichen automatisierten Sondierungen – kein Ersatz für eine Firewall, aber auch kein Aufwand.
- SEO Was bedeutet SEO? Suchmaschinenoptimierung – alles, was dafür sorgt, dass deine Website gefunden wird, wenn jemand nach dem sucht, was du anbietest.