Wie kann ich den SemrushBot aussperren?
Zwei Zeilen genügen. Wichtiger ist die Frage davor: Was es dir bringt – und was es entgegen einem verbreiteten Gerücht nicht kostet.
So geht es
In der robots.txt – der übliche Weg:
User-agent: SemrushBot
Disallow: /
Semrush hält sich daran; es ist ein seriöser Anbieter. Diese Zeilen
gehören vor den allgemeinen Block
User-agent: * – wer einen eigenen Block hat, liest nur
seinen eigenen.
In der .htaccess – die härtere Fassung, falls du auf Nummer sicher gehen willst:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC]
RewriteRule ^.*$ - [F,L]
Beides zusammen geht ohne Konflikt. Nötig ist es nicht – die
robots.txt reicht bei einem Anbieter, der sich daran hält.
Wenn dich mehrere Analysedienste stören, sperr sie gemeinsam. Im robots.txt-Generator stehen AhrefsBot, SemrushBot, MJ12bot, DotBot und andere zur Auswahl – ein Häkchen für alle.
Was es tatsächlich bringt
- Weniger Serverlast. Bei kleinen Hostings ist das der handfesteste Grund – Analysedienste rufen fleißig ab und bringen dir dafür nichts.
- Weniger Einblick für Mitbewerber. Wer in Semrush nachsieht, was deine Seite an Begriffen abdeckt, findet weniger.
Der zweite Punkt wirkt nur teilweise. Semrush schätzt Daten auch aus anderen Quellen – etwa aus fremden Seiten, die auf dich verlinken. Ganz unsichtbar wird man dadurch nicht.
Was es NICHT kostet
Immer wieder liest man, das Aussperren könne „die organische Sichtbarkeit beeinträchtigen, weil der Bot Suchmaschinen bei der Indexierung unterstützt".
Das stimmt nicht. Der SemrushBot hat mit Google und Bing nichts zu tun – er sammelt für die eigene Datenbank von Semrush. Ihn zu sperren hat auf deine Platzierung bei Suchmaschinen keinerlei Wirkung.
Ebenso wenig verlierst du Backlinks. Links, die auf dich zeigen, stehen weiterhin auf fremden Seiten und werden weiterhin von Google gesehen. Nur Semrush sieht sie nicht mehr – was etwas völlig anderes ist.
Der einzige echte Haken
Wenn du selbst mit Semrush arbeitest, sperr es nicht aus. Dann siehst du deine eigene Website darin nicht mehr – keine Platzierungen, keine Begriffe, keine Verlaufsdaten.
Das ist der Fehler, der sich am häufigsten rächt: Jemand sperrt alle
Analysedienste, wundert sich Monate später über leere Auswertungen und
sucht die Ursache überall, nur nicht in der eigenen
robots.txt.
Passt das nicht auf deinen Fall?
Dieser Artikel beantwortet die Frage allgemein – deine ist vermutlich konkreter. Schreib mir kurz, worum es geht. Ich antworte selbst, meist am selben Tag, und es kostet nichts.
Hat dir das geholfen?
Dann sag es weiter. Eine kurze Bewertung dauert dreißig Sekunden und sorgt dafür, dass die Nächsten diese Antwort überhaupt finden.
Passt dazu
- SEO Kann man IP-Adressen mit der robots.txt aussperren? Nein. Die robots.txt kennt keine IP-Adressen – sie ist eine Bitte an Programme, keine Zugangskontrolle. Was stattdessen funktioniert, steht hier.
- SEO Was bedeutet SEO? Suchmaschinenoptimierung – alles, was dafür sorgt, dass deine Website gefunden wird, wenn jemand nach dem sucht, was du anbietest.
- SEO Was bedeutet „crawl-delay" in der robots.txt? Eine Bremse für Suchmaschinen – die der wichtigste Empfänger einfach ignoriert.
- SEO Wie wird man online sichtbarer? Sichtbarkeit entsteht nicht aus einer Maßnahme, sondern aus mehreren, die zusammenpassen. Hier stehen sie in der Reihenfolge, in der sie sich lohnen.