1 Allgemeine Regeln
2 Bot-Steuerung
3 Deine robots.txt

Schritt 1: Allgemeine Regeln

Wähle, welche Bereiche deiner Website Suchmaschinen-Crawler nicht indexieren sollen. Klicke auf das ? für eine verständliche Erklärung jeder Option.

🚦 Grundeinstellung

🔧 WordPress-Systembereiche

🔍 Inhalte & Seiten

🛒 E-Commerce & Mitglieder

⚙️ Technische Optionen

Sekunden Pause zwischen zwei Crawler-Anfragen. Leer lassen = Standard des Crawlers. Empfehlung: 1–5 Sekunden bei schwachen Servern.

Schritt 2: Bot-Steuerung

Hier kannst du gezielt einzelne Crawler und Bots steuern – unabhängig von den allgemeinen Regeln aus Schritt 1. Klicke auf ? für eine Erklärung.

🤖 KI-Crawler (Training von KI-Modellen)

Was sind KI-Crawler? Unternehmen wie OpenAI, Google und Anthropic setzen eigene Bots ein, um Webinhalte für das Training ihrer KI-Modelle (ChatGPT, Gemini, Claude etc.) zu sammeln. Mit diesen Einstellungen kannst du dich dagegen wehren.

📊 SEO-Tools & Analyse-Crawler

Warum SEO-Crawler sperren? Tools wie Ahrefs, SEMrush oder Majestic betreiben eigene Crawler, die deine Website analysieren und die Daten in kommerziellen Datenbanken speichern. Das kann Wettbewerbern Einblick in deine Inhalte und Backlinks geben.

🌏 Regionale Suchmaschinen

📱 Social Media Crawler

🗺️ Sitemap-Einträge

Trage die URL(s) deiner Sitemap ein. Suchmaschinen finden so alle deine Inhalte effizient. Hast du ein Yoast SEO, RankMath oder ähnliches Plugin, hat dieses automatisch eine Sitemap erstellt.

    ✏️ Eigene Regeln (optional)

    Hier kannst du eigene robots.txt-Regeln eintragen, die zusätzlich eingefügt werden. Trage gültige robots.txt-Syntax ein.

    🎉 Deine robots.txt ist fertig!

    Kopiere den Code unten, passe ihn bei Bedarf noch an und lade ihn in das Stammverzeichnis deiner Website hoch.

    robots.txt

    📖 Was wurde konfiguriert?

    📂 So installierst du die robots.txt auf deiner Website

    1. Klicke auf „robots.txt herunterladen" – du erhältst eine fertige Datei.
    2. Verbinde dich per FTP (z.B. FileZilla) oder über deinen Hosting-Dateimanager mit deiner Website.
    3. Navigiere ins Stammverzeichnis (meist public_html/, www/ oder httpdocs/).
    4. Lade die Datei robots.txt dorthin hoch. Falls bereits eine vorhanden ist: überschreiben.
    5. Prüfe das Ergebnis: Öffne https://deinedomain.at/robots.txt im Browser.
    6. Optional: Teste die Datei in der Google Search Console unter „Crawling > robots.txt Tester".