Robots.txt-Generator
Erstellen Sie eine gültige robots.txt-Datei mit einem visuellen Regel-Editor — legen Sie Allow-/Disallow-Regeln pro Crawler fest, fügen Sie Sitemap und Crawl-Delay hinzu und kopieren oder laden Sie die Datei herunter.
🔒 Lokal in Ihrem Browser verarbeitet
Loading…
So funktioniert's
- Wählen Sie eine Schnellstart-Voreinstellung — „Alles erlauben“ lässt jeden Crawler Ihre gesamte Website indexieren, „Alles blockieren“ blockiert jeden Crawler vollständig, oder beginnen Sie mit „Individuell“, um eigene Regeln zu erstellen.
- Legen Sie für jede Regelgruppe den User-Agent fest (* für alle Crawler oder einen bestimmten Bot-Namen wie Googlebot) und fügen Sie Allow- oder Disallow-Regeln für die gewünschten Pfade hinzu.
- Legen Sie optional ein Crawl-Delay pro Gruppe fest und fügen Sie Ihre Sitemap-URL hinzu — beides wird automatisch an die generierte Datei angehängt.
- Kopieren Sie die generierte robots.txt aus dem Vorschaufeld oder laden Sie sie direkt herunter — laden Sie sie anschließend in das Stammverzeichnis Ihrer Domain hoch (z. B. https://example.com/robots.txt).
Funktionen
- Ein-Klick-Voreinstellungen „Alles erlauben“ und „Alles blockieren“ für die häufigsten Fälle
- Visueller Regel-Editor — User-Agent-Gruppen und Allow-/Disallow-Regeln hinzufügen oder entfernen, ohne Syntax von Hand zu schreiben
- Optionales Crawl-Delay pro Gruppe und ein Sitemap-URL-Feld
- Live generierte Ausgabe, die sich beim Bearbeiten der Regeln sofort aktualisiert
- 100 % clientseitig — Ihre Regeln verlassen niemals Ihren Browser
Häufig gestellte Fragen
Wo lege ich die robots.txt-Datei ab?
Laden Sie sie in das Stammverzeichnis Ihrer Domain hoch, damit sie unter https://ihredomain.com/robots.txt erreichbar ist. Suchmaschinen suchen ausschließlich an dieser genauen Stelle danach.
Blockiert robots.txt Suchmaschinen tatsächlich davon, meine Website zu crawlen?
Es ist eine Bitte, keine Durchsetzung. Wohlerzogene Crawler wie Googlebot halten sich daran, aber nichts hindert einen bösartigen oder schlecht programmierten Bot daran, sie komplett zu ignorieren. Verlassen Sie sich nicht darauf, um sensible Inhalte zu verbergen.
Was bedeutet das Feld User-Agent?
Es legt fest, für welchen Crawler eine Regelgruppe gilt. Verwenden Sie *, um alle Crawler abzudecken, oder den Namen eines bestimmten Bots (wie Googlebot oder Bingbot), um diesem andere Regeln als den übrigen zu geben.
Brauche ich eine Sitemap-Zeile?
Sie ist optional, aber empfehlenswert — sie weist Crawler auf Ihre sitemap.xml hin, damit sie Ihre Seiten effizienter finden. Lassen Sie das Feld leer, wenn Sie noch keine haben.
Wird Crawl-Delay von allen Suchmaschinen respektiert?
Nein. Es wird von manchen Crawlern (wie Bing) unterstützt, von anderen jedoch ignoriert (Google berücksichtigt es in robots.txt nicht mehr). Nutzen Sie stattdessen die Google Search Console, um die Crawling-Rate von Google zu steuern.