Robots.txt Generator

Erstelle eine robots.txt Datei für deine Website. Steuere, welche Seiten Suchmaschinen crawlen dürfen und welche nicht.

Grundeinstellungen

User-agent

* bedeutet alle Suchmaschinen

Gesamte Website blockieren

Pfad-Regeln

Ein Pfad pro Zeile

Erlaubte Pfade

Blockierte Pfade

Erweiterte Optionen

Crawl-Verzögerung (Sekunden)

Zeit zwischen Anfragen (optional)

Sitemap-URL

Generierte robots.txt

Als robots.txt speichern

User-agent: *
Allow: /

So funktioniert's

Funktionen

robots.txt Generator
Erstellt robots.txt Dateien für Suchmaschinen-Crawler.
User-Agent Regeln
Legen Sie Regeln für verschiedene Bots fest (Google, Bing, etc.).
Allow/Disallow
Erlauben oder verbieten Sie Zugriff auf bestimmte Pfade.
Sitemap Verweis
Fügen Sie automatisch Ihre Sitemap-URL hinzu.

Häufige Fragen

Sie teilt Suchmaschinen mit, welche Seiten indexiert werden dürfen und welche nicht.

Im Root-Verzeichnis Ihrer Domain: https://example.com/robots.txt

Ja, Sie können spezifische Regeln für Googlebot, Bingbot, etc. definieren.

Ähnliche Tools

XML Sitemap erstellen

Social Media Vorschau

Schema.org Generator

Keyword-Analyse

Hinweis: Die gesamte Verarbeitung erfolgt in deinem Browser. Deine Dateien werden nicht auf einen Server hochgeladen.