Robots.txt Generator
Erstelle eine robots.txt-Datei für deine Website
Grundeinstellungen
* = alle Crawler, oder spezifischer Bot (z.B. Googlebot)
Pfad-Regeln
Ein Pfad pro Zeile
Erweiterte Optionen
Wartezeit zwischen Anfragen (optional)
Generierte robots.txt
Speichere diese Datei als robots.txt im Root-Verzeichnis
User-agent: * Allow: /
Wichtige Hinweise
- Die robots.txt muss im Root-Verzeichnis liegen (https://example.com/robots.txt)
- Pfade sind case-sensitive
- * bedeutet "alle Bots"
- Disallow: / sperrt die gesamte Website
- Allow kann Disallow überschreiben
- robots.txt ist nur eine Empfehlung - bösartige Bots könn en sie ignorieren