Robots.txt-Generator
robots.txt-Dateien mit User-Agent-Regeln, Sitemap-Verweisen und Crawl-Delay-Anweisungen generieren
Die gesamte Verarbeitung findet in Ihrem Browser statt. Es werden keine Daten hochgeladen.
Robots.txt-Generator
robots.txt-Dateien mit User-Agent-Regeln, Sitemap-Verweisen und Crawl-Delay-Anweisungen generieren
🔒Die gesamte Verarbeitung findet in Ihrem Browser statt. Es werden keine Daten hochgeladen.
Voreinstellungen
Regelgruppe #1
/pfad/zum/sperren/
Sitemap-URLs
https://example.com/sitemap.xml
Host-Anweisung
www.example.com
Generierte robots.txt
robots.txt
User-agent: * Disallow: