Robots.txt-generator
Generer robots.txt-filer med brukeragent-regler, sitemap-referanser og crawl-delay-direktiver
All behandling skjer i nettleseren din. Ingen data lastes opp.
Robots.txt-generator
Generer robots.txt-filer med brukeragent-regler, sitemap-referanser og crawl-delay-direktiver
🔒All behandling skjer i nettleseren din. Ingen data lastes opp.
Forhåndsinnstillinger
Regelgruppe #1
/sti/å/blokkere/
Sitemap-URL-er
https://example.com/sitemap.xml
Vertsdirektiv
www.example.com
Generert robots.txt
robots.txt
User-agent: * Disallow: