Robots.txt-generaattori
Luo robots.txt-tiedostoja käyttäjäagenttisäännöillä, sivustokarttaviitteillä ja crawl-delay-direktiiveillä
Kaikki käsittely tapahtuu selaimessasi. Mitään tietoja ei ladata palvelimelle.
Robots.txt-generaattori
Luo robots.txt-tiedostoja käyttäjäagenttisäännöillä, sivustokarttaviitteillä ja crawl-delay-direktiiveillä
🔒Kaikki käsittely tapahtuu selaimessasi. Mitään tietoja ei ladata palvelimelle.
Esiasetukset
Sääntöryhmä #1
/polku/kiellettävä/
Sivustokartan URL-osoitteet
https://example.com/sitemap.xml
Host-direktiivi
www.example.com
Luotu robots.txt
robots.txt
User-agent: * Disallow: