Генератор robots.txt
Генерувати файли robots.txt з правилами user-agent, посиланнями на sitemap та директивами crawl-delay
Вся обробка відбувається у вашому браузері. Жодні дані не завантажуються.
Генератор robots.txt
Генерувати файли robots.txt з правилами user-agent, посиланнями на sitemap та директивами crawl-delay
🔒Вся обробка відбувається у вашому браузері. Жодні дані не завантажуються.
Пресети
Група правил #1
/path/to/disallow/
URL-адреси Sitemap
https://example.com/sitemap.xml
Директива Host
www.example.com
Згенерований robots.txt
robots.txt
User-agent: * Disallow: