Генератор robots.txt
Генерация файлов robots.txt с правилами для user-agent, ссылками на sitemap и директивами crawl-delay
Вся обработка происходит в твоём браузере. Данные никуда не загружаются.
Генератор robots.txt
Генерация файлов robots.txt с правилами для user-agent, ссылками на sitemap и директивами crawl-delay
🔒Вся обработка происходит в твоём браузере. Данные никуда не загружаются.
Пресеты
Группа правил #1
/путь/к/запрету/
URL карт сайта
https://example.com/sitemap.xml
Директива Host
www.example.com
Сгенерированный robots.txt
robots.txt
User-agent: * Disallow: