Robots.txt 產生器

產生 robots.txt 檔案,含使用者代理規則、Sitemap 參照和爬取延遲指令

所有處理皆在瀏覽器中完成,不會上傳任何資料。
Offline Ready

Robots.txt 產生器

產生 robots.txt 檔案,含使用者代理規則、Sitemap 參照和爬取延遲指令

🔒所有處理皆在瀏覽器中完成,不會上傳任何資料。
預設
規則群組 #1
* (All bots)
/path/to/disallow/
Sitemap URL
https://example.com/sitemap.xml
Host 指令
www.example.com
產生的 robots.txt
robots.txt
User-agent: *
Disallow: