Robots.txt 產生器
產生 robots.txt 檔案,含使用者代理規則、Sitemap 參照和爬取延遲指令
所有處理皆在瀏覽器中完成,不會上傳任何資料。
Robots.txt 產生器
產生 robots.txt 檔案,含使用者代理規則、Sitemap 參照和爬取延遲指令
🔒所有處理皆在瀏覽器中完成,不會上傳任何資料。
預設
規則群組 #1
/path/to/disallow/
Sitemap URL
https://example.com/sitemap.xml
Host 指令
www.example.com
產生的 robots.txt
robots.txt
User-agent: * Disallow:
