Robots.txt 生成器
生成 robots.txt 文件,支持用户代理规则、站点地图引用和抓取延迟指令
所有处理均在浏览器中完成,不会上传任何数据。
Robots.txt 生成器
生成 robots.txt 文件,支持用户代理规则、站点地图引用和抓取延迟指令
🔒所有处理均在浏览器中完成,不会上传任何数据。
预设
规则组 #1
/path/to/disallow/
站点地图 URL
https://example.com/sitemap.xml
Host 指令
www.example.com
生成的 robots.txt
robots.txt
User-agent: * Disallow:
