Robots.txt 生成器

生成 robots.txt 文件,支持用户代理规则、站点地图引用和抓取延迟指令

所有处理均在浏览器中完成,不会上传任何数据。
Offline Ready

Robots.txt 生成器

生成 robots.txt 文件,支持用户代理规则、站点地图引用和抓取延迟指令

🔒所有处理均在浏览器中完成,不会上传任何数据。
预设
规则组 #1
* (All bots)
/path/to/disallow/
站点地图 URL
https://example.com/sitemap.xml
Host 指令
www.example.com
生成的 robots.txt
robots.txt
User-agent: *
Disallow: