Trình tạo Robots.txt
Tạo tệp robots.txt với quy tắc user-agent, tham chiếu sitemap và chỉ thị crawl-delay
Mọi xử lý diễn ra trong trình duyệt của bạn. Không có dữ liệu nào được tải lên.
Trình tạo Robots.txt
Tạo tệp robots.txt với quy tắc user-agent, tham chiếu sitemap và chỉ thị crawl-delay
🔒Mọi xử lý diễn ra trong trình duyệt của bạn. Không có dữ liệu nào được tải lên.
Mẫu có sẵn
Nhóm quy tắc #1
/path/to/disallow/
URL Sitemap
https://example.com/sitemap.xml
Chỉ thị Host
www.example.com
robots.txt đã tạo
robots.txt
User-agent: * Disallow: