Generator Robots.txt

Buat file robots.txt dengan aturan user-agent, referensi sitemap, dan direktif crawl-delay

Semua pemrosesan terjadi di browser Anda. Tidak ada data yang diunggah.

Offline Ready

Buat file robots.txt dengan aturan user-agent, referensi sitemap, dan direktif crawl-delay

🔒Semua pemrosesan terjadi di browser Anda. Tidak ada data yang diunggah.

Preset

Grup Aturan #1

User-Agent

* (All bots)

Path yang Dilarang

/path/yang/dilarang/

Path yang Diizinkan

Jeda Crawl

URL Sitemap

https://example.com/sitemap.xml

Direktif Host

www.example.com

Robots.txt yang Dihasilkan

robots.txt

User-agent: *
Disallow: