Robots.txtジェネレーター
ユーザーエージェントルール、サイトマップ参照、クロール遅延ディレクティブ付きのrobots.txtファイルを生成
すべての処理はブラウザ内で行われます。データはアップロードされません。
Robots.txtジェネレーター
ユーザーエージェントルール、サイトマップ参照、クロール遅延ディレクティブ付きのrobots.txtファイルを生成
🔒すべての処理はブラウザ内で行われます。データはアップロードされません。
プリセット
ルールグループ #1
/path/to/disallow/
サイトマップURL
https://example.com/sitemap.xml
ホストディレクティブ
www.example.com
生成されたrobots.txt
robots.txt
User-agent: * Disallow: