Robots.txt ジェネレーター
ビジュアルなルールビルダーで正しいrobots.txtファイルを作成——クローラーごとにAllow/Disallowルールを設定し、SitemapとCrawl-delayを追加してコピーまたはダウンロードできます。
🔒 お使いのブラウザ内でローカル処理されます
Loading…
使い方
- クイックスタートのプリセットを選びます——「すべて許可」はすべてのクローラーにサイト全体のインデックスを許可し、「すべてブロック」はすべてのクローラーを完全にブロックします。独自にルールを作成する場合は「カスタム」を選んでください。
- 各ルールグループでUser-agentを設定します（すべてのクローラーには*、特定のボットにはGooglebotなどの名前を使用）。対象にしたいパスに対してAllowまたはDisallowルールを追加します。
- 必要に応じて各グループにCrawl-delayを設定し、Sitemap URLを追加します——どちらも自動的に生成されたファイルに追加されます。
- プレビュー欄から生成されたrobots.txtをコピーするか、直接ダウンロードします——その後、ドメインのルートにアップロードしてください（例: https://example.com/robots.txt）。
特徴
- 最も一般的なケースに対応するワンクリックの「すべて許可」「すべてブロック」プリセット
- ビジュアルなルールビルダー——構文を手書きせずにUser-agentグループやAllow/Disallowルールを追加・削除できます
- 各グループごとに任意のCrawl-delayとSitemap URLフィールド
- ルールを編集すると即座に更新されるライブ生成出力
- 100%クライアントサイド処理——ルールはブラウザの外に出ません
よくある質問
robots.txtファイルはどこに置けばいいですか？
ドメインのルートにアップロードし、https://yourdomain.com/robots.txt でアクセスできるようにしてください。検索エンジンはこの正確な場所でしかファイルを探しません。
robots.txtは本当に検索エンジンによるクロールをブロックできますか？
これはあくまで「お願い」であり、強制ではありません。Googlebotのような行儀の良いクローラーは従いますが、悪意のあるボットや行儀の悪いボットが完全に無視することを止める手立てはありません。機密情報を隠す目的で使用しないでください。
User-agentフィールドは何を意味しますか？
そのルールグループがどのクローラーに適用されるかを指定します。すべてのクローラーに一致させるには*を使用し、特定のボット（GooglebotやBingbotなど）だけ異なるルールを設定する場合はその名前を使用します。
Sitemap行は必要ですか？
任意ですが推奨されます——クローラーをsitemap.xmlに誘導し、ページをより効率的に発見できるようにします。まだお持ちでない場合は空欄のままで構いません。
Crawl-delayはすべての検索エンジンで尊重されますか？
いいえ。一部のクローラー（Bingなど）はサポートしていますが、他のクローラー（Googleはrobots.txt内のCrawl-delayをもはや尊重しません）では無視されます。Googleのクロール頻度を制御するにはGoogle Search Consoleを使用してください。