学習・検索・ユーザー起点:3種類のAIクローラー
「AIに自分のコンテンツが学習に使われる」と聞いて、名前に「AI」が付くクローラーをrobots.txtですべてブロックする経営者は少なくありません。その結果、学習は防げても、AI検索からもウェブサイトが見えなくなり、お客様がAIに尋ねたときに推薦されないのは当然のことになります。問題は、クローラーを役割で区別していないことです。
3つの役割
| 種類 | 何をするか | ブロックするとどうなるか |
|---|---|---|
| 学習用クローラー | 将来のモデルを学習させるためにウェブページを集めます。 | あなたのコンテンツは学習データに含まれなくなります。通常、AI検索で引用されるかどうかには影響しません。 |
| 検索用クローラー | AI検索のためのインデックスを作ります。AIは回答するとき、このインデックスからページを探し、リンクを示します。 | あなたのページがAI検索の回答に登場することはほとんどなくなります。 |
| ユーザー起点の取得 | ユーザーがチャットにあなたのURLを貼り付けたときや、AIが質問に答えるためにその場であなたのページを開いたときに動作します。 | AIはあなたのページを読めず、ほかの場所で見つけた情報をもとに回答するしかなくなります。 |
各社のクローラー名
下の表は、執筆時点で各社の公開ドキュメントに記載されている名前です。名前は追加されたり削除されたりするので、ルールを書く前に必ず公式ドキュメントを確認してください。
| 企業 | 学習 | 検索 | ユーザー起点 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
よくある誤解が2つあります。
Google-Extendedは、あなたのサイトを訪れる独立したクローラーではありません。Googleがクロールしたコンテンツを、Gemini関連の用途に使ってよいかを決めるrobots.txt上のスイッチです。Google検索にインデックスされるかどうかには影響しません。Google検索結果に表示されるAIによる要約には、通常のGooglebotがクロールした内容が使われます。- ユーザー起点の取得は、特定のユーザーの代わりにページを開くもので、robots.txtに従うかどうかについては各社の説明が一致していません。この種類がrobots.txtで必ず制御できるとは考えないでください。
よくある折衷案
「コンテンツを学習に使われたくはないが、AI検索では推薦されたい」という場合は、学習用クローラーだけをブロックし、検索用クローラーを許可することができます。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
学習に使われても構わず、とにかくできるだけ多く見てもらいたい場合は、AI向けのDisallowルールは必要ありません。ワイルドカードのルールUser-agent: *がサイト全体をブロックしていないことだけ確認しましょう。
robots.txt以外に確認すること
robots.txtでクローラーを許可しても、実際にアクセスできるとは限りません。ほかにも2つの場所でブロックされることがあります。
- CDNやファイアウォールの「AIボットをブロック」設定。サービスによっては初期設定でオンになっていたり、アップデート後に自動でオンになったりします。
- ウェブホスティング会社やセキュリティプラグインによる、User-AgentやIPアドレスの範囲に基づくブロック。
確認するには、サーバーのアクセスログでこれらのクローラーからのリクエストを探し、ステータスコードが200か403かを見ます。
検索用クローラーを許可しても、AIがあなたのページを読めるようになるだけです。AIがあなたを引用したり推薦したりすることは保証されません。推薦されるかどうかを知るには、お客様が実際に尋ねる質問を何回かずつ尋ね、その結果を見る必要があります。
あなたのrobots.txtが今、AIクローラーを許可しているかブロックしているかを知りたい方へ。無料チェックでは、GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBotの4つのクローラーそれぞれについて結果をお示しします。
無料チェックを申し込む