CiteRev
CiteRev · 記事

学習・検索・ユーザー起点:3種類のAIクローラー

2026年11月21日公開

「AIに自分のコンテンツが学習に使われる」と聞いて、名前に「AI」が付くクローラーをrobots.txtですべてブロックする経営者は少なくありません。その結果、学習は防げても、AI検索からもウェブサイトが見えなくなり、お客様がAIに尋ねたときに推薦されないのは当然のことになります。問題は、クローラーを役割で区別していないことです。

3つの役割

種類何をするかブロックするとどうなるか
学習用クローラー将来のモデルを学習させるためにウェブページを集めます。あなたのコンテンツは学習データに含まれなくなります。通常、AI検索で引用されるかどうかには影響しません。
検索用クローラーAI検索のためのインデックスを作ります。AIは回答するとき、このインデックスからページを探し、リンクを示します。あなたのページがAI検索の回答に登場することはほとんどなくなります。
ユーザー起点の取得ユーザーがチャットにあなたのURLを貼り付けたときや、AIが質問に答えるためにその場であなたのページを開いたときに動作します。AIはあなたのページを読めず、ほかの場所で見つけた情報をもとに回答するしかなくなります。

各社のクローラー名

下の表は、執筆時点で各社の公開ドキュメントに記載されている名前です。名前は追加されたり削除されたりするので、ルールを書く前に必ず公式ドキュメントを確認してください。

企業学習検索ユーザー起点
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

よくある誤解が2つあります。

よくある折衷案

「コンテンツを学習に使われたくはないが、AI検索では推薦されたい」という場合は、学習用クローラーだけをブロックし、検索用クローラーを許可することができます。

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

学習に使われても構わず、とにかくできるだけ多く見てもらいたい場合は、AI向けのDisallowルールは必要ありません。ワイルドカードのルールUser-agent: *がサイト全体をブロックしていないことだけ確認しましょう。

robots.txt以外に確認すること

robots.txtでクローラーを許可しても、実際にアクセスできるとは限りません。ほかにも2つの場所でブロックされることがあります。

確認するには、サーバーのアクセスログでこれらのクローラーからのリクエストを探し、ステータスコードが200か403かを見ます。

検索用クローラーを許可しても、AIがあなたのページを読めるようになるだけです。AIがあなたを引用したり推薦したりすることは保証されません。推薦されるかどうかを知るには、お客様が実際に尋ねる質問を何回かずつ尋ね、その結果を見る必要があります。

関連記事

あなたのrobots.txtが今、AIクローラーを許可しているかブロックしているかを知りたい方へ。無料チェックでは、GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBotの4つのクローラーそれぞれについて結果をお示しします。

無料チェックを申し込む