robots.txtがAIクローラーをブロックする仕組みと確認方法
AI検索は質問に答える前に、根拠とするページをクロールしておく必要があるのが一般的です。robots.txtが肝心のクローラーを締め出していると、どんなに良いページでも、AIの目に触れることはないかもしれません。これは見落とされがちです。多くのサイトのrobots.txtは、こうしたクローラーが登場する何年も前に書かれたものだからです。
主なAIクローラー
主要なAIサービスが使っているクローラー名は次のとおりです。正確な名前は各社の公式ドキュメントが最終的な根拠になるので、ルールを書く前に確認してください。
GPTBot:OpenAIの学習データ用クローラー。OAI-SearchBot:ChatGPTの検索結果のためのOpenAIのクローラー。PerplexityBot:Perplexityの検索インデックス用クローラー。ClaudeBot:Anthropicのクローラー。
学習と検索は、通常は別々のクローラーが担当しています。AIにページを引用してほしいなら、より重要なのは検索用クローラーです。学習用クローラーをブロックしても、引用に影響するとは限りません。
ワイルドカードのルール1つで、すべてをブロック
User-agent: * Disallow: /
この2行は、個別のルールを持たないすべてのクローラーをブロックします。上に挙げたものもすべて含まれます。多くのサイトが迷惑なアクセスを防ぐためにこれを追加し、結果としてAI検索まで締め出してしまっています。
名前を指定したルールが優先される
ほとんどのクローラーは、自分の名前を指定したルールのグループに従い、それがない場合にだけ*のルールに従います。そのため、次のルールはClaudeBotを許可し、それ以外をすべてブロックします。
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
AI検索のクローラーをすべて許可したい場合は、ワイルドカードのルールに頼らず、名前ごとにAllow: /を書いたグループを用意しましょう。
確認の手順
yourdomain/robots.txtを開き、ファイルが存在して200を返すことを確認します。- 各AIクローラーのルールのグループを探し、その
Disallowに/が含まれていないかを見ます。 - パスに注意します。
Disallow: /privateがブロックするのは/privateで始まるページだけで、ルートはブロックしません。 - ファイルが404を返す場合、すべてのクローラーが既定で許可されます。まったくアクセスできない場合は、確認の際に「到達不能」として扱います。
CiteRevの無料チェックでは、これらの手順を自動で行い、クローラーごとの結果をお示しします。
この記事では、ルールの仕組みと確認方法だけを解説しています。robots.txtでクローラーを許可すれば、AIがあなたを引用するとお約束するものではありません。引用は多くの要因に左右され、確かめる唯一の方法は、AIが実際にどう回答するかを見ることです。
あなたのrobots.txtが今、AIクローラーを受け入れているか締め出しているかを知りたい方へ。無料チェックでは、クローラーごとの結果をお示しします。
無料チェックを申し込む