CiteRev
CiteRev · 記事

robots.txtがAIクローラーをブロックする仕組みと確認方法

2026年11月20日公開

AI検索は質問に答える前に、根拠とするページをクロールしておく必要があるのが一般的です。robots.txtが肝心のクローラーを締め出していると、どんなに良いページでも、AIの目に触れることはないかもしれません。これは見落とされがちです。多くのサイトのrobots.txtは、こうしたクローラーが登場する何年も前に書かれたものだからです。

主なAIクローラー

主要なAIサービスが使っているクローラー名は次のとおりです。正確な名前は各社の公式ドキュメントが最終的な根拠になるので、ルールを書く前に確認してください。

学習と検索は、通常は別々のクローラーが担当しています。AIにページを引用してほしいなら、より重要なのは検索用クローラーです。学習用クローラーをブロックしても、引用に影響するとは限りません。

ワイルドカードのルール1つで、すべてをブロック

User-agent: *
Disallow: /

この2行は、個別のルールを持たないすべてのクローラーをブロックします。上に挙げたものもすべて含まれます。多くのサイトが迷惑なアクセスを防ぐためにこれを追加し、結果としてAI検索まで締め出してしまっています。

名前を指定したルールが優先される

ほとんどのクローラーは、自分の名前を指定したルールのグループに従い、それがない場合にだけ*のルールに従います。そのため、次のルールはClaudeBotを許可し、それ以外をすべてブロックします。

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

AI検索のクローラーをすべて許可したい場合は、ワイルドカードのルールに頼らず、名前ごとにAllow: /を書いたグループを用意しましょう。

確認の手順

  1. yourdomain/robots.txtを開き、ファイルが存在して200を返すことを確認します。
  2. 各AIクローラーのルールのグループを探し、そのDisallowに/が含まれていないかを見ます。
  3. パスに注意します。Disallow: /privateがブロックするのは/privateで始まるページだけで、ルートはブロックしません。
  4. ファイルが404を返す場合、すべてのクローラーが既定で許可されます。まったくアクセスできない場合は、確認の際に「到達不能」として扱います。

CiteRevの無料チェックでは、これらの手順を自動で行い、クローラーごとの結果をお示しします。

この記事では、ルールの仕組みと確認方法だけを解説しています。robots.txtでクローラーを許可すれば、AIがあなたを引用するとお約束するものではありません。引用は多くの要因に左右され、確かめる唯一の方法は、AIが実際にどう回答するかを見ることです。

関連記事

あなたのrobots.txtが今、AIクローラーを受け入れているか締め出しているかを知りたい方へ。無料チェックでは、クローラーごとの結果をお示しします。

無料チェックを申し込む