CiteRev
CiteRev · 文章

训练、搜索、用户触发:AI 爬虫的三种类型

发布于 2026-11-21

很多店主听说「AI 会拿我的内容去训练」,就在 robots.txt 里把所有带 AI 字样的爬虫都挡掉了。结果是:训练确实挡住了,但 AI 搜索也看不到这个网站了,顾客问 AI 时自然不会被推荐。问题出在没有区分爬虫的用途。

三种用途

类型做什么挡掉的后果
训练爬虫收集网页,用来训练以后的模型。内容不进入训练数据。一般不影响 AI 搜索里的引用。
搜索爬虫给 AI 搜索建索引,回答问题时从索引里找网页并给出链接。AI 搜索的回答里很难再出现你的网页。
用户触发的抓取用户在对话里贴了你的网址,或者 AI 为了回答这个问题现场去打开你的网页。AI 读不到页面内容,只能凭别处的信息回答。

各家的名称

下表是写这篇文章时各家公开文档里的名称。名称会增减,写规则之前请到官方文档核对一次。

公司训练搜索用户触发
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

两点容易弄错:

一个常见的取舍

如果你的目标是「不想被拿去训练,但希望 AI 搜索能推荐我」,可以只挡训练爬虫,放行搜索爬虫:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

如果你不介意训练,只想尽量被看到,那就不需要写任何针对 AI 的 Disallow,同时确认通配规则 User-agent: * 没有把整站挡掉。

robots.txt 之外还要查什么

robots.txt 放行了,不代表爬虫真的进得来。下面两处也可能把它们挡在门外:

检查方法是看服务器访问日志里有没有这些爬虫的请求,以及它们拿到的状态码是 200 还是 403。

放行搜索爬虫只是让 AI 能读到你的网页,不保证它会引用或推荐你。是否被推荐要用真实的买家问题去问,多问几轮再看结果。

相关文章

想知道你的 robots.txt 现在对 AI 爬虫是放行还是拦截?免费检查会列出 GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot 四个爬虫各自的结果。

申请免费检查