训练、搜索、用户触发:AI 爬虫的三种类型
很多店主听说「AI 会拿我的内容去训练」,就在 robots.txt 里把所有带 AI 字样的爬虫都挡掉了。结果是:训练确实挡住了,但 AI 搜索也看不到这个网站了,顾客问 AI 时自然不会被推荐。问题出在没有区分爬虫的用途。
三种用途
| 类型 | 做什么 | 挡掉的后果 |
|---|---|---|
| 训练爬虫 | 收集网页,用来训练以后的模型。 | 内容不进入训练数据。一般不影响 AI 搜索里的引用。 |
| 搜索爬虫 | 给 AI 搜索建索引,回答问题时从索引里找网页并给出链接。 | AI 搜索的回答里很难再出现你的网页。 |
| 用户触发的抓取 | 用户在对话里贴了你的网址,或者 AI 为了回答这个问题现场去打开你的网页。 | AI 读不到页面内容,只能凭别处的信息回答。 |
各家的名称
下表是写这篇文章时各家公开文档里的名称。名称会增减,写规则之前请到官方文档核对一次。
| 公司 | 训练 | 搜索 | 用户触发 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
两点容易弄错:
Google-Extended不是一个单独上门的爬虫,而是 robots.txt 里的一个开关,用来决定 Google 抓到的内容能不能用于 Gemini 相关的用途。它不影响你在 Google 搜索里的收录。Google 搜索结果里的 AI 摘要用的是普通的Googlebot抓取结果。- 用户触发的抓取是替某个具体用户去打开网页,各家对它是否遵守 robots.txt 的说法并不一致。不要假设 robots.txt 一定管得住这一类。
一个常见的取舍
如果你的目标是「不想被拿去训练,但希望 AI 搜索能推荐我」,可以只挡训练爬虫,放行搜索爬虫:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
如果你不介意训练,只想尽量被看到,那就不需要写任何针对 AI 的 Disallow,同时确认通配规则 User-agent: * 没有把整站挡掉。
robots.txt 之外还要查什么
robots.txt 放行了,不代表爬虫真的进得来。下面两处也可能把它们挡在门外:
- CDN 或防火墙的「拦截 AI 机器人」开关。有些服务默认开启,或者在某次更新后自动开启。
- 主机商或安全插件按 User-Agent 或 IP 段做的拦截。
检查方法是看服务器访问日志里有没有这些爬虫的请求,以及它们拿到的状态码是 200 还是 403。
放行搜索爬虫只是让 AI 能读到你的网页,不保证它会引用或推荐你。是否被推荐要用真实的买家问题去问,多问几轮再看结果。
想知道你的 robots.txt 现在对 AI 爬虫是放行还是拦截?免费检查会列出 GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot 四个爬虫各自的结果。
申请免费检查