CiteRev
CiteRev · 文章

robots.txt 怎么挡住 AI 爬虫,怎么检查

发布于 2026-11-20

AI 搜索在回答问题前,通常要先抓取网页内容。如果你的 robots.txt 把对应的爬虫挡在外面,网页再好,AI 也可能看不到它。这一点很容易被忽略,因为很多网站的 robots.txt 是几年前写的,当时还没有这些爬虫。

常见的 AI 爬虫

下面是几个主要 AI 服务使用的爬虫名称。具体名称以各家官方文档为准,写规则前请先核对。

训练用和搜索用通常是两个不同的爬虫。想让 AI 引用你的页面,搜索用的爬虫更关键,挡掉训练用的不一定影响引用。

一条通配规则会挡住所有人

User-agent: *
Disallow: /

这两行会挡住所有没有专属规则的爬虫,包括上面这些。很多网站是为了挡掉垃圾流量才加的,结果把 AI 搜索也挡在了外面。

专属规则优先

多数爬虫会优先匹配写着自己名字的那一组规则,只有找不到时才用 *。所以下面的写法是允许 ClaudeBot、挡住其他所有人:

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

如果你想允许所有 AI 搜索爬虫,就为每个名字单独写一组 Allow: /,不要只依赖通配规则。

怎么检查

  1. 打开 你的域名/robots.txt,确认文件存在,并且返回 200。
  2. 找到每个 AI 爬虫对应的规则组,看 Disallow 是否包含 /。
  3. 注意路径规则:Disallow: /private 只挡住 /private 开头的页面,不挡根路径。
  4. 如果文件返回 404,所有爬虫都默认允许。如果无法访问,检查时要当作“不可达”处理。

CiteRev 的免费检查会自动做这些判断,并列出每个爬虫的结果。

这篇文章只说明规则怎么写、怎么检查,不保证放开 robots.txt 后 AI 一定会引用你。引用取决于很多因素,需要用实际的提问结果来验证。

相关文章

想知道你的 robots.txt 现在对 AI 爬虫是放行还是拦截?免费检查会列出每个爬虫的结果。

申请免费检查