robots.txt 怎么挡住 AI 爬虫,怎么检查
AI 搜索在回答问题前,通常要先抓取网页内容。如果你的 robots.txt 把对应的爬虫挡在外面,网页再好,AI 也可能看不到它。这一点很容易被忽略,因为很多网站的 robots.txt 是几年前写的,当时还没有这些爬虫。
常见的 AI 爬虫
下面是几个主要 AI 服务使用的爬虫名称。具体名称以各家官方文档为准,写规则前请先核对。
GPTBot:OpenAI 用于训练数据的爬虫。OAI-SearchBot:OpenAI 用于 ChatGPT 搜索结果的爬虫。PerplexityBot:Perplexity 用于搜索索引的爬虫。ClaudeBot:Anthropic 的爬虫。
训练用和搜索用通常是两个不同的爬虫。想让 AI 引用你的页面,搜索用的爬虫更关键,挡掉训练用的不一定影响引用。
一条通配规则会挡住所有人
User-agent: * Disallow: /
这两行会挡住所有没有专属规则的爬虫,包括上面这些。很多网站是为了挡掉垃圾流量才加的,结果把 AI 搜索也挡在了外面。
专属规则优先
多数爬虫会优先匹配写着自己名字的那一组规则,只有找不到时才用 *。所以下面的写法是允许 ClaudeBot、挡住其他所有人:
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
如果你想允许所有 AI 搜索爬虫,就为每个名字单独写一组 Allow: /,不要只依赖通配规则。
怎么检查
- 打开
你的域名/robots.txt,确认文件存在,并且返回 200。 - 找到每个 AI 爬虫对应的规则组,看
Disallow是否包含/。 - 注意路径规则:
Disallow: /private只挡住/private开头的页面,不挡根路径。 - 如果文件返回 404,所有爬虫都默认允许。如果无法访问,检查时要当作“不可达”处理。
CiteRev 的免费检查会自动做这些判断,并列出每个爬虫的结果。
这篇文章只说明规则怎么写、怎么检查,不保证放开 robots.txt 后 AI 一定会引用你。引用取决于很多因素,需要用实际的提问结果来验证。
想知道你的 robots.txt 现在对 AI 爬虫是放行还是拦截?免费检查会列出每个爬虫的结果。
申请免费检查