CiteRev
CiteRev · Статьи

Как robots.txt блокирует ИИ-краулеров и как проверить свой файл

Опубликовано 20 ноября 2026 г.

Прежде чем ответить на вопрос, ИИ-поиск обычно должен просканировать страницы, на которые он опирается. Если ваш robots.txt закрывает доступ нужному краулеру, ИИ может так и не увидеть вашу страницу, какой бы хорошей она ни была. Это легко упустить: на многих сайтах robots.txt написан много лет назад, когда этих краулеров ещё не было.

Распространённые ИИ-краулеры

Вот названия краулеров, которые используют основные ИИ-сервисы. Точные названия окончательно определяет официальная документация каждой компании, поэтому сверьтесь с ней, прежде чем писать правила.

Обучением и поиском обычно занимаются два разных краулера. Если вы хотите, чтобы ИИ цитировал ваши страницы, важнее поисковый краулер; блокировка краулера для обучения не обязательно повлияет на цитирование.

Одно правило со звёздочкой блокирует всех

User-agent: *
Disallow: /

Эти две строки блокируют все краулеры, для которых нет собственного правила, включая все перечисленные выше. Многие сайты добавили их, чтобы отсечь мусорный трафик, и заодно закрыли доступ ИИ-поиску.

Именные правила важнее

Большинство краулеров следуют группе правил, в которой названы именно они, и обращаются к *, только если такой группы нет. Поэтому правила ниже разрешают доступ ClaudeBot и блокируют всех остальных:

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

Если вы хотите пустить все поисковые ИИ-краулеры, дайте каждому названию собственную группу с Allow: /, а не полагайтесь на правило со звёздочкой.

Как проверить

  1. Откройте yourdomain/robots.txt и убедитесь, что файл существует и возвращает 200.
  2. Найдите группу правил для каждого ИИ-краулера и посмотрите, есть ли в её Disallow значение /.
  3. Обращайте внимание на пути: Disallow: /private блокирует только страницы, начинающиеся с /private, а не весь сайт.
  4. Если файл возвращает 404, по умолчанию разрешены все краулеры. Если файл вообще недоступен, при проверке считайте его «недоступным».

Бесплатная проверка CiteRev проходит эти шаги автоматически и показывает результат для каждого краулера.

Эта статья только объясняет, как работают правила и как их проверить. Она не обещает, что ИИ начнёт вас цитировать, как только robots.txt пустит краулеров. Цитирование зависит от многих факторов, и узнать наверняка можно только по тому, что ИИ отвечает на самом деле.

Похожие статьи

Хотите узнать, пускает ли сейчас ваш robots.txt ИИ-краулеров или не пускает? Бесплатная проверка покажет результат для каждого краулера.

Подать заявку на бесплатную проверку