Как robots.txt блокирует ИИ-краулеров и как проверить свой файл
Прежде чем ответить на вопрос, ИИ-поиск обычно должен просканировать страницы, на которые он опирается. Если ваш robots.txt закрывает доступ нужному краулеру, ИИ может так и не увидеть вашу страницу, какой бы хорошей она ни была. Это легко упустить: на многих сайтах robots.txt написан много лет назад, когда этих краулеров ещё не было.
Распространённые ИИ-краулеры
Вот названия краулеров, которые используют основные ИИ-сервисы. Точные названия окончательно определяет официальная документация каждой компании, поэтому сверьтесь с ней, прежде чем писать правила.
GPTBot: краулер OpenAI, собирающий данные для обучения.OAI-SearchBot: краулер OpenAI для результатов поиска в ChatGPT.PerplexityBot: краулер Perplexity для её поискового индекса.ClaudeBot: краулер Anthropic.
Обучением и поиском обычно занимаются два разных краулера. Если вы хотите, чтобы ИИ цитировал ваши страницы, важнее поисковый краулер; блокировка краулера для обучения не обязательно повлияет на цитирование.
Одно правило со звёздочкой блокирует всех
User-agent: * Disallow: /
Эти две строки блокируют все краулеры, для которых нет собственного правила, включая все перечисленные выше. Многие сайты добавили их, чтобы отсечь мусорный трафик, и заодно закрыли доступ ИИ-поиску.
Именные правила важнее
Большинство краулеров следуют группе правил, в которой названы именно они, и обращаются к *, только если такой группы нет. Поэтому правила ниже разрешают доступ ClaudeBot и блокируют всех остальных:
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
Если вы хотите пустить все поисковые ИИ-краулеры, дайте каждому названию собственную группу с Allow: /, а не полагайтесь на правило со звёздочкой.
Как проверить
- Откройте
yourdomain/robots.txtи убедитесь, что файл существует и возвращает 200. - Найдите группу правил для каждого ИИ-краулера и посмотрите, есть ли в её
Disallowзначение/. - Обращайте внимание на пути:
Disallow: /privateблокирует только страницы, начинающиеся с/private, а не весь сайт. - Если файл возвращает 404, по умолчанию разрешены все краулеры. Если файл вообще недоступен, при проверке считайте его «недоступным».
Бесплатная проверка CiteRev проходит эти шаги автоматически и показывает результат для каждого краулера.
Похожие статьи
Хотите узнать, пускает ли сейчас ваш robots.txt ИИ-краулеров или не пускает? Бесплатная проверка покажет результат для каждого краулера.
Подать заявку на бесплатную проверку