CiteRev
CiteRev · Статьи

Обучение, поиск, запрос пользователя: три типа ИИ-краулеров

Опубликовано 21 ноября 2026 г.

Многие владельцы бизнеса слышат, что «ИИ будет обучаться на моём контенте», и блокируют в robots.txt все краулеры, в названии которых есть «AI». В итоге обучение заблокировано, но и ИИ-поиск больше не видит сайт, так что, естественно, компанию не рекомендуют, когда клиенты спрашивают ИИ. Проблема в том, что краулеры не различают по их задачам.

Три задачи

ТипЧто делаетЧто будет, если его заблокировать
Краулер для обученияСобирает веб-страницы для обучения будущих моделей.Ваш контент не попадёт в обучающие данные. Обычно это не влияет на цитирование в ИИ-поиске.
Поисковый краулерСтроит индекс для ИИ-поиска. Отвечая, ИИ находит страницы в этом индексе и ссылается на них.Ваши страницы будут редко появляться в ответах ИИ-поиска.
Загрузка по запросу пользователяПользователь вставляет ваш URL в чат, или ИИ сам открывает вашу страницу, чтобы ответить на вопрос.ИИ не сможет прочитать вашу страницу и будет отвечать по информации, найденной в других местах.

Названия краулеров у каждой компании

В таблице ниже — названия из публичной документации каждой компании на момент написания статьи. Названия добавляются и исчезают, поэтому сверьтесь с официальной документацией, прежде чем писать правила.

КомпанияОбучениеПоискПо запросу пользователя
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

Две вещи, в которых часто ошибаются:

Распространённый компромисс

Если ваша цель — «не хочу, чтобы на моём контенте обучались, но хочу, чтобы ИИ-поиск меня рекомендовал», можно заблокировать только краулеры для обучения и разрешить поисковые:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Если вы не против обучения и просто хотите, чтобы вас видели как можно чаще, никакие отдельные правила Disallow для ИИ не нужны. Достаточно убедиться, что общее правило User-agent: * не блокирует весь сайт.

Что проверить помимо robots.txt

Разрешение в robots.txt ещё не значит, что краулеры действительно смогут зайти. Закрыть им доступ могут ещё два места:

Чтобы проверить, найдите в журналах доступа сервера запросы от этих краулеров и посмотрите, какой код состояния они получили: 200 или 403.

Разрешение для поисковых краулеров лишь позволяет ИИ читать ваши страницы. Оно не гарантирует, что ИИ будет вас цитировать или рекомендовать. Чтобы узнать, рекомендуют ли вас, задайте реальные вопросы клиентов, по несколько раундов каждый, а затем посмотрите на результаты.

Похожие статьи

Хотите узнать, пускает ли сейчас ваш robots.txt ИИ-краулеров или блокирует их? Бесплатная проверка покажет результат для каждого из четырёх краулеров: GPTBot, OAI-SearchBot, PerplexityBot и ClaudeBot.

Подать заявку на бесплатную проверку