Обучение, поиск, запрос пользователя: три типа ИИ-краулеров
Многие владельцы бизнеса слышат, что «ИИ будет обучаться на моём контенте», и блокируют в robots.txt все краулеры, в названии которых есть «AI». В итоге обучение заблокировано, но и ИИ-поиск больше не видит сайт, так что, естественно, компанию не рекомендуют, когда клиенты спрашивают ИИ. Проблема в том, что краулеры не различают по их задачам.
Три задачи
| Тип | Что делает | Что будет, если его заблокировать |
|---|---|---|
| Краулер для обучения | Собирает веб-страницы для обучения будущих моделей. | Ваш контент не попадёт в обучающие данные. Обычно это не влияет на цитирование в ИИ-поиске. |
| Поисковый краулер | Строит индекс для ИИ-поиска. Отвечая, ИИ находит страницы в этом индексе и ссылается на них. | Ваши страницы будут редко появляться в ответах ИИ-поиска. |
| Загрузка по запросу пользователя | Пользователь вставляет ваш URL в чат, или ИИ сам открывает вашу страницу, чтобы ответить на вопрос. | ИИ не сможет прочитать вашу страницу и будет отвечать по информации, найденной в других местах. |
Названия краулеров у каждой компании
В таблице ниже — названия из публичной документации каждой компании на момент написания статьи. Названия добавляются и исчезают, поэтому сверьтесь с официальной документацией, прежде чем писать правила.
| Компания | Обучение | Поиск | По запросу пользователя |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
Две вещи, в которых часто ошибаются:
Google-Extended— это не отдельный краулер, который заходит на ваш сайт. Это переключатель в robots.txt, который определяет, можно ли использовать контент, собранный Google, для целей, связанных с Gemini. На индексацию в Google Поиске он не влияет. ИИ-сводки в результатах Google Поиска используют то, что собирает обычныйGooglebot.- Загрузка по запросу пользователя открывает страницу от имени конкретного пользователя, и компании по-разному отвечают на вопрос, соблюдает ли она robots.txt. Не рассчитывайте, что robots.txt всегда будет управлять этим типом.
Распространённый компромисс
Если ваша цель — «не хочу, чтобы на моём контенте обучались, но хочу, чтобы ИИ-поиск меня рекомендовал», можно заблокировать только краулеры для обучения и разрешить поисковые:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Если вы не против обучения и просто хотите, чтобы вас видели как можно чаще, никакие отдельные правила Disallow для ИИ не нужны. Достаточно убедиться, что общее правило User-agent: * не блокирует весь сайт.
Что проверить помимо robots.txt
Разрешение в robots.txt ещё не значит, что краулеры действительно смогут зайти. Закрыть им доступ могут ещё два места:
- Настройка «блокировать ИИ-ботов» в вашем CDN или файрволе. Некоторые сервисы включают её по умолчанию или автоматически после обновления.
- Блокировка на стороне хостинга или плагина безопасности по User-Agent или диапазону IP-адресов.
Чтобы проверить, найдите в журналах доступа сервера запросы от этих краулеров и посмотрите, какой код состояния они получили: 200 или 403.
Похожие статьи
Хотите узнать, пускает ли сейчас ваш robots.txt ИИ-краулеров или блокирует их? Бесплатная проверка покажет результат для каждого из четырёх краулеров: GPTBot, OAI-SearchBot, PerplexityBot и ClaudeBot.
Подать заявку на бесплатную проверку