Treinamento, busca, acionado pelo usuário: os três tipos de crawlers de IA
Muitos donos de empresa ouvem que “a IA vai usar meu conteúdo para treinamento” e bloqueiam no robots.txt todo crawler que tenha “AI” no nome. O resultado: o treinamento fica bloqueado, mas a busca por IA também deixa de ver o site, e é claro que a empresa não é recomendada quando os clientes perguntam à IA. O problema é não diferenciar os crawlers pelo que cada um faz.
Três funções
| Tipo | O que faz | O que acontece se você bloquear |
|---|---|---|
| Crawler de treinamento | Coleta páginas da web para treinar modelos futuros. | Seu conteúdo fica fora dos dados de treinamento. Normalmente não afeta as citações na busca por IA. |
| Crawler de busca | Monta o índice da busca por IA. Ao responder, a IA encontra páginas nesse índice e coloca links para elas. | Suas páginas raramente vão aparecer nas respostas da busca por IA. |
| Acesso acionado pelo usuário | Um usuário cola o endereço da sua página no chat, ou a IA abre sua página na hora para responder à pergunta. | A IA não consegue ler sua página e precisa responder com informações encontradas em outros lugares. |
Os nomes dos crawlers de cada empresa
A tabela abaixo mostra os nomes que constam na documentação pública de cada empresa no momento em que este artigo foi escrito. Nomes são adicionados e removidos, então confira a documentação oficial antes de escrever qualquer regra.
| Empresa | Treinamento | Busca | Acionado pelo usuário |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
Duas coisas que costumam ser mal entendidas:
Google-Extendednão é um crawler separado que visita seu site. É uma chave no robots.txt que decide se o conteúdo que o Google rastreou pode ser usado para fins ligados ao Gemini. Não afeta a indexação na Busca do Google. Os resumos de IA nos resultados da Busca do Google usam o que oGooglebotcomum rastreia.- O acesso acionado pelo usuário abre uma página em nome de um usuário específico, e as empresas não dizem todas a mesma coisa sobre se ele segue o robots.txt. Não presuma que o robots.txt sempre vai controlar esse tipo.
Um meio-termo comum
Se o seu objetivo é “não quero meu conteúdo usado para treinamento, mas quero que a busca por IA me recomende”, você pode bloquear só os crawlers de treinamento e liberar os crawlers de busca:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Se você não se importa com o treinamento e só quer ser visto o máximo possível, não precisa de nenhuma regra Disallow específica para IA. Só garanta que a regra curinga User-agent: * não esteja bloqueando o site inteiro.
O que verificar além do robots.txt
Liberar os crawlers no robots.txt não quer dizer que eles consigam mesmo entrar. Dois outros lugares também podem barrá-los:
- Uma opção de “bloquear bots de IA” na sua CDN ou no seu firewall. Alguns serviços vêm com ela ativada por padrão, ou a ativam automaticamente depois de uma atualização.
- Bloqueios da sua hospedagem ou de um plugin de segurança com base no User-Agent ou na faixa de IP.
Para verificar, procure nos logs de acesso do servidor as requisições desses crawlers e veja se elas receberam o código de status 200 ou 403.
Artigos relacionados
Quer saber se o seu robots.txt hoje libera ou bloqueia os crawlers de IA? A verificação gratuita mostra o resultado para cada um de quatro crawlers: GPTBot, OAI-SearchBot, PerplexityBot e ClaudeBot.
Solicitar uma verificação gratuita