CiteRev
CiteRev · Artigos

Treinamento, busca, acionado pelo usuário: os três tipos de crawlers de IA

Publicado em 21 de novembro de 2026

Muitos donos de empresa ouvem que “a IA vai usar meu conteúdo para treinamento” e bloqueiam no robots.txt todo crawler que tenha “AI” no nome. O resultado: o treinamento fica bloqueado, mas a busca por IA também deixa de ver o site, e é claro que a empresa não é recomendada quando os clientes perguntam à IA. O problema é não diferenciar os crawlers pelo que cada um faz.

Três funções

TipoO que fazO que acontece se você bloquear
Crawler de treinamentoColeta páginas da web para treinar modelos futuros.Seu conteúdo fica fora dos dados de treinamento. Normalmente não afeta as citações na busca por IA.
Crawler de buscaMonta o índice da busca por IA. Ao responder, a IA encontra páginas nesse índice e coloca links para elas.Suas páginas raramente vão aparecer nas respostas da busca por IA.
Acesso acionado pelo usuárioUm usuário cola o endereço da sua página no chat, ou a IA abre sua página na hora para responder à pergunta.A IA não consegue ler sua página e precisa responder com informações encontradas em outros lugares.

Os nomes dos crawlers de cada empresa

A tabela abaixo mostra os nomes que constam na documentação pública de cada empresa no momento em que este artigo foi escrito. Nomes são adicionados e removidos, então confira a documentação oficial antes de escrever qualquer regra.

EmpresaTreinamentoBuscaAcionado pelo usuário
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

Duas coisas que costumam ser mal entendidas:

Um meio-termo comum

Se o seu objetivo é “não quero meu conteúdo usado para treinamento, mas quero que a busca por IA me recomende”, você pode bloquear só os crawlers de treinamento e liberar os crawlers de busca:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Se você não se importa com o treinamento e só quer ser visto o máximo possível, não precisa de nenhuma regra Disallow específica para IA. Só garanta que a regra curinga User-agent: * não esteja bloqueando o site inteiro.

O que verificar além do robots.txt

Liberar os crawlers no robots.txt não quer dizer que eles consigam mesmo entrar. Dois outros lugares também podem barrá-los:

Para verificar, procure nos logs de acesso do servidor as requisições desses crawlers e veja se elas receberam o código de status 200 ou 403.

Liberar os crawlers de busca só permite que a IA leia suas páginas. Não garante que a IA vá citar ou recomendar você. Para saber se você é recomendado, faça perguntas reais de clientes, várias rodadas cada, e depois analise os resultados.

Artigos relacionados

Quer saber se o seu robots.txt hoje libera ou bloqueia os crawlers de IA? A verificação gratuita mostra o resultado para cada um de quatro crawlers: GPTBot, OAI-SearchBot, PerplexityBot e ClaudeBot.

Solicitar uma verificação gratuita