Como o robots.txt bloqueia os crawlers de IA e como verificar o seu
Antes de responder a uma pergunta, a busca por IA normalmente precisa rastrear as páginas em que se baseia. Se o seu robots.txt barra o crawler certo, a IA pode nunca ver sua página, por melhor que ela seja. Isso passa despercebido com facilidade, porque muitos sites têm um robots.txt escrito anos atrás, antes de esses crawlers existirem.
Crawlers de IA mais comuns
Estes são os nomes dos crawlers usados pelos principais serviços de IA. A documentação oficial de cada empresa é a palavra final sobre os nomes exatos, então confira antes de escrever qualquer regra.
GPTBot: o crawler da OpenAI para dados de treinamento.OAI-SearchBot: o crawler da OpenAI para os resultados de busca do ChatGPT.PerplexityBot: o crawler da Perplexity para o seu índice de busca.ClaudeBot: o crawler da Anthropic.
Treinamento e busca normalmente ficam a cargo de dois crawlers diferentes. Se você quer que a IA cite suas páginas, o crawler de busca é o que mais importa; bloquear o crawler de treinamento não necessariamente afeta as citações.
Uma regra curinga bloqueia todo mundo
User-agent: * Disallow: /
Estas duas linhas bloqueiam todos os crawlers que não têm uma regra própria, incluindo todos os citados acima. Muitos sites as adicionaram para barrar tráfego indesejado e acabaram trancando a busca por IA do lado de fora também.
Regras com nome vêm primeiro
A maioria dos crawlers segue o grupo de regras que cita o seu nome e só recorre ao * quando não existe um. Por isso, as regras abaixo liberam o ClaudeBot e bloqueiam todos os outros:
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
Se você quer liberar todos os crawlers de busca por IA, dê a cada nome o seu próprio grupo com Allow: /, em vez de depender da regra curinga.
Como verificar
- Abra
seudominio/robots.txte confirme que o arquivo existe e retorna 200. - Encontre o grupo de regras de cada crawler de IA e veja se o seu
Disallowinclui/. - Preste atenção aos caminhos:
Disallow: /privatesó bloqueia as páginas que começam com/private, não a raiz. - Se o arquivo retorna 404, todos os crawlers são liberados por padrão. Se ele não pode ser acessado de jeito nenhum, considere-o “inacessível” na verificação.
A verificação gratuita da CiteRev percorre esses passos automaticamente e mostra o resultado para cada crawler.
Artigos relacionados
Quer saber se o seu robots.txt hoje deixa os crawlers de IA entrarem ou os mantém do lado de fora? A verificação gratuita mostra o resultado para cada crawler.
Solicitar uma verificação gratuita