CiteRev
CiteRev · Artigos

Como o robots.txt bloqueia os crawlers de IA e como verificar o seu

Publicado em 20 de novembro de 2026

Antes de responder a uma pergunta, a busca por IA normalmente precisa rastrear as páginas em que se baseia. Se o seu robots.txt barra o crawler certo, a IA pode nunca ver sua página, por melhor que ela seja. Isso passa despercebido com facilidade, porque muitos sites têm um robots.txt escrito anos atrás, antes de esses crawlers existirem.

Crawlers de IA mais comuns

Estes são os nomes dos crawlers usados pelos principais serviços de IA. A documentação oficial de cada empresa é a palavra final sobre os nomes exatos, então confira antes de escrever qualquer regra.

Treinamento e busca normalmente ficam a cargo de dois crawlers diferentes. Se você quer que a IA cite suas páginas, o crawler de busca é o que mais importa; bloquear o crawler de treinamento não necessariamente afeta as citações.

Uma regra curinga bloqueia todo mundo

User-agent: *
Disallow: /

Estas duas linhas bloqueiam todos os crawlers que não têm uma regra própria, incluindo todos os citados acima. Muitos sites as adicionaram para barrar tráfego indesejado e acabaram trancando a busca por IA do lado de fora também.

Regras com nome vêm primeiro

A maioria dos crawlers segue o grupo de regras que cita o seu nome e só recorre ao * quando não existe um. Por isso, as regras abaixo liberam o ClaudeBot e bloqueiam todos os outros:

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

Se você quer liberar todos os crawlers de busca por IA, dê a cada nome o seu próprio grupo com Allow: /, em vez de depender da regra curinga.

Como verificar

  1. Abra seudominio/robots.txt e confirme que o arquivo existe e retorna 200.
  2. Encontre o grupo de regras de cada crawler de IA e veja se o seu Disallow inclui /.
  3. Preste atenção aos caminhos: Disallow: /private só bloqueia as páginas que começam com /private, não a raiz.
  4. Se o arquivo retorna 404, todos os crawlers são liberados por padrão. Se ele não pode ser acessado de jeito nenhum, considere-o “inacessível” na verificação.

A verificação gratuita da CiteRev percorre esses passos automaticamente e mostra o resultado para cada crawler.

Este artigo só explica como as regras funcionam e como verificá-las. Não promete que a IA vai citar você quando o robots.txt liberar os crawlers. As citações dependem de muitos fatores, e o único jeito de saber é ver o que a IA realmente responde.

Artigos relacionados

Quer saber se o seu robots.txt hoje deixa os crawlers de IA entrarem ou os mantém do lado de fora? A verificação gratuita mostra o resultado para cada crawler.

Solicitar uma verificação gratuita