CiteRev
CiteRev · Artículos

Cómo robots.txt bloquea a los rastreadores de IA y cómo revisar el tuyo

Publicado el 20 de noviembre de 2026

Antes de responder una pregunta, la búsqueda con IA normalmente tiene que rastrear las páginas en las que se basa. Si tu robots.txt le cierra el paso al rastreador equivocado, puede que la IA nunca vea tu página, por buena que sea. Es fácil pasarlo por alto, porque muchos sitios tienen un robots.txt escrito hace años, antes de que existieran estos rastreadores.

Rastreadores de IA comunes

Estos son los nombres de los rastreadores que usan los principales servicios de IA. La documentación oficial de cada empresa es la que tiene la última palabra sobre los nombres exactos, así que consúltala antes de escribir cualquier regla.

El entrenamiento y la búsqueda suelen estar a cargo de dos rastreadores distintos. Si quieres que la IA cite tus páginas, el rastreador de búsqueda es el que más importa; bloquear el de entrenamiento no tiene por qué afectar a las citas.

Una regla comodín bloquea a todos

User-agent: *
Disallow: /

Estas dos líneas bloquean a todos los rastreadores que no tienen una regla propia, incluidos todos los anteriores. Muchos sitios las añadieron para frenar el tráfico basura y acabaron dejando fuera también a la búsqueda con IA.

Las reglas con nombre van primero

La mayoría de los rastreadores siguen el grupo de reglas que los nombra, y solo recurren a * cuando no existe ninguno. Por eso, las reglas siguientes permiten a ClaudeBot y bloquean a todos los demás:

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

Si quieres permitir a todos los rastreadores de búsqueda con IA, dale a cada nombre su propio grupo con Allow: / en lugar de depender de la regla comodín.

Cómo revisarlo

  1. Abre tudominio/robots.txt y confirma que el archivo existe y devuelve 200.
  2. Busca el grupo de reglas de cada rastreador de IA y mira si su Disallow incluye /.
  3. Fíjate en las rutas: Disallow: /private solo bloquea las páginas que empiezan por /private, no la raíz.
  4. Si el archivo devuelve 404, todos los rastreadores están permitidos por defecto. Si no se puede acceder a él en absoluto, márcalo como “inaccesible” al revisarlo.

La revisión gratuita de CiteRev hace estos pasos automáticamente y muestra el resultado para cada rastreador.

Este artículo solo explica cómo funcionan las reglas y cómo revisarlas. No promete que la IA te vaya a citar una vez que robots.txt deje entrar a los rastreadores. Las citas dependen de muchos factores, y la única forma de saberlo es mirar lo que la IA responde de verdad.

Artículos relacionados

¿Quieres saber si tu robots.txt deja entrar ahora mismo a los rastreadores de IA o los deja fuera? La revisión gratuita muestra el resultado para cada rastreador.

Solicitar una revisión gratuita