Cómo robots.txt bloquea a los rastreadores de IA y cómo revisar el tuyo
Antes de responder una pregunta, la búsqueda con IA normalmente tiene que rastrear las páginas en las que se basa. Si tu robots.txt le cierra el paso al rastreador equivocado, puede que la IA nunca vea tu página, por buena que sea. Es fácil pasarlo por alto, porque muchos sitios tienen un robots.txt escrito hace años, antes de que existieran estos rastreadores.
Rastreadores de IA comunes
Estos son los nombres de los rastreadores que usan los principales servicios de IA. La documentación oficial de cada empresa es la que tiene la última palabra sobre los nombres exactos, así que consúltala antes de escribir cualquier regla.
GPTBot: el rastreador de OpenAI para datos de entrenamiento.OAI-SearchBot: el rastreador de OpenAI para los resultados de búsqueda de ChatGPT.PerplexityBot: el rastreador de Perplexity para su índice de búsqueda.ClaudeBot: el rastreador de Anthropic.
El entrenamiento y la búsqueda suelen estar a cargo de dos rastreadores distintos. Si quieres que la IA cite tus páginas, el rastreador de búsqueda es el que más importa; bloquear el de entrenamiento no tiene por qué afectar a las citas.
Una regla comodín bloquea a todos
User-agent: * Disallow: /
Estas dos líneas bloquean a todos los rastreadores que no tienen una regla propia, incluidos todos los anteriores. Muchos sitios las añadieron para frenar el tráfico basura y acabaron dejando fuera también a la búsqueda con IA.
Las reglas con nombre van primero
La mayoría de los rastreadores siguen el grupo de reglas que los nombra, y solo recurren a * cuando no existe ninguno. Por eso, las reglas siguientes permiten a ClaudeBot y bloquean a todos los demás:
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
Si quieres permitir a todos los rastreadores de búsqueda con IA, dale a cada nombre su propio grupo con Allow: / en lugar de depender de la regla comodín.
Cómo revisarlo
- Abre
tudominio/robots.txty confirma que el archivo existe y devuelve 200. - Busca el grupo de reglas de cada rastreador de IA y mira si su
Disallowincluye/. - Fíjate en las rutas:
Disallow: /privatesolo bloquea las páginas que empiezan por/private, no la raíz. - Si el archivo devuelve 404, todos los rastreadores están permitidos por defecto. Si no se puede acceder a él en absoluto, márcalo como “inaccesible” al revisarlo.
La revisión gratuita de CiteRev hace estos pasos automáticamente y muestra el resultado para cada rastreador.
Artículos relacionados
¿Quieres saber si tu robots.txt deja entrar ahora mismo a los rastreadores de IA o los deja fuera? La revisión gratuita muestra el resultado para cada rastreador.
Solicitar una revisión gratuita