Entrenamiento, búsqueda y a petición del usuario: los tres tipos de rastreadores de IA
Muchos dueños de negocios oyen que “la IA usará mi contenido para entrenarse” y bloquean en robots.txt todos los rastreadores que llevan “AI” en el nombre. El resultado: el entrenamiento queda bloqueado, pero la búsqueda con IA tampoco puede ver el sitio web, así que, lógicamente, el negocio no aparece recomendado cuando los clientes le preguntan a la IA. El problema es no distinguir los rastreadores según lo que hace cada uno.
Tres funciones
| Tipo | Qué hace | Qué pasa si lo bloqueas |
|---|---|---|
| Rastreador de entrenamiento | Recopila páginas web para entrenar modelos futuros. | Tu contenido queda fuera de los datos de entrenamiento. Normalmente no afecta a que te citen en la búsqueda con IA. |
| Rastreador de búsqueda | Construye el índice de la búsqueda con IA. Al responder, la IA busca páginas en este índice y enlaza a ellas. | Tus páginas casi nunca aparecerán en las respuestas de la búsqueda con IA. |
| Visita a petición del usuario | Un usuario pega tu URL en el chat, o la IA abre tu página en el momento para responder a la pregunta. | La IA no puede leer tu página y tiene que responder con información que encontró en otro sitio. |
Los nombres de los rastreadores de cada empresa
La siguiente tabla muestra los nombres que aparecen en la documentación pública de cada empresa en el momento de escribir este artículo. Se añaden y se retiran nombres, así que consulta la documentación oficial antes de escribir cualquier regla.
| Empresa | Entrenamiento | Búsqueda | A petición del usuario |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
Dos cosas que se suelen entender mal:
Google-Extendedno es un rastreador aparte que visite tu sitio. Es un interruptor en robots.txt que decide si el contenido que Google ya rastreó puede usarse para fines relacionados con Gemini. No afecta a que estés indexado en la Búsqueda de Google. Los resúmenes con IA de los resultados de la Búsqueda de Google usan lo que rastrea elGooglebothabitual.- Las visitas a petición del usuario abren una página en nombre de un usuario concreto, y no todas las empresas dicen lo mismo sobre si respetan robots.txt. No des por hecho que robots.txt siempre controlará este tipo de acceso.
Un término medio habitual
Si tu objetivo es “no quiero que mi contenido se use para entrenamiento, pero sí quiero que la búsqueda con IA me recomiende”, puedes bloquear solo los rastreadores de entrenamiento y permitir los de búsqueda:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Si no te importa el entrenamiento y solo quieres que te vean lo más posible, no necesitas ninguna regla Disallow específica para la IA. Solo asegúrate de que la regla comodín User-agent: * no esté bloqueando todo tu sitio.
Qué revisar además de robots.txt
Permitir los rastreadores en robots.txt no significa que realmente puedan entrar. Hay otros dos lugares que también pueden dejarlos fuera:
- Una opción de “bloquear bots de IA” en tu CDN o firewall. Algunos servicios la activan por defecto, o la activan automáticamente después de una actualización.
- Bloqueos de tu proveedor de hosting o de un plugin de seguridad según el User-Agent o el rango de IP.
Para comprobarlo, busca en los registros de acceso de tu servidor las solicitudes de estos rastreadores y mira si recibieron un código de estado 200 o 403.
Artículos relacionados
¿Quieres saber si tu robots.txt permite o bloquea ahora mismo a los rastreadores de IA? La revisión gratuita muestra el resultado para cada uno de estos cuatro rastreadores: GPTBot, OAI-SearchBot, PerplexityBot y ClaudeBot.
Solicitar una revisión gratuita