Entraînement, recherche, déclenchés par l’utilisateur : les trois types de robots d’IA
Bien des propriétaires d’entreprise entendent dire que « l’IA va utiliser mon contenu pour son entraînement » et bloquent dans leur robots.txt tous les robots dont le nom contient « AI ». Résultat : l’entraînement est bloqué, mais la recherche par IA ne voit plus le site Web non plus, et l’entreprise n’est évidemment pas recommandée quand des clients interrogent l’IA. Le problème, c’est de ne pas distinguer les robots selon leur rôle.
Trois rôles
| Type | Ce qu’il fait | Ce qui arrive si vous le bloquez |
|---|---|---|
| Robot d’entraînement | Recueille des pages Web pour entraîner les futurs modèles. | Votre contenu reste hors des données d’entraînement. Habituellement aucun effet sur vos citations dans la recherche par IA. |
| Robot de recherche | Construit l’index de la recherche par IA. Pour répondre, l’IA trouve des pages dans cet index et y renvoie par des liens. | Vos pages apparaîtront rarement dans les réponses de la recherche par IA. |
| Récupération déclenchée par l’utilisateur | Un utilisateur colle votre URL dans la conversation, ou l’IA ouvre votre page sur-le-champ pour répondre à la question. | L’IA ne peut pas lire votre page et doit répondre à partir de renseignements trouvés ailleurs. |
Les noms des robots de chaque entreprise
Le tableau ci-dessous présente les noms qui figuraient dans la documentation publique de chaque entreprise au moment de la rédaction. Des noms s’ajoutent et d’autres disparaissent; consultez donc la documentation officielle avant d’écrire vos règles.
| Entreprise | Entraînement | Recherche | Déclenché par l’utilisateur |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
Deux points souvent mal compris :
Google-Extendedn’est pas un robot distinct qui visite votre site. C’est un interrupteur dans le robots.txt qui détermine si le contenu exploré par Google peut servir à des fins liées à Gemini. Il n’a aucun effet sur votre indexation dans la recherche Google. Les résumés par IA affichés dans les résultats de recherche Google utilisent ce qu’explore le robot habituelGooglebot.- La récupération déclenchée par l’utilisateur ouvre une page au nom d’un utilisateur précis, et les entreprises ne disent pas toutes la même chose sur le respect du robots.txt dans ce cas. Ne tenez pas pour acquis que le robots.txt contrôlera toujours ce type d’accès.
Un compromis courant
Si votre objectif est « je ne veux pas que mon contenu serve à l’entraînement, mais je veux que la recherche par IA me recommande », vous pouvez bloquer seulement les robots d’entraînement et autoriser les robots de recherche :
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Si l’entraînement ne vous dérange pas et que vous voulez simplement être vu le plus possible, vous n’avez besoin d’aucune règle Disallow propre à l’IA. Assurez-vous seulement que la règle générique User-agent: * ne bloque pas tout votre site.
Ce qu’il faut vérifier au-delà du robots.txt
Autoriser les robots dans le robots.txt ne veut pas dire qu’ils peuvent vraiment entrer. Deux autres endroits peuvent aussi les tenir à l’écart :
- Un réglage du genre « bloquer les robots d’IA » dans votre CDN ou votre pare-feu. Certains services l’activent par défaut, ou l’activent automatiquement après une mise à jour.
- Un blocage par votre hébergeur Web ou une extension de sécurité, selon le User-Agent ou la plage d’adresses IP.
Pour vérifier, cherchez dans les journaux d’accès de votre serveur les requêtes de ces robots, et regardez si elles ont reçu un code d’état 200 ou 403.
Articles connexes
Vous voulez savoir si votre robots.txt autorise ou bloque actuellement les robots d’exploration d’IA? La vérification gratuite indique le résultat pour chacun de ces quatre robots : GPTBot, OAI-SearchBot, PerplexityBot et ClaudeBot.
Demander une vérification gratuite