CiteRev
CiteRev · Articles

Entraînement, recherche, déclenchés par l’utilisateur : les trois types de robots d’IA

Publié le 21 novembre 2026

Bien des propriétaires d’entreprise entendent dire que « l’IA va utiliser mon contenu pour son entraînement » et bloquent dans leur robots.txt tous les robots dont le nom contient « AI ». Résultat : l’entraînement est bloqué, mais la recherche par IA ne voit plus le site Web non plus, et l’entreprise n’est évidemment pas recommandée quand des clients interrogent l’IA. Le problème, c’est de ne pas distinguer les robots selon leur rôle.

Trois rôles

TypeCe qu’il faitCe qui arrive si vous le bloquez
Robot d’entraînementRecueille des pages Web pour entraîner les futurs modèles.Votre contenu reste hors des données d’entraînement. Habituellement aucun effet sur vos citations dans la recherche par IA.
Robot de rechercheConstruit l’index de la recherche par IA. Pour répondre, l’IA trouve des pages dans cet index et y renvoie par des liens.Vos pages apparaîtront rarement dans les réponses de la recherche par IA.
Récupération déclenchée par l’utilisateurUn utilisateur colle votre URL dans la conversation, ou l’IA ouvre votre page sur-le-champ pour répondre à la question.L’IA ne peut pas lire votre page et doit répondre à partir de renseignements trouvés ailleurs.

Les noms des robots de chaque entreprise

Le tableau ci-dessous présente les noms qui figuraient dans la documentation publique de chaque entreprise au moment de la rédaction. Des noms s’ajoutent et d’autres disparaissent; consultez donc la documentation officielle avant d’écrire vos règles.

EntrepriseEntraînementRechercheDéclenché par l’utilisateur
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

Deux points souvent mal compris :

Un compromis courant

Si votre objectif est « je ne veux pas que mon contenu serve à l’entraînement, mais je veux que la recherche par IA me recommande », vous pouvez bloquer seulement les robots d’entraînement et autoriser les robots de recherche :

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Si l’entraînement ne vous dérange pas et que vous voulez simplement être vu le plus possible, vous n’avez besoin d’aucune règle Disallow propre à l’IA. Assurez-vous seulement que la règle générique User-agent: * ne bloque pas tout votre site.

Ce qu’il faut vérifier au-delà du robots.txt

Autoriser les robots dans le robots.txt ne veut pas dire qu’ils peuvent vraiment entrer. Deux autres endroits peuvent aussi les tenir à l’écart :

Pour vérifier, cherchez dans les journaux d’accès de votre serveur les requêtes de ces robots, et regardez si elles ont reçu un code d’état 200 ou 403.

Autoriser les robots de recherche permet seulement à l’IA de lire vos pages. Cela ne garantit pas que l’IA vous citera ou vous recommandera. Pour savoir si vous êtes recommandé, posez de vraies questions de clients, en plusieurs tours chacune, puis examinez les résultats.

Articles connexes

Vous voulez savoir si votre robots.txt autorise ou bloque actuellement les robots d’exploration d’IA? La vérification gratuite indique le résultat pour chacun de ces quatre robots : GPTBot, OAI-SearchBot, PerplexityBot et ClaudeBot.

Demander une vérification gratuite