CiteRev
CiteRev · Articles

Comment le robots.txt bloque les robots d’exploration d’IA, et comment vérifier le vôtre

Publié le 20 novembre 2026

Avant de répondre à une question, la recherche par IA doit habituellement explorer les pages sur lesquelles elle s’appuie. Si votre robots.txt ferme la porte au robot qui compte, l’IA risque de ne jamais voir votre page, aussi bonne soit-elle. C’est facile à manquer, car bien des sites ont un robots.txt rédigé il y a des années, avant l’existence de ces robots.

Les robots d’exploration d’IA courants

Voici les noms des robots utilisés par les principaux services d’IA. La documentation officielle de chaque entreprise fait foi pour les noms exacts; vérifiez-les donc avant d’écrire vos règles.

L’entraînement et la recherche sont habituellement confiés à deux robots différents. Si vous voulez que l’IA cite vos pages, c’est le robot de recherche qui compte le plus; bloquer le robot d’entraînement n’aura pas forcément d’effet sur les citations.

Une seule règle générique bloque tout le monde

User-agent: *
Disallow: /

Ces deux lignes bloquent tous les robots qui n’ont pas leur propre règle, y compris tous ceux mentionnés ci-dessus. Bien des sites les ont ajoutées pour écarter le trafic indésirable et ont fini par exclure aussi la recherche par IA.

Les règles nommées ont la priorité

La plupart des robots suivent le groupe de règles qui les nomme, et ne se rabattent sur * qu’en l’absence d’un tel groupe. Les règles ci-dessous autorisent donc ClaudeBot et bloquent tous les autres :

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

Si vous voulez autoriser tous les robots de recherche par IA, donnez à chaque nom son propre groupe avec Allow: / au lieu de compter sur la règle générique.

Comment vérifier

  1. Ouvrez votredomaine/robots.txt et confirmez que le fichier existe et renvoie 200.
  2. Trouvez le groupe de règles de chaque robot d’IA et regardez si son Disallow comprend /.
  3. Faites attention aux chemins : Disallow: /private bloque seulement les pages qui commencent par /private, pas la racine.
  4. Si le fichier renvoie 404, tous les robots sont autorisés par défaut. S’il est complètement inaccessible, considérez-le comme « inaccessible » dans votre vérification.

La vérification gratuite de CiteRev passe par ces étapes automatiquement et indique le résultat pour chaque robot.

Cet article explique seulement le fonctionnement des règles et la façon de les vérifier. Il ne promet pas que l’IA vous citera une fois que le robots.txt laissera entrer les robots. Les citations dépendent de nombreux facteurs, et la seule façon de le savoir est de regarder ce que l’IA répond réellement.

Articles connexes

Vous voulez savoir si votre robots.txt laisse actuellement entrer les robots d’exploration d’IA ou les tient à l’écart? La vérification gratuite indique le résultat pour chaque robot.

Demander une vérification gratuite