Comment le robots.txt bloque les robots d’exploration d’IA, et comment vérifier le vôtre
Avant de répondre à une question, la recherche par IA doit habituellement explorer les pages sur lesquelles elle s’appuie. Si votre robots.txt ferme la porte au robot qui compte, l’IA risque de ne jamais voir votre page, aussi bonne soit-elle. C’est facile à manquer, car bien des sites ont un robots.txt rédigé il y a des années, avant l’existence de ces robots.
Les robots d’exploration d’IA courants
Voici les noms des robots utilisés par les principaux services d’IA. La documentation officielle de chaque entreprise fait foi pour les noms exacts; vérifiez-les donc avant d’écrire vos règles.
GPTBot: le robot d’OpenAI pour les données d’entraînement.OAI-SearchBot: le robot d’OpenAI pour les résultats de recherche de ChatGPT.PerplexityBot: le robot de Perplexity pour son index de recherche.ClaudeBot: le robot d’Anthropic.
L’entraînement et la recherche sont habituellement confiés à deux robots différents. Si vous voulez que l’IA cite vos pages, c’est le robot de recherche qui compte le plus; bloquer le robot d’entraînement n’aura pas forcément d’effet sur les citations.
Une seule règle générique bloque tout le monde
User-agent: * Disallow: /
Ces deux lignes bloquent tous les robots qui n’ont pas leur propre règle, y compris tous ceux mentionnés ci-dessus. Bien des sites les ont ajoutées pour écarter le trafic indésirable et ont fini par exclure aussi la recherche par IA.
Les règles nommées ont la priorité
La plupart des robots suivent le groupe de règles qui les nomme, et ne se rabattent sur * qu’en l’absence d’un tel groupe. Les règles ci-dessous autorisent donc ClaudeBot et bloquent tous les autres :
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
Si vous voulez autoriser tous les robots de recherche par IA, donnez à chaque nom son propre groupe avec Allow: / au lieu de compter sur la règle générique.
Comment vérifier
- Ouvrez
votredomaine/robots.txtet confirmez que le fichier existe et renvoie 200. - Trouvez le groupe de règles de chaque robot d’IA et regardez si son
Disallowcomprend/. - Faites attention aux chemins :
Disallow: /privatebloque seulement les pages qui commencent par/private, pas la racine. - Si le fichier renvoie 404, tous les robots sont autorisés par défaut. S’il est complètement inaccessible, considérez-le comme « inaccessible » dans votre vérification.
La vérification gratuite de CiteRev passe par ces étapes automatiquement et indique le résultat pour chaque robot.
Articles connexes
Vous voulez savoir si votre robots.txt laisse actuellement entrer les robots d’exploration d’IA ou les tient à l’écart? La vérification gratuite indique le résultat pour chaque robot.
Demander une vérification gratuite