robots.txt et bots IA : faut-il autoriser GPTBot, ClaudeBot et PerplexityBot sur votre site WordPress ?

Selon les données Cloudflare de fin 2025, GPTBot arrive en deuxième position mondiale parmi tous les bots identifiés, avec 12,8 % des requêtes — juste derrière Googlebot. Votre site WordPress reçoit donc déjà ces visites, que vous le sachiez ou non, et votre fichier robots.txt détermine en ce moment même si vous êtes une source que les moteurs IA peuvent citer ou un contenu qu'ils absorbent en silence dans leurs modèles.

La plupart des propriétaires de sites ignorent qu'il existe deux familles de bots IA radicalement différentes, avec des conséquences opposées selon que vous les autorisez ou les bloquez. Confondre les deux est l'erreur la plus coûteuse que vous puissiez faire dans votre configuration robots.txt en 2026 : vous pouvez très bien vous protéger contre l'entraînement tout en restant pleinement visible dans ChatGPT Search, Perplexity ou les réponses Claude — à condition de configurer chaque directive correctement.

Ce guide traite exclusivement de la configuration robots.txt pour les bots IA, avec les noms de crawlers exacts, les directives concrètes et les arbitrages à faire selon votre situation. Si votre objectif est d'optimiser votre contenu pour être activement cité dans ces réponses IA, c'est un sujet complémentaire traité dans notre article sur la manière d'être cité par ChatGPT, Perplexity et les moteurs de réponse IA.

1. La distinction fondamentale : bots d'entraînement vs bots de recherche temps réel

Avant de toucher à une seule ligne de votre robots.txt, il faut comprendre que les crawlers IA ne forment pas un bloc homogène. Ils se répartissent en trois catégories aux objectifs radicalement distincts.

1.1 Les training crawlers : ils ingèrent votre contenu dans un modèle

Ces bots collectent votre contenu pour l'intégrer dans les données d'entraînement des grands modèles de langage. Concrètement : votre article devient une source parmi des milliards d'autres qui façonnent les réponses futures du modèle, sans que votre site soit nécessairement cité ou que vous receviez un seul visiteur en retour. Les trois principaux sont GPTBot (OpenAI), ClaudeBot (Anthropic) et Google-Extended (Google DeepMind). Les bloquer ne vous retire d'aucun résultat de recherche : cela empêche simplement l'absorption de votre contenu dans le prochain cycle d'entraînement.

Cette dynamique crée une asymétrie inconfortable : vous continuez d'alimenter les modèles sans avoir de prise sur ce qu'ils diront ensuite à votre sujet. Car une fois vos contenus absorbés, le modèle les interprète, les recompose et les mélange à d'innombrables autres sources — avec tous les glissements que cela implique. C'est précisément ce mécanisme qui est au cœur de la déformation de votre réputation par les LLM.

1.2 Les search bots temps réel : ils alimentent les citations

Ces crawlers indexent votre contenu pour répondre aux requêtes des utilisateurs en temps réel. Quand quelqu'un interroge ChatGPT Search, Perplexity ou la fonction de recherche web de Claude, ce sont ces bots qui ont crawlé votre site et qui peuvent en faire une source citée avec lien retour. Les acteurs principaux : OAI-SearchBot (ChatGPT Search d'OpenAI), Claude-SearchBot (indexation recherche d'Anthropic) et PerplexityBot. Bloquer ces bots revient à vous retirer volontairement des moteurs génératifs — avec un impact croissant au fur et à mesure que ces outils gagnent des utilisateurs.

1.3 Les AI agents : une troisième catégorie moins prévisible

Il existe enfin des bots qui naviguent pour le compte d'un utilisateur spécifique, en réponse à une requête directe. ChatGPT-User intervient par exemple quand un utilisateur demande explicitement à ChatGPT de consulter une URL précise. Claude-User fonctionne sur le même principe pour les questions posées à Claude. OpenAI précise dans sa documentation que ChatGPT-User peut ne pas être régi par robots.txt de la même façon que ses crawlers automatisés — c'est une nuance importante pour calibrer vos attentes sur le contrôle réel que ce fichier vous offre.

2. Les crawlers OpenAI : trois user-agents, trois rôles distincts

OpenAI opère avec trois crawlers officiels, chacun contrôlable indépendamment via robots.txt. Confondre GPTBot et OAI-SearchBot est l'erreur de configuration la plus répandue.

2.1 GPTBot : le crawler d'entraînement

Introduit en août 2023, GPTBot collecte du contenu publiquement accessible pour les futurs cycles d'entraînement des modèles GPT. Son user-agent est simplement GPTBot. C'est le crawler que la majorité des éditeurs choisissent de bloquer : selon les données Cloudflare, 5,14 % des domaines le bloquent explicitement dans leur robots.txt, ce qui en fait le bot le plus fréquemment bloqué. Pour le bloquer sans affecter ChatGPT Search :

• User-agent: GPTBot
• Disallow: /

2.2 OAI-SearchBot : le crawler de ChatGPT Search

OAI-SearchBot/1.0 est le crawler lancé le 31 octobre 2024 pour alimenter ChatGPT Search. C'est lui qui détermine si votre contenu apparaît dans les résultats de recherche de ChatGPT. OpenAI précise explicitement dans sa documentation que les opérateurs peuvent autoriser OAI-SearchBot tout en bloquant GPTBot — les deux directives coexistent sans conflit. Si vous n'avez pas de règle explicite pour OAI-SearchBot, il peut crawler votre site par défaut. OpenAI a également mis à jour sa documentation en décembre 2024 en précisant que GPTBot et OAI-SearchBot partagent des informations pour éviter le double crawl lorsque les deux sont autorisés.

2.3 ChatGPT-User : la navigation à la demande

ChatGPT-User intervient uniquement quand un utilisateur demande à ChatGPT ou à un Custom GPT de visiter une URL spécifique. Il n'est pas impliqué dans le crawl automatique ni dans l'entraînement. Son comportement vis-à-vis du robots.txt est moins strict que celui des crawlers automatisés, ce qui en fait une variable difficile à contrôler entièrement par ce seul mécanisme.

3. Les crawlers Anthropic : le framework à trois bots formalisé en février 2026

Anthropic a restructuré et documenté formellement ses trois robots web en février 2026. Point critique : les anciens user-agents Claude-Web et Anthropic-AI sont désormais officiellement dépréciés. Si votre robots.txt les référence encore, ces directives sont sans effet sur les crawlers Anthropic actuels.

3.1 ClaudeBot : l'entraînement

ClaudeBot collecte des données pour améliorer les modèles Claude. Selon la documentation Anthropic, il "helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training." Son user-agent est ClaudeBot. ClaudeBot arrive en quatrième position mondiale avec 11,4 % du trafic bots IA selon Cloudflare, et 4,26 % des domaines le bloquent explicitement. Anthropic supporte l'extension non standard Crawl-delay dans le robots.txt, ce qui permet de limiter la pression sur les serveurs mutualisés sans bloquer totalement :

• User-agent: ClaudeBot
• Crawl-delay: 1

3.2 Claude-SearchBot : l'indexation pour les réponses de recherche

Claude-SearchBot parcourt le web spécifiquement pour améliorer la pertinence et l'exactitude des réponses de recherche Claude. Le bloquer réduit la visibilité du site dans l'optimisation de la recherche Claude. Si vous souhaitez apparaître dans les réponses de la fonction de recherche web de Claude, ce bot doit rester autorisé.

3.3 Claude-User : la récupération à la demande utilisateur

Claude-User intervient quand des utilisateurs posent des questions à Claude et que celui-ci accède à des pages via un agent. Désactiver Claude-User empêche la récupération de votre contenu en réponse à une requête utilisateur directe, ce qui réduit votre visibilité pour la recherche web dirigée par l'utilisateur dans Claude.

Un point technique important signalé par Anthropic : le blocage par adresse IP n'est pas une stratégie fiable, car les bots Anthropic utilisent des IP publiques de fournisseurs de services cloud qui changent. Anthropic ne publie pas de plages IP fixes. Le robots.txt reste donc le seul mécanisme d'opt-out fiable et durable.

4. PerplexityBot : deux user-agents, une logique simple

Perplexity opère avec deux crawlers distincts selon sa documentation officielle, et leur logique est parmi les plus claires du secteur.

4.1 PerplexityBot : le crawler de recherche générale

PerplexityBot est un crawler automatisé d'exploration générale du web. Il n'est pas utilisé pour entraîner des modèles fondamentaux — c'est une distinction importante que Perplexity documente explicitement. Son rôle est identifié comme servant des fins de "Search" et d'"Input" : il rend votre contenu découvrable via les réponses Perplexity. Sa chaîne user-agent complète est Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot). Dans un robots.txt, la directive User-agent: PerplexityBot suffit. Perplexity indique également qu'il peut s'écouler jusqu'à 24 heures avant que les changements de robots.txt soient reflétés dans ses systèmes.

5. Configuration pratique du robots.txt WordPress

Sur WordPress, le fichier robots.txt n'est pas toujours un fichier physique sur le serveur : il peut être généré dynamiquement par des plugins comme Yoast SEO ou Rank Math. Dans ce cas, la modification se fait depuis l'interface de l'outil SEO, pas en FTP. Si vous éditez directement en FTP, le fichier se trouve à la racine du serveur (votresite.fr/robots.txt). En cas de doublon (fichier physique + génération dynamique par plugin), le comportement peut être imprévisible — vérifiez la situation avant de modifier.

5.1 La configuration recommandée pour une PME qui veut être visible dans les réponses IA

La stratégie la plus équilibrée pour la majorité des petites structures consiste à bloquer les crawlers d'entraînement tout en autorisant les bots de recherche temps réel. Voici les directives correspondantes :

• User-agent: GPTBot / Disallow: /
• User-agent: ClaudeBot / Disallow: /
• User-agent: Google-Extended / Disallow: /

Et, en l'absence de règle restrictive, les bots suivants restent autorisés par défaut : OAI-SearchBot, Claude-SearchBot, Claude-User, ChatGPT-User, PerplexityBot. Si vous souhaitez les mentionner explicitement pour plus de lisibilité :

• User-agent: OAI-SearchBot / Allow: /
• User-agent: PerplexityBot / Allow: /
• User-agent: Claude-SearchBot / Allow: /

N'oubliez pas d'ajouter la ligne Sitemap: https://votresite.fr/sitemap.xml si elle est absente : un robots.txt sans référence au sitemap prive les crawlers d'une carte du site et réduit l'efficacité de l'exploration.

5.2 Si votre priorité est la protection maximale contre l'entraînement

Si vous êtes dans un secteur où la propriété intellectuelle du contenu est critique — presse, édition, conseil, production créative — et que vous souhaitez signaler une opposition de principe à tout entraînement IA, vous pouvez bloquer l'ensemble des training crawlers connus. Gardez cependant à l'esprit deux limites : le robots.txt est une convention, pas un mécanisme légal contraignant ; et les acteurs moins scrupuleux que Google, OpenAI ou Anthropic n'ont aucune obligation de le respecter. Pour une portée juridique, des clauses dans vos conditions générales d'utilisation sont complémentaires et souvent plus robustes.

Cette approche défensive, bien que nécessaire, ne couvre qu'un côté de l'équation : empêcher l'utilisation de vos contenus sans pour autant guider les modèles vers ce que vous souhaitez qu'ils retiennent ou citent de vous. Une logique complémentaire émerge aujourd'hui, non plus d'interdiction mais de cadrage éditorial, pour orienter activement la manière dont les IA perçoivent et restituent vos contenus. C'est précisément ce que permet le fichier llms.txt, une convention légère mais prometteuse pour reprendre la main sur votre visibilité dans les réponses générées par les modèles de langage.

5.3 Ce que vous devez vérifier dès maintenant

Trois vérifications s'imposent sur tout site WordPress actif. Premièrement : votre fichier robots.txt contient-il une règle User-agent: * / Disallow: / héritée d'une ancienne configuration de développement ? Cette règle bloque absolument tous les robots, Googlebot inclus, et est parfois laissée en place par inadvertance après une mise en production. Deuxièmement : référencez-vous encore les user-agents dépréciés d'Anthropic (Claude-Web, Anthropic-AI) ? Ces directives sont désormais inefficaces. Troisièmement : avez-vous bloqué OAI-SearchBot par amalgame avec GPTBot, en copiant une directive générique trouvée sur un forum ? C'est l'erreur la plus fréquente, et elle vous retire des résultats de ChatGPT Search sans vous protéger de l'entraînement.

La visibilité dans les moteurs génératifs repose en partie sur ces signaux techniques, au même titre que les données structurées Schema.org, qui permettent aux IA de comprendre et de baliser votre contenu avec précision. Et pour mesurer concrètement si votre contenu apparaît dans les AI Overviews de Google, le rapport IA de la Search Console est désormais l'outil de référence.

6. La réalité du ratio crawl / citation : ce que les données Cloudflare révèlent

Les données Cloudflare de fin 2025 mettent en lumière un phénomène que peu d'éditeurs anticipent : pour certains crawlers IA, le ratio entre le nombre de pages crawlées et le nombre de visiteurs effectivement renvoyés vers le site source peut atteindre 73 000 pour 1. Autrement dit, 73 000 requêtes de crawl pour un seul clic généré. Ce que Cloudflare appelle le "crawl-to-click gap" illustre une réalité structurelle des moteurs génératifs : ils absorbent massivement, mais ne redistribuent que partiellement le trafic.

Cette asymétrie ne plaide pas nécessairement pour le blocage systématique. Elle pose en revanche une question de stratégie : si vous autorisez les bots de recherche temps réel, vous pariez sur la valeur de la citation (notoriété, autorité de marque, trafic résiduel) plutôt que sur un volume de clics direct. Si vous les bloquez, vous vous retirez de ces citations sans pour autant récupérer ce trafic inexistant. Pour la grande majorité des PME, la citation dans une réponse IA représente un signal de légitimité que l'absence de trafic immédiat ne doit pas faire sous-estimer — surtout dans un contexte où la recherche IA-first continue de s'imposer comme interface dominante, comme l'analysait notre article sur Google I/O 2026 et l'ère AI-first search.

Dans cette logique de légitimité par citation, la prochaine variable à intégrer n'est plus seulement la fréquence de crawl mais la façon dont les agents IA interprètent et structurent le contenu de votre site au moment même où ils le lisent. Les modèles ne se comportent pas comme Googlebot : ils contextualisent, hiérarchisent et extraient des informations selon une grammaire propre aux LLM, ce qui rend vos choix éditoriaux et techniques bien plus déterminants qu'un simple fichier robots.txt. C'est précisément l'enjeu que soulève la rupture WebMCP pour les sites WordPress, dont les implications concrètes méritent d'être anticipées avant l'été 2026.

Cette logique de citation s'articule d'ailleurs avec les leviers réels sur lesquels vous pouvez agir : qualité du contenu, autorité du domaine, structuration sémantique. Ce n'est pas en multipliant les fichiers de configuration déclaratifs que vous influerez sur la manière dont les moteurs et les LLM vous perçoivent. C'est précisément ce que révèle la prise de position officielle sur llms.txt, qui recentre le débat sur ce qui conditionne véritablement votre visibilité dans les réponses IA.

Les cinq entreprises qui concentrent 84,5 % de tout le trafic bots IA selon Cloudflare (Google, OpenAI, Meta, Anthropic, Microsoft) sont aussi celles dont les robots.txt officiels sont les mieux documentés et les plus fiables à respecter. Ce n'est pas un hasard : leur modèle économique dépend de la confiance des éditeurs web. En revanche, il existe de nombreux crawlers tiers, souvent peu documentés, que ni votre robots.txt ni aucun mécanisme simple ne vous protège vraiment — raison supplémentaire de ne pas surestimer le robots.txt comme outil de protection absolu.

Questions fréquentes

Un fichier robots.txt a-t-il force légale pour interdire l'entraînement IA sur mon contenu ?

Non. Le robots.txt est une convention technique volontaire, pas un mécanisme légal contraignant. Les acteurs sérieux comme OpenAI, Anthropic et Perplexity déclarent officiellement le respecter, mais rien n'oblige juridiquement un tiers à s'y conformer. Pour une protection plus robuste, certains éditeurs ajoutent des clauses spécifiques dans leurs conditions générales d'utilisation. Les deux approches sont complémentaires, pas substituables.

Si je bloque tous les bots IA aujourd'hui, puis-je revenir en arrière et récupérer une visibilité dans les réponses IA ?

Oui, mais pas instantanément. Dès que vous retirez une directive Disallow pour un bot de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot), le crawler reviendra recrawler votre site à son prochain passage — OpenAI et Perplexity indiquent que leurs systèmes s'adaptent en général sous 24 heures après une modification du robots.txt. Le recrawl complet du contenu prend ensuite quelques jours à quelques semaines selon la taille du site.

Le fichier robots.txt suffit-il à contrôler les agents IA autonomes (AI agents) qui naviguent pour le compte d'un utilisateur ?

Pas toujours de façon fiable. OpenAI précise dans sa documentation que ChatGPT-User, qui intervient lorsqu'un utilisateur demande explicitement à ChatGPT de visiter une URL, peut ne pas être régi par robots.txt de la même façon que les crawlers automatisés. Anthropic indique de son côté que le blocage par IP n'est pas fiable car ses bots utilisent des IP cloud publiques. En pratique, robots.txt reste l'outil le plus efficace disponible, mais il ne garantit pas un contrôle total sur tous les usages.

Mes anciens articles contenant des user-agents dépréciés d'Anthropic (Claude-Web, Anthropic-AI) sont-ils encore protégés ?

Non. Anthropic a officiellement déprécié les chaînes Claude-Web et Anthropic-AI : les directives robots.txt qui les référencent sont désormais sans effet. Pour que vos règles s'appliquent aux bots Anthropic actuels, vous devez les remplacer par les trois nouveaux identifiants officiels : ClaudeBot (entraînement), Claude-User (navigation utilisateur) et Claude-SearchBot (indexation recherche).

Conclusion

Votre fichier robots.txt est devenu en 2026 un document stratégique à part entière — non plus seulement pour Googlebot, mais pour toute l'écosystème des moteurs génératifs. La règle d'or reste simple : distinguer les bots d'entraînement (GPTBot, ClaudeBot, Google-Extended) que vous pouvez bloquer sans perdre de visibilité, des bots de recherche temps réel (OAI-SearchBot, Claude-SearchBot, PerplexityBot) que bloquer vous retire activement des citations IA. Vérifiez également que vos directives Anthropic utilisent bien les nouveaux identifiants officiels, et que votre robots.txt ne contient pas de règle générale bloquante héritée d'une ancienne configuration.

Un contenu bien configuré au niveau technique ne suffit toutefois pas : ce sont la régularité de publication et la profondeur thématique qui construisent la confiance que les moteurs IA accordent à vos sources. C'est précisément ce que font les fonctionnalités de Simply SEO — vérification factuelle incluse — pour que chaque article publié sur votre WordPress soit à la fois visible pour Google et citable par les moteurs génératifs. Voir les formules.