Robots.txt et bots IA : la liste complète à jour 2026

Pourquoi votre robots.txt décide-t-il de votre présence dans les réponses IA ?

Votre robots.txt est le premier endroit qu'un bot IA consulte avant de décider s'il lit, indexe ou cite votre site. Depuis la plainte du New York Times contre OpenAI déposée le 27 décembre 2023 (couverture CNBC), les grands éditeurs de modèles déclarent respecter ce fichier et publient leurs user-agents pour que vous puissiez les nommer.

Sources : Cloudflare Radar Year in Review 2025 et analyse du crawl IA par finalité. L'essentiel du crawl IA sert à entraîner, la part qui vous rapporte des citations reste minoritaire, et c'est elle qui grossit le plus vite.

Ce que votre robots.txt ne pilote pas

Le fichier gouverne l'accès au contenu, pas son usage après lecture. Un bot autorisé peut télécharger une page et l'utiliser pour l'entraînement, la recherche, ou les deux, sans que le fichier n'ait rien à en dire. C'est la limite structurelle du protocole, formalisée dans la RFC 9309 : un Disallow interdit la requête, il n'exprime aucune licence.

Beaucoup de dirigeants croient avoir bloqué l'entraînement en ajoutant trois lignes, alors qu'ils ont surtout coupé leur propre visibilité. Les signaux d'usage (Content-Signal, balises meta Bing) sont un autre outil, détaillé plus bas. L'article sur le GEO en 2026 pose le cadre général.

Par quoi commencer avant d'écrire une seule ligne

Ouvrez vos logs d'accès avant de décider quoi que ce soit. Sur un site vitrine de 40 pages, le crawl IA représente quelques centaines de hits par mois. Sur un catalogue e-commerce de 20 000 URLs, cela devient un poste de charge serveur mesurable. Un robots.txt écrit à l'aveugle règle un problème que vous n'avez peut-être pas, et en crée un que vous ne verrez que six mois plus tard, quand ChatGPT cessera de vous citer.

Les trois familles de bots IA à ne jamais confondre

Avant de copier une liste de user-agents, comprenez qu'un bot IA n'est pas l'autre. Bloquer le mauvais agent coûte de la visibilité sans rien protéger. Trois familles cohabitent, avec des objectifs opposés.

La logique tient en une phrase : arbitrez la famille 1, autorisez toujours la famille 2, acceptez que la famille 3 vous échappe. La documentation de Perplexity est nette : PerplexityBot « n'est pas utilisé pour crawler du contenu destiné aux modèles de fondation ». Le refuser ne protège rien, il vous efface. Pour les leviers qui font citer un site, voir notre guide pour apparaître dans ChatGPT Search.

Bloquer un crawler d'entraînement coûte-t-il vraiment zéro visibilité ?

En théorie non, en pratique le doute mérite d'être posé. La documentation bots d'OpenAI sépare GPTBot (entraînement) de OAI-SearchBot (index de recherche), et rien n'indique que refuser le premier ferme le second.

Une mesure indépendante nuance ce confort. En juillet 2026, l'étude de cloro.dev sur 1 058 domaines rapporte que le domaine médian qui bloque GPTBot obtient 0,003 citation ChatGPT par position organique Google détenue, contre 0,417 pour ceux qui le laissent passer. L'étude porte sur une fenêtre de deux jours et reste corrélationnelle : les sites qui bloquent tout verrouillent souvent aussi leur contenu derrière un paywall. Mais l'écart est trop large pour être balayé.

Notre lecture : bloquer l'entraînement se défend pour un média ou un éditeur de contenu payant. Pour une PME dont l'enjeu est d'être trouvée, c'est un pari coûteux, comme le montre notre article sur ce qu'un site rapporte réellement à une PME.

Les bots d'action utilisateur vous échappent, et c'est normal

Un bot déclenché par un humain n'obéit pas au robots.txt, par conception documentée. OpenAI l'écrit pour ChatGPT-User : « Because these actions are initiated by a user, robots.txt rules may not apply. » Perplexity dit la même chose de Perplexity-User, Meta de meta-externalfetcher.

Si un prospect colle l'URL de votre page tarifs dans ChatGPT, la page sera lue quel que soit votre fichier. Cette famille a explosé en 2025, portée par ChatGPT-User qui pèse près des trois quarts du trafic d'action utilisateur mesuré par Cloudflare en juillet 2025. La partie du crawl IA que vous ne contrôlez pas est donc celle qui grossit le plus vite. Raison de plus pour soigner la vitesse de rendu de vos pages : un fetch à la demande n'attend pas.

Quels sont les user-agents des bots IA en 2026 ?

Voici les tokens officiels, relevés un par un dans la documentation de chaque éditeur en juillet 2026. Un token mal orthographié ne déclenche aucune erreur : le fichier reste valide et la règle ne s'applique à personne.

Sources : bots OpenAI, crawler Anthropic, bots Perplexity, crawlers communs Google, web crawlers Meta, CCBot, Amazonbot.

Comment vérifier qu'un user-agent est réel avant de le coller

Trois contrôles, cinq minutes, et vous ne collez plus jamais un token fantôme. Le premier : le token figure dans la documentation de l'éditeur lui-même, pas dans un article qui en recopie un autre. Le deuxième : l'éditeur publie une liste d'IP en JSON. OpenAI expose openai.com/gptbot.json, openai.com/searchbot.json et openai.com/chatgpt-user.json, Anthropic claude.com/crawling/bots.json, Perplexity perplexity.com/perplexitybot.json, Common Crawl index.commoncrawl.org/ccbot.json. Un bot sans liste d'IP publiée ne pourra jamais être authentifié. Le troisième : cherchez le token dans vos propres logs. S'il n'apparaît jamais, soit le bot ne vous visite pas, soit vous avez recopié un nom qui n'existe pas.

Les tokens hérités que l'on croise à tort

Certains noms encore très partagés ne figurent plus dans aucune documentation officielle. anthropic-ai et Claude-Web étaient les tokens historiques d'Anthropic : la page support d'Anthropic ne documente plus que ClaudeBot, Claude-User et Claude-SearchBot. cohere-ai et Omgilibot sont de la même génération. Les garder ne coûte que quelques octets. Ce qui coûte, c'est de croire qu'ils vous protègent des bots actuels.

Comment bloquer Google-Extended et Applebot-Extended sans casser votre SEO ?

Google-Extended n'est pas un crawler qui visite votre site : c'est un jeton de contrôle qui dit à Google de ne pas utiliser votre contenu pour entraîner Gemini. Le crawler reste Googlebot, et refuser Google-Extended n'a aucun effet sur votre indexation ni votre classement.

C'est le seul réglage du lot dont le rapport bénéfice sur risque est franchement positif : vous sortez des datasets d'entraînement sans rien concéder côté recherche.

Applebot-Extended et le changement de juin 2026

Apple a reformulé sa documentation Applebot le 8 juin 2026 pour dire explicitement que les données crawlées peuvent entraîner ses modèles de fondation. Jusque-là, la page insistait sur l'indexation pour Siri et Spotlight. Le mécanisme d'opt-out n'a pas changé : Applebot-Extended est un agent secondaire qui ne crawle rien, il détermine seulement l'usage autorisé des données déjà collectées par Applebot.

Deux conséquences. Autoriser Applebot n'autorise pas Applebot-Extended : les deux se déclarent séparément, sans héritage. Et le refuser ne retire pas vos pages des résultats Spotlight, Siri ou Safari. Référence : la page About Applebot.

Le cas Microsoft : aucun token dédié, mais des balises meta

Il n'existe pas de crawler Copilot distinct : Bingbot sert à la fois l'index Bing et le grounding de Copilot. Vous ne pouvez donc pas bloquer l'IA de Microsoft par user-agent sans sortir aussi de Bing, et donc de ChatGPT Search qui s'appuie sur cet index. Microsoft passe par des balises meta au niveau de la page, documentées dans son annonce sur le contrôle du contenu dans Bing Chat :

Si les deux balises sont présentes, Microsoft applique NOCACHE. Cette granularité par URL est précieuse sur un site mixte : une base documentaire publique reste ouverte pendant qu'une bibliothèque de contenus premium passe en NOARCHIVE. Ce type d'arbitrage se cadre en amont d'une refonte, avec le conseil et la stratégie, plutôt qu'après coup.

Comment écrire un robots.txt que les bots lisent vraiment ?

La syntaxe du fichier a des règles de priorité contre-intuitives, et c'est là que se perdent la moitié des politiques bots IA. Il doit être servi en texte brut à la racine exacte du domaine, protocole et port compris. Placé dans un sous-répertoire, il n'est jamais lu.

Un bot ne lit qu'un seul groupe, jamais deux

Un crawler sélectionne le groupe dont le user-agent lui correspond le plus précisément, et ignore tous les autres, y compris le groupe *. C'est la règle la plus mal comprise du protocole, documentée par Google : les groupes ne se cumulent jamais.

Conséquence directe : si vous écrivez Disallow: /admin/ sous User-agent: *, puis ajoutez plus bas un bloc User-agent: GPTBot avec Allow: /, alors GPTBot a le droit d'aller dans /admin/. Il n'a jamais lu le groupe générique. Toute directive destinée à un bot nommé doit être répétée dans son propre groupe.

Allow ou Disallow : quelle règle gagne ?

La règle dont le chemin est le plus long l'emporte, et à longueur égale, c'est la moins restrictive. Disallow: /blog/ et Allow: /blog/guide-geo cohabitent sans conflit : la seconde est plus longue, donc la page reste accessible malgré le blocage du répertoire.

Cela permet des politiques chirurgicales : un site marchand ferme ses URLs à facettes aux crawlers d'entraînement tout en gardant ses fiches produit ouvertes aux crawlers de recherche, sujet abordé sous l'angle budgétaire dans notre article sur le coût d'un Shopify sur mesure. Deux limites : Google ignore tout ce qui dépasse 500 kibioctets, et les noms de user-agent sont insensibles à la casse alors que les chemins ne le sont pas.

Les erreurs qui rendent le fichier inopérant

La dernière ligne mérite un mot : lister vos répertoires sensibles dans un robots.txt public revient à publier la carte de ce que vous voulez cacher, scanners de vulnérabilités compris.

Le robots.txt prêt à coller pour 2026

Voici une politique défendable par défaut : rester indexé partout, apparaître dans les réponses IA, refuser l'entraînement. Adaptez les Disallow à votre arborescence et remplacez le domaine du sitemap.

# robots.txt : politique IA 2026
# Objectif : rester indexé (Google, Bing), apparaître dans les
# réponses IA (ChatGPT Search, Perplexity), refuser l'entraînement.

User-agent: *
Allow: /
Disallow: /api/

# --- Recherche IA : on autorise (visibilité GEO) ---
User-agent: OAI-SearchBot
Allow: /
Disallow: /api/

User-agent: PerplexityBot
Allow: /
Disallow: /api/

User-agent: Claude-SearchBot
Allow: /
Disallow: /api/

# --- Action utilisateur : on autorise explicitement ---
User-agent: ChatGPT-User
Allow: /
Disallow: /api/

User-agent: Claude-User
Allow: /
Disallow: /api/

# --- Entraînement : on refuse ---
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

# --- Opt-out entraînement Google / Apple (sans impact SEO) ---
User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Sitemap: https://votre-domaine.com/sitemap.xml

La répétition de Disallow: /api/ dans chaque groupe autorisé n'est pas de la verbosité : c'est la conséquence directe de la règle du groupe unique.

Quelle variante pour quel type de site ?

Le critère de tri est simple : votre contenu est-il le produit, ou le moyen d'être trouvé ? Pour une PME de services, un cabinet ou un artisan, il est un moyen. La visibilité vaut plus que la protection : autorisez tout sauf Bytespider et les agents sans documentation, et gardez Google-Extended en refus puisqu'il est gratuit. C'est le réglage par défaut sur nos projets de création de site pour PME et sur les sites de coachs et consultants.

Pour un cabinet d'avocats, un média ou un formateur qui vit de sa production écrite, le calcul s'inverse : refuser les crawlers d'entraînement se défend, tant que les crawlers de recherche restent ouverts. Voir les contraintes propres aux sites d'avocats et aux photographes, dont les visuels posent une question distincte du texte. Pour un SaaS, l'essentiel se joue dans la séparation entre site public et application authentifiée, sujet traité côté expertise SaaS.

Faut-il ajouter un fichier llms.txt ?

Posez-le si vous voulez, mais n'en attendez rien. Ahrefs a analysé les logs des fichiers llms.txt en mai 2026 : 97 % d'entre eux n'ont reçu aucune requête, et sur ceux qui en reçoivent, les bots de récupération IA ne pèsent que 1 % du trafic, derrière les outils d'audit SEO (Search Engine Journal, juin 2026).

Le robots.txt est lu par tous les crawlers documentés ici, llms.txt est un standard proposé que quasiment personne ne consomme. Trente minutes de mise en place, aucune priorité de roadmap. Le raisonnement complet est dans notre guide SEO et GEO 2026.

Sur le site Odyssée, nous avons fait un choix différent du fichier type ci-dessus : nous n'interdisons aucun bot documenté, et nous exprimons le refus d'entraînement par un signal d'usage plutôt que par un blocage. La politique est lisible sur odyssee-agency.com/robots.txt sous la forme Content-Signal: search=yes, ai-train=no, ai-input=yes. Nous assumons qu'un tel refus repose sur une déclaration, pas sur un mur. Notre service SEO et GEO cadre cette politique en même temps que le reste de l'audit, et la page tarifs donne l'ordre de grandeur budgétaire.

Comment vérifier dans vos logs qu'un bot respecte votre directive ?

Une directive non vérifiée est une hypothèse. Vous saurez si votre robots.txt fonctionne en regardant qui frappe encore à la porte après l'avoir écrit. La vérification se fait sur les logs d'accès du serveur, jamais dans Google Analytics, qui ne voit aucun bot. C'est aussi le premier relevé de notre audit.

Isoler le trafic bot IA dans vos logs

Filtrez le champ user-agent sur les tokens de la liste, puis comptez par jour. Sur Nginx ou Apache, une ligne de commande suffit.

grep -Eio 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot|Bytespider|CCBot' \
  /var/log/nginx/access.log \
  | sort | uniq -c | sort -rn

Prenez la mesure avant modification, attendez deux à quatre semaines, reprenez-la. Un crawler d'entraînement qui respecte votre Disallow retombe à zéro sur cette période. S'il continue au même rythme, deux hypothèses : votre fichier ne dit pas ce que vous croyez, ou le bot n'en tient pas compte. Les mutualisés sans accès aux logs bruts sont un handicap réel ici, et une raison de plus de préférer un hébergement maîtrisé.

Vérifier l'identité du bot par IP et DNS inverse

Le champ user-agent est déclaratif : n'importe qui peut écrire GPTBot dans un en-tête HTTP. Avant de conclure qu'un éditeur ignore vos directives, vérifiez que le trafic vient bien de lui.

La méthode par liste d'IP compare l'adresse source aux plages publiées plus haut. C'est la seule voie pour OpenAI, Anthropic et Perplexity, qui ne fournissent pas de DNS inverse. La seconde est celle que Google documente pour vérifier ses crawlers : résolution inverse de l'IP, contrôle que le nom se termine par googlebot.com, google.com ou googleusercontent.com, puis résolution directe de ce nom pour vérifier qu'elle retombe sur l'IP de départ. Common Crawl applique le même principe avec crawl.commoncrawl.org. Sans ce double contrôle, une résolution inverse se falsifie.

Que faire d'un bot qui passe outre

Le robots.txt n'a aucun moyen de contrainte : la suite se joue au niveau réseau. Trois niveaux, du plus léger au plus lourd : limitation de débit par IP, challenge au CDN, blocage au pare-feu applicatif. Attention à l'effet de bord : une règle trop large bloque aussi les crawlers de recherche et vous coûte la visibilité que vous cherchiez à préserver. Ce réglage se surveille dans la durée, avec une maintenance continue, plutôt qu'en configuration ponctuelle oubliée six mois plus tard.

Pourquoi robots.txt ne suffit pas : le cas Perplexity

Le robots.txt est déclaratif, pas un mur technique : il exprime une préférence que rien n'oblige un bot à respecter. L'affaire la plus documentée est celle de Perplexity. En août 2025, Cloudflare a publié des preuves que le moteur basculait sur des crawlers furtifs non déclarés pour contourner les directives no-crawl, en imitant un navigateur Chrome sur macOS et en faisant tourner ses IP. Conséquence : Cloudflare a retiré Perplexity de sa liste de bots vérifiés. Perplexity conteste, mais le signal est clair.

Le déséquilibre entre ce qui est pris et ce qui est rendu

Le rapport entre pages crawlées et visiteurs renvoyés varie de un à plusieurs dizaines de milliers selon l'acteur. Sur la semaine du 19 au 26 juin 2025, Cloudflare Radar mesurait chez Anthropic près de 71 000 requêtes de pages HTML pour un seul renvoi de visiteur, quand Mistral renvoyait dix fois plus de visiteurs qu'il ne faisait de requêtes.

Cloudflare précise une limite de sa propre mesure : le trafic renvoyé par l'application native de Claude ne transmet pas d'en-tête Referer, ce qui sous-estime les renvois et exagère le déséquilibre. Détail méthodologique dans l'article Radar sur le ratio crawl et renvoi. Ces chiffres donnent un ordre de grandeur, pas des constantes.

La couche suivante : signaux d'usage et signature cryptographique

Deux standards prennent le relais là où le robots.txt s'arrête. Le premier est le Content Signals Policy publié par Cloudflare le 24 septembre 2025 : trois signaux d'usage explicites dans le fichier, search pour l'indexation et les extraits, ai-input pour l'injection de contenu dans un modèle en temps réel, ai-train pour l'entraînement. Il ne bloque rien, il documente une intention en des termes juridiquement lisibles.

Le second est le Web Bot Auth, décrit dans l'article de Cloudflare sur les agents signés : le bot signe cryptographiquement ses requêtes HTTP, publie sa clé publique, et le serveur vérifie la signature. Là où l'IP et le user-agent s'usurpent, une signature ne se falsifie pas.

Une fois la porte ouverte aux bons crawlers, la question devient celle de ce qu'ils trouvent : un site rapide, balisé, avec un auteur identifié, est cité bien plus souvent qu'un site simplement accessible. C'est ce que détaille notre article sur le schema markup pour les AI Overviews, et la fiche MyBestCoaching montre le résultat sur un projet livré.