Bloquer GPTBot : entraînement ou recherche

GPTBot entraîne, OAI-SearchBot cherche, ChatGPT-User lit à la demande

OpenAI décrit ses robots dans sa documentation officielle, et chacun se règle séparément. GPTBot collecte des pages qui peuvent servir à entraîner ses modèles : l'interdire indique que votre contenu ne doit pas y servir. OAI-SearchBot trouve les pages que ChatGPT affiche dans ses résultats de recherche. Un site qui l'interdit n'apparaît plus dans ces réponses, sauf comme simple lien de navigation, et OpenAI prévient qu'une modification du fichier met environ 24 heures à être prise en compte.

ChatGPT-User est à part. Il visite une page quand un utilisateur de ChatGPT pose une question, et OpenAI écrit que, l'action venant d'un utilisateur, les règles de robots.txt peuvent ne pas s'appliquer. Ce robot ne sert pas à décider si une page apparaît dans la recherche.

Les autres sociétés suivent le même découpage, décrit sur leurs propres sites. Anthropic distingue, dans sa page sur ses robots, ClaudeBot, qui collecte pour l'entraînement, Claude-SearchBot, pour sa recherche, et Claude-User, qui lit une page à la demande d'un utilisateur. Perplexity indique dans sa documentation que PerplexityBot sert à ses résultats de recherche et non à entraîner des modèles, et que Perplexity-User, déclenché par un utilisateur, ignore en général robots.txt. CCBot est le robot de Common Crawl, une fondation qui met ses archives du web à la disposition de tous, entraînement de modèles compris.

Deux noms ne désignent pas des robots. Google-Extended n'a pas de signature propre : Google explore avec ses robots habituels, et ce nom, dans robots.txt, décide seulement si le contenu exploré peut entraîner ses futurs modèles Gemini et ancrer leurs réponses dans les applications Gemini. Sa liste des robots d'exploration précise que ce réglage n'a aucune incidence sur la présence d'un site dans la recherche Google. Apple écrit la même chose d'Applebot-Extended dans sa page sur Applebot : ce nom n'explore rien, il décide de l'usage des pages pour ses modèles, et une page qui le refuse peut rester dans ses résultats de recherche.

Les Aperçus IA et le mode IA de Google font partie de sa recherche. Pour y figurer comme lien, une page doit être indexée et pouvoir s'afficher avec un extrait. Pour limiter ce que Google en reprend, sa page sur les fonctionnalités d'IA renvoie aux consignes de la recherche elle-même, pas à Google-Extended.

Refuser l'entraînement sans quitter la recherche

Les trois rôles ne se décident pas de la même façon, parce qu'ils ne vous coûtent pas la même chose :

• Interdire les robots d'entraînement (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended) demande que vos pages ne servent plus aux prochains entraînements. Anthropic précise que la demande porte sur les contenus à venir. Votre présence dans les réponses de recherche ne change pas, tant que les robots de recherche restent autorisés.
• Interdire les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) réduit votre présence dans les résultats de ces assistants. Chez OpenAI, un site qui refuse OAI-SearchBot n'y est plus montré.
• Les robots qui lisent à la demande (ChatGPT-User, Claude-User, Perplexity-User) ne se règlent pas tous par robots.txt : OpenAI et Perplexity écrivent que la consigne peut ne pas s'appliquer à ces visites, puisqu'un utilisateur les déclenche, quand Anthropic indique que ses robots la respectent. Les bloquer empêche un assistant de lire votre page au moment où quelqu'un la lui demande.

Dans tous les cas, robots.txt est une consigne publique. Un robot qui ne la respecte pas n'est pas arrêté par elle : l'arrêter relève du serveur, du pare-feu ou de l'hébergeur.

Un éditeur dont le texte est le produit, un média ou une documentation payante, n'a pas les mêmes raisons qu'une entreprise dont le site sert à se faire connaître. Le premier peut vouloir refuser l'entraînement. La seconde a peu à gagner à refuser la recherche.

Nommer un robot, c'est le sortir du groupe « * »

Un fichier robots.txt regroupe ses règles par robot. Quand un robot trouve un groupe à son nom, il applique ce groupe et lui seul : les règles du groupe « * », celui qui vaut pour tous les robots, ne s'y ajoutent pas. Google l'écrit dans sa lecture de la norme : un seul groupe s'applique à un robot donné.

La règle joue dans les deux sens. Nommer GPTBot pour l'autoriser, ou pour lui donner une règle particulière, le libère de toutes les interdictions écrites pour « * » : un dossier privé, une copie de travail, des fichiers à ne pas explorer. À l'inverse, un fichier qui ferme tout le site à « * » laisse entrer chaque robot qu'un autre groupe autorise nommément.

Rien ne signale ces erreurs : le fichier a l'air juste, et chaque ligne est bien écrite. Le guide sur ce que robots.txt interdit vraiment détaille les autres lignes qu'un robot ignore sans le dire.

Ce site en paie lui-même le prix. Son robots.txt ouvre tout le site à tous les robots, puis nomme neuf robots d'IA, chacun dans son propre groupe, pour les autoriser explicitement : GPTBot, OAI-SearchBot et ChatGPT-User pour OpenAI, ClaudeBot et Claude-User pour Anthropic, PerplexityBot, Google-Extended, Applebot-Extended et CCBot.

Le groupe « * » les autorisait déjà. Les nommer n'ouvre rien de plus : cela rend le choix lisible pour quiconque ouvre le fichier, y compris les sociétés concernées. La raison tient à ce que nous vendons. L'audit mesure ce qu'un assistant d'IA peut lire d'un site, et fermer le nôtre à ces assistants contredirait ce que nous examinons chez les autres.

Le fichier fait une seule exception : les rapports d'exemple publiés en PDF, faits pour être lus depuis la page qui les présente. Écrite dans le seul groupe « * », cette interdiction n'aurait valu que pour les robots sans groupe propre, et les neuf robots nommés auraient pu lire ces fichiers. Chaque groupe la porte donc, soit dix fois la même ligne.

Le fichier ne nomme pas tous les robots d'IA qui existent. Ceux qu'il ne nomme pas, Claude-SearchBot ou Amazonbot par exemple, suivent le groupe « * », qui leur ouvre le site de la même façon.

Trancher rôle par rôle, puis faire vérifier

Ces décisions se prennent sans écrire une ligne du fichier, et dans cet ordre :

1. Décidez pour l'entraînement d'un côté, pour la recherche de l'autre. La question à vous poser : votre texte est-il ce que vous vendez, ou sert-il à faire connaître votre entreprise ?
2. Demandez par écrit à la personne qui gère le site ce que votre robots.txt dit aujourd'hui à chaque robot d'IA. Une extension de référencement, un thème ou la plateforme qui héberge le site peut l'avoir écrit sans que personne ne l'ait décidé.
3. Demandez aussi si un réglage du pare-feu ou du réseau de diffusion bloque des robots d'IA, quoi que dise robots.txt. Plusieurs de ces services proposent ce blocage en un seul réglage, qui a pu être activé sans vous.
4. Si le fichier nomme des robots, exigez que chaque interdiction prévue pour tous soit aussi écrite dans leurs groupes.
5. Pour fermer vraiment un espace, n'attendez rien de robots.txt : un espace réservé se protège par un mot de passe.
6. Faites relire le fichier après chaque refonte, changement d'extension ou d'hébergeur, et revoyez la liste des robots une fois par an : les sociétés d'IA en ajoutent.

Un fichier llms.txt, qui résume le site pour les modèles de langage, ne règle aucun accès. Le guide sur le fichier llms.txt dit qui le lit et ce qu'il change.

Ce qui rend une page compréhensible et attribuable par un assistant, une fois qu'il y a accès, est l'objet du guide sur le référencement dans les moteurs d'IA.

Le fichier dit oui, le serveur répond 403

L'audit lit votre robots.txt au début du parcours, dans un navigateur, et applique la règle des groupes : pour chaque robot d'IA connu, il lit le groupe à son nom s'il existe, celui de « * » sinon. Une dizaine de robots sont ainsi passés en revue, de GPTBot et ClaudeBot à Google-Extended, CCBot ou Bytespider, et le rapport dit lesquels sont interdits sur tout le site. Ce relevé n'entre pas dans la note : bloquer et autoriser sont deux choix défendables. Le rapport ne signale qu'un blocage qui contredit un objectif affiché, et relève à part un blocage du robot de Bing, sur lequel s'appuie Copilot, l'assistant de Microsoft.

L'audit regarde ensuite ce que le serveur répond à ces robots. Sur quelques pages de chaque type, il demande la page sous le nom de GPTBot, de ClaudeBot et de PerplexityBot, et la compare à ce que reçoivent un navigateur et Googlebot. Une page dont le moteur reçoit le contenu et ces robots une coquille vide, ou un refus, est relevée, même quand robots.txt les autorise. Ce constat est publié sans entrer dans la note.

Le rapport publié d'une place de marché d'articles de sport montre pourquoi les deux lectures comptent. Son robots.txt n'interdit qu'un robot, CCBot, celui de Common Crawl ; GPTBot, ClaudeBot et PerplexityBot y sont autorisés. Le serveur répond pourtant 403, en 118 octets, à toute requête qui s'annonce comme un robot, Googlebot et Bingbot compris, sur chacune des 24 pages interrogées. Au même instant, il répond normalement à un navigateur : le filtrage porte sur le nom que la requête annonce.

Le rapport écrit la limite de cette mesure. Elle part d'une adresse qui n'est pas celle des moteurs, et ne dit pas si les robots authentiques, venus de leurs propres adresses, sont servis ; la présence du site dans les résultats de Google indique qu'ils le sont. Elle suffit pourtant à poser la question à l'hébergeur : le fichier autorise des robots que le serveur refuse dès qu'ils se nomment.

Dans celui d'un site vitrine B2B, le relevé tient en deux constats : aucun robot conversationnel n'est bloqué par robots.txt, et le texte des pages est servi par le serveur, lisible sans script.

Ce que chaque société fait ensuite de vos pages, et si son robot respecte la consigne, se lit dans les journaux de votre serveur, pas depuis l'extérieur. L'audit dit ce que votre site déclare et ce qu'il sert à chaque robot.