Les erreurs techniques qui empêchent les IA d'explorer et de citer votre site

Si votre site n'apparaît jamais dans les réponses de ChatGPT, Perplexity ou des aperçus IA de Google, le problème vient rarement de votre plume. Dans la majorité des audits que nous menons, la cause est technique : un fichier robots.txt trop restrictif, un pare-feu qui renvoie une erreur 403 aux agents IA, ou un contenu qui n'existe qu'après exécution du JavaScript. Voici les blocages les plus fréquents, dans l'ordre où il faut les vérifier.

Comprendre par où passent les IA avant de corriger quoi que ce soit

Les modèles génératifs atteignent votre contenu par deux chemins distincts, et les confondre conduit à corriger le mauvais problème.

• Le chemin indirect : l'assistant s'appuie sur un index de recherche existant (Google, Bing). Votre référencement classique reste alors déterminant.
• Le chemin direct : un robot dédié va chercher la page en temps réel ou pour alimenter un index propriétaire. On parle ici d'agents comme GPTBot et OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, ou Google-Extended côté Google. La liste évolue vite : la référence reste la documentation officielle des éditeurs, par exemple celle d'OpenAI sur ses robots et celle de Google sur ses crawlers. Ces pages font foi ; toute liste recopiée ailleurs vieillit en quelques mois.

Conclusion pratique : bloquer un agent IA n'a aucun effet sur votre positionnement Google, mais vous exclut des réponses génératives. Et inversement.

Erreur 1 : un robots.txt qui interdit sans le vouloir

C'est le cas le plus courant, et le plus facile à corriger. Beaucoup de sites ont hérité d'un Disallow global sur un agent IA, ajouté au moment d'une campagne de presse sur l'entraînement des modèles, puis oublié. D'autres bloquent des répertoires entiers (/blog/assets/, /wp-content/) qui contiennent le CSS ou les images nécessaires à la compréhension de la page.

À vérifier : ouvrez votresite.fr/robots.txt et cherchez chaque agent nommément. Attention, une règle User-agent: * suivie d'un Disallow: / sur un environnement de préproduction migré en production reste une catastrophe classique. Vérifiez aussi que le fichier renvoie bien un code 200 et non une page d'erreur personnalisée.

Décision à prendre en amont, pas en aval : voulez-vous autoriser l'entraînement (GPTBot, Google-Extended) tout en autorisant la citation en temps réel (OAI-SearchBot, ChatGPT-User) ? Les deux se pilotent séparément. Refuser l'entraînement est légitime ; refuser la recherche revient à disparaître des réponses.

Erreur 2 : le pare-feu et la protection anti-bots

Votre robots.txt peut être parfait pendant que votre WAF renvoie un 403 ou un défi JavaScript à tout agent non reconnu. Les protections anti-bots des CDN, les règles de limitation de débit, les blocages par pays et les murs de consentement agressifs produisent le même résultat : l'IA reçoit une page vide, un captcha ou une erreur, et passe à la source suivante.

Le test tient en une commande : interrogez vos URL importantes en simulant les user-agents des principaux robots IA et comparez le code HTTP et le poids de la réponse avec ceux obtenus depuis un navigateur. Un écart de contenu signifie que vous servez une version dégradée. Dans les tableaux de bord de votre CDN, la plupart des éditeurs proposent désormais des règles dédiées aux robots IA : vérifiez qu'elles ne sont pas actives par défaut.

Erreur 3 : du contenu qui n'apparaît qu'après exécution du JavaScript

Les moteurs de recherche classiques savent rendre le JavaScript, avec un délai. Les agents IA, eux, se contentent le plus souvent du HTML brut renvoyé par le serveur. Une application monopage dont le texte est injecté côté client leur apparaît comme une coquille vide.

Le diagnostic ne coûte rien : affichez le code source de la page (et non l'inspecteur du navigateur, qui montre le DOM après exécution). Si vos titres, vos paragraphes et vos réponses ne s'y trouvent pas, aucune IA ne pourra les citer. Même logique pour les contenus repliés dans des accordéons chargés à la demande, les commentaires en iframe, les images en lazy loading sans <noscript> et les textes chargés au défilement. Le rendu côté serveur ou la génération statique règlent le problème une fois pour toutes.

Erreur 4 : des balises qui interdisent explicitement la citation

Une page peut être parfaitement accessible et rester incitable. Trois directives, souvent posées par un plugin ou un thème, produisent cet effet :

• nosnippet : interdit tout extrait, donc toute reprise de votre texte.
• max-snippet:0 : limite l'extrait à zéro caractère. Préférez max-snippet:-1 si vous voulez être repris.
• data-nosnippet posé sur un bloc, parfois appliqué par erreur à un conteneur entier.

Pensez aussi à l'en-tête HTTP X-Robots-Tag, invisible dans le HTML mais prioritaire, et aux règles noindex laissées sur des catégories entières après une refonte.

Erreur 5 : une architecture qui brouille les signaux

Les correctifs les moins spectaculaires sont souvent les plus rentables :

• Chaînes de redirections : plus de deux sauts et beaucoup d'agents abandonnent.
• Canonical incohérente : une page qui se déclare canonique vers une autre URL délègue sa citation à cette dernière.
• Sitemap obsolète : URL en 404, dates de modification jamais mises à jour, absence de déclaration dans le robots.txt.
• Codes HTTP fantaisistes : pages d'erreur renvoyant un 200, contenus utiles en 410.
• Hreflang cassés : l'IA cite alors la version linguistique qui ne correspond pas à la question posée.

Erreur 6 : lenteur, instabilité et contenu non extractible

Un serveur qui met plusieurs secondes à répondre voit son budget d'exploration fondre. Sur les gros sites, les robots priorisent les pages rapides et stables : soignez le temps de réponse serveur, la mise en cache et la disponibilité.

Enfin, vérifiez que votre information est réellement lisible. Un chiffre clé enfermé dans une image, une grille tarifaire en PDF scanné, un tableau construit en <div> sans structure : tout cela existe pour l'œil humain et disparaît pour la machine. Un tableau HTML propre, des titres hiérarchisés et des données structurées (Article, FAQPage, Organization) rendent votre contenu extractible et attribuable.

Une checklist de diagnostic en trente minutes

• Ouvrir le robots.txt et lister chaque agent IA autorisé ou bloqué.
• Interroger cinq URL stratégiques avec les user-agents des principaux robots et comparer les codes HTTP.
• Afficher le code source : le texte principal est-il présent sans JavaScript ?
• Chercher nosnippet, max-snippet, noindex dans le HTML et dans les en-têtes.
• Contrôler le sitemap, les canonical et les redirections des pages piliers.
• Consulter les journaux serveur pour voir quels agents IA passent réellement, et à quelle fréquence.

Les journaux serveur sont d'ailleurs le seul juge de paix : ils montrent qui vient, sur quelles URL, et avec quelle réponse. Tant que vous ne les avez pas lus, vous faites des hypothèses.

FAQ

Bloquer GPTBot fait-il baisser mon référencement Google ?

Non. GPTBot est un agent d'OpenAI, sans lien avec l'exploration de Google. En revanche, bloquer les agents de recherche d'OpenAI vous prive des citations dans les réponses de ChatGPT. Les deux décisions sont indépendantes et doivent être prises séparément.

Le fichier llms.txt est-il indispensable ?

C'est une proposition de la communauté, pas un standard reconnu par les moteurs. Il ne remplace ni un robots.txt correct, ni un sitemap à jour, ni du HTML lisible. Vous pouvez l'ajouter, mais ne comptez pas dessus pour compenser un blocage technique.

Comment savoir si une IA a réellement lu ma page ?

En filtrant vos journaux serveur sur les user-agents des robots IA. Vous y verrez les URL visitées, la date et le code de réponse. Un 403 ou un 429 récurrent signale un blocage côté pare-feu ou limitation de débit.

Mon site est en React, dois-je tout refaire ?

Pas nécessairement. Activer le rendu côté serveur ou la prégénération sur les pages de contenu (articles, fiches, pages de service) suffit dans la plupart des cas. L'interface applicative, elle, peut rester côté client.

Faut-il un mur de consentement moins strict ?

Le bandeau doit rester conforme, mais il ne doit pas conditionner l'affichage du contenu principal dans le HTML servi. Si le texte n'est envoyé qu'après acceptation, aucun robot ne le verra.