Que reçoivent vraiment les crawlers IA sur votre site ? Un script de 66 lignes

Publié le

Réponse courte

Demandez votre page comme un navigateur, puis comme chaque crawler IA, et comparez. Un 403, un 429 ou une page de défi uniquement pour le crawler, ou un 200 nettement plus léger que la page du navigateur, signifie que le pare-feu le refuse même si robots.txt l'autorise. Un script Node de 66 lignes le fait pour sept crawlers et lit robots.txt selon les règles de la RFC 9309.

robots.txt indique à un crawler ce qu'il peut récupérer. Il ne dit rien de ce que votre pare-feu ou votre CDN renvoie réellement. Cet article propose un court script qui montre les deux côte à côte, pour voir où ils divergent.

Sur cette page
  1. Pourquoi robots.txt ne dit-il pas ce que reçoit un crawler ?
  2. Le script
  3. Comment l'exécuter ?
  4. À quoi ressemble le résultat ?
  5. Comment lire le tableau ?
  6. Que ne peut pas vous dire le script ?
  7. Que constate-t-on sur de vrais sites ?

Pourquoi robots.txt ne dit-il pas ce que reçoit un crawler ?

robots.txt est une demande. C'est un pare-feu, un CDN ou une règle de protection contre les bots qui décide de ce qui est réellement renvoyé, et il peut répondre à OAI-SearchBot ou PerplexityBot par un 403, un 429 ou une page « Just a moment... » alors que vos propres visites dans le navigateur semblent parfaitement normales.

Le test consiste à demander la même URL comme un navigateur puis comme le crawler, et à comparer. Un 403, 429 ou 503 uniquement pour le crawler, une page intitulée Just a moment..., ou une réponse 200 nettement plus légère que celle du navigateur désignent tous le pare-feu.

Le script

Enregistrez-le sous le nom ai-crawler-view.mjs. Il demande Node 18 ou plus récent et aucun paquet. Il lit robots.txt une fois, charge votre page comme un navigateur, puis comme sept crawlers IA : OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot et Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic ne publie pas de chaînes user agent complètes : les deux lignes Claude n'utilisent donc que le jeton du crawler. Un pare-feu qui se base sur le jeton réagit de la même façon.

Comment l'exécuter ?

Lancez-le sur une page de votre propre site. L'option facultative --expect vérifie qu'une phrase de votre contenu principal figure dans le HTML brut reçu par chaque crawler. Si elle est absente, des scripts ajoutent le texte après le chargement, et beaucoup de crawlers ne le verront pas.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Ne l'utilisez que sur des sites qui vous appartiennent ou que vous avez le droit de tester. Il envoie neuf requêtes : robots.txt, le navigateur et une par crawler.

À quoi ressemble le résultat ?

Voici le résultat obtenu sur un serveur de test local volontairement hostile, qui soumet OAI-SearchBot à un défi, limite le débit de ClaudeBot, sert à PerplexityBot une coquille vide et interdit GPTBot dans robots.txt :

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Sur aiseewhy.com, chaque crawler reçoit la page complète, avec le même statut et la même taille que le navigateur.

Comment lire le tableau ?

Que ne peut pas vous dire le script ?

Que constate-t-on sur de vrais sites ?

AISeeWhy effectue ce type de test pour 14 crawlers. Sur 165 sites d'entreprises aux États-Unis, au Royaume-Uni et en France que nous avons pu tester, 38 % (63 sites) refusaient au niveau du serveur au moins un crawler IA, alors qu'un navigateur depuis la même adresse obtenait la page. Chacun de ces sites refusait au moins un bot d'entraînement ou de scraping, et 10 % (16 sites) refusaient aussi au moins un crawler de recherche IA, comme PerplexityBot (11 sites) ou OAI-SearchBot (5).

Ces sites ne forment pas un échantillon aléatoire, et 53 autres n'ont pas pu être testés, car même une simple requête de navigateur était refusée ou restait sans réponse. Voyez-y un schéma à vérifier sur votre propre site, pas un recensement.

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Questions fréquentes

Peut-on l'exécuter sans risque sur n'importe quel site ?

Ne l'exécutez que sur des sites qui vous appartiennent ou que vous avez le droit de tester. Il envoie des requêtes avec des user agents de crawlers, que certaines défenses anti-bots jugent hostiles.

Pourquoi GPTBot affiche-t-il ok alors que robots.txt l'interdit ?

robots.txt est une demande, pas un verrou. Le serveur répond à quiconque l'ignore, d'où le ok dans la colonne HTTP. La règle à côté montre ce que respecte un crawler bien élevé.

Le script exécute-t-il JavaScript ?

Non, volontairement. Il montre le HTML que reçoit un crawler qui n'effectue pas le rendu des pages. L'option --expect indique si votre texte principal figure déjà dans ce HTML.

Un résultat propre signifie-t-il que ChatGPT citera ma page ?

Non. L'accès est nécessaire, mais pas suffisant. Pour savoir si un assistant nomme votre site, posez-lui les questions que posent vos acheteurs et notez quels sites il cite.

Sources

Autres articles