Que reçoivent vraiment les crawlers IA sur votre site ? Un script de 66 lignes
Demandez votre page comme un navigateur, puis comme chaque crawler IA, et comparez. Un 403, un 429 ou une page de défi uniquement pour le crawler, ou un 200 nettement plus léger que la page du navigateur, signifie que le pare-feu le refuse même si robots.txt l'autorise. Un script Node de 66 lignes le fait pour sept crawlers et lit robots.txt selon les règles de la RFC 9309.
robots.txt indique à un crawler ce qu'il peut récupérer. Il ne dit rien de ce que votre pare-feu ou votre CDN renvoie réellement. Cet article propose un court script qui montre les deux côte à côte, pour voir où ils divergent.
Sur cette page
Pourquoi robots.txt ne dit-il pas ce que reçoit un crawler ?
robots.txt est une demande. C'est un pare-feu, un CDN ou une règle de protection contre les bots qui décide de ce qui est réellement renvoyé, et il peut répondre à OAI-SearchBot ou PerplexityBot par un 403, un 429 ou une page « Just a moment... » alors que vos propres visites dans le navigateur semblent parfaitement normales.
Le test consiste à demander la même URL comme un navigateur puis comme le crawler, et à comparer. Un 403, 429 ou 503 uniquement pour le crawler, une page intitulée Just a moment..., ou une réponse 200 nettement plus légère que celle du navigateur désignent tous le pare-feu.
Le script
Enregistrez-le sous le nom ai-crawler-view.mjs. Il demande Node 18 ou plus récent et aucun paquet. Il lit robots.txt une fois, charge votre page comme un navigateur, puis comme sept crawlers IA : OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot et Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic ne publie pas de chaînes user agent complètes : les deux lignes Claude n'utilisent donc que le jeton du crawler. Un pare-feu qui se base sur le jeton réagit de la même façon.
Comment l'exécuter ?
Lancez-le sur une page de votre propre site. L'option facultative --expect vérifie qu'une phrase de votre contenu principal figure dans le HTML brut reçu par chaque crawler. Si elle est absente, des scripts ajoutent le texte après le chargement, et beaucoup de crawlers ne le verront pas.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Ne l'utilisez que sur des sites qui vous appartiennent ou que vous avez le droit de tester. Il envoie neuf requêtes : robots.txt, le navigateur et une par crawler.
À quoi ressemble le résultat ?
Voici le résultat obtenu sur un serveur de test local volontairement hostile, qui soumet OAI-SearchBot à un défi, limite le débit de ClaudeBot, sert à PerplexityBot une coquille vide et interdit GPTBot dans robots.txt :
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Sur aiseewhy.com, chaque crawler reçoit la page complète, avec le même statut et la même taille que le navigateur.
Comment lire le tableau ?
- La colonne robots.txt correspond à l'autorisation que vous avez donnée : la règle qui s'applique à ce crawler selon la RFC 9309, c'est-à-dire le groupe qui nomme le crawler, sinon
*, puis la règle la plus longue qui correspond,Allowl'emportant en cas d'égalité. - Les colonnes HTTP et octets montrent ce que le serveur a fait.
GPTBotaffiche un 200 parce que le serveur répond à quiconque ignore robots.txt ; la règle à côté est ce que respecte un crawler bien élevé. - Les lignes dangereuses sont l'inverse :
allow: /à côté deBLOCKEDouTHIN. C'est un site qui dit oui et répond non.
Que ne peut pas vous dire le script ?
- Il teste des user agents depuis votre propre adresse IP, pas les vrais crawlers. Beaucoup de pare-feu vérifient un crawler d'après les plages d'IP que son éditeur publie : un vrai
OAI-SearchBotpeut donc passer alors que votre requête est refusée, ou l'inverse. Servez-vous-en pour trouver les règles qui réagissent au user agent, puis vérifiez les listes d'IP publiées par les éditeurs. - Il n'exécute pas JavaScript, volontairement : il montre le HTML que verrait un crawler qui n'effectue pas de rendu.
- Un résultat propre n'est pas une recommandation. Être lisible n'est pas la même chose qu'être cité.
Que constate-t-on sur de vrais sites ?
AISeeWhy effectue ce type de test pour 14 crawlers. Sur 165 sites d'entreprises aux États-Unis, au Royaume-Uni et en France que nous avons pu tester, 38 % (63 sites) refusaient au niveau du serveur au moins un crawler IA, alors qu'un navigateur depuis la même adresse obtenait la page. Chacun de ces sites refusait au moins un bot d'entraînement ou de scraping, et 10 % (16 sites) refusaient aussi au moins un crawler de recherche IA, comme PerplexityBot (11 sites) ou OAI-SearchBot (5).
Ces sites ne forment pas un échantillon aléatoire, et 53 autres n'ont pas pu être testés, car même une simple requête de navigateur était refusée ou restait sans réponse. Voyez-y un schéma à vérifier sur votre propre site, pas un recensement.
Étapes suivantes
- Testeur et vérificateur robots.txt pour les robots IA
- Vérification d'IP de robot IA
- Voir un exemple de rapport complet
- Surveillance des robots IA
- Formules et tarifs
Robots cités dans cet article
Questions fréquentes
Peut-on l'exécuter sans risque sur n'importe quel site ?
Ne l'exécutez que sur des sites qui vous appartiennent ou que vous avez le droit de tester. Il envoie des requêtes avec des user agents de crawlers, que certaines défenses anti-bots jugent hostiles.
Pourquoi GPTBot affiche-t-il ok alors que robots.txt l'interdit ?
robots.txt est une demande, pas un verrou. Le serveur répond à quiconque l'ignore, d'où le ok dans la colonne HTTP. La règle à côté montre ce que respecte un crawler bien élevé.
Le script exécute-t-il JavaScript ?
Non, volontairement. Il montre le HTML que reçoit un crawler qui n'effectue pas le rendu des pages. L'option --expect indique si votre texte principal figure déjà dans ce HTML.
Un résultat propre signifie-t-il que ChatGPT citera ma page ?
Non. L'accès est nécessaire, mais pas suffisant. Pour savoir si un assistant nomme votre site, posez-lui les questions que posent vos acheteurs et notez quels sites il cite.
Sources
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)