Čo AI crawlery naozaj dostanú z vášho webu? Skript na 66 riadkov
Vyžiadajte si stránku ako prehliadač a ako každý AI crawler a porovnajte výsledky. Ak dostane 403, 429 alebo challenge stránku iba crawler, alebo ak odpoveď 200 je oveľa menšia než stránka pre prehliadač, firewall crawler odmieta, aj keď ho robots.txt povoľuje. Skript v Node na 66 riadkov to otestuje pre sedem crawlerov a robots.txt číta podľa pravidiel RFC 9309.
robots.txt hovorí crawleru, čo smie sťahovať. Nehovorí nič o tom, čo mu váš firewall alebo CDN naozaj pošle späť. Tento príspevok ponúka krátky skript, ktorý ukáže oboje vedľa seba, aby ste videli, kde sa tieto dve veci rozchádzajú.
Na tejto stránke
Prečo robots.txt nepovie, čo crawler dostane?
robots.txt je len žiadosť. O tom, čo sa naozaj pošle späť, rozhoduje firewall, CDN alebo pravidlo ochrany pred botmi. Môže odpovedať OAI-SearchBot alebo PerplexityBot kódom 403, 429 či stránkou „Just a moment...", zatiaľ čo vaše vlastné návštevy v prehliadači vyzerajú úplne normálne.
Kontrola spočíva v tom, že si vyžiadate tú istú adresu ako prehliadač a ako crawler a porovnáte odpovede. Kód 403, 429 alebo 503 iba pre crawler, stránka s titulkom Just a moment... alebo odpoveď 200, ktorá je oveľa menšia než tá pre prehliadač, poukazujú na firewall.
Skript
Uložte ho ako ai-crawler-view.mjs. Potrebuje Node 18 alebo novší a žiadne balíky. Raz načíta robots.txt, potom stiahne vašu stránku ako prehliadač a následne ako sedem AI crawlerov: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot a Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic neuvádza úplné reťazce user agentov, preto dva riadky pre Claude používajú iba token crawlera. Firewall, ktorý reaguje na token, sa zachová rovnako.
Ako ho spustím?
Spustite ho na stránke vlastného webu. Voliteľný príznak --expect skontroluje, či sa veta z vášho hlavného obsahu nachádza v surovom HTML, ktoré každý crawler dostane. Ak chýba, text pridávajú skripty až po načítaní a mnohé crawlery ho neuvidia.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Spúšťajte ho iba na weboch, ktoré vlastníte alebo ktoré smiete testovať. Odošle deväť požiadaviek: robots.txt, prehliadač a po jednej na každý crawler.
Ako vyzerá výstup?
Toto je výsledok na zámerne nepriateľskom lokálnom testovacom serveri, ktorý pre OAI-SearchBot zobrazuje challenge, ClaudeBot obmedzuje počtom požiadaviek, PerplexityBot podáva prázdnu schránku a GPTBot zakazuje v robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Na aiseewhy.com dostane každý crawler celú stránku s rovnakým stavom a veľkosťou ako prehliadač.
Ako čítať tabuľku?
- Stĺpec robots.txt je povolenie, ktoré ste dali: pravidlo, ktoré sa na daný crawler uplatní podľa RFC 9309, teda skupina, ktorá crawler pomenúva, inak
*, potom najdlhšie zodpovedajúce pravidlo, pričom pri zhode rozhodujeAllow. - Stĺpce HTTP a bajty ukazujú, čo urobil server.
GPTBotmá 200, lebo server odpovie každému, kto robots.txt ignoruje; pravidlo vedľa neho je to, čo dodržiava slušný crawler. - Nebezpečné sú opačné riadky:
allow: /vedľaBLOCKEDaleboTHIN. To je web, ktorý hovorí áno a odpovedá nie.
Čo vám skript nepovie?
- Testuje user agenty z vašej vlastnej IP adresy, nie skutočné crawlery. Mnohé firewally overujú crawler podľa rozsahov IP adries, ktoré zverejňuje jeho prevádzkovateľ, takže skutočný
OAI-SearchBotmôže prejsť, keď vašu požiadavku odmietnu, alebo naopak. Použite ho na nájdenie pravidiel, ktoré reagujú na user agent, a potom skontrolujte zverejnené zoznamy IP adries. - Zámerne nespúšťa JavaScript: ukazuje HTML, ktoré by videl crawler bez renderovania.
- Čistý výsledok nie je odporúčanie. To, že vás možno prečítať, neznamená, že vás ocitujú.
Čo vidíme na skutočných weboch?
AISeeWhy robí takúto kontrolu pre 14 crawlerov. Spomedzi 165 firemných webov v USA, Británii a Francúzsku, ktoré sa nám podarilo otestovať, 38% (63 webov) odmietlo na úrovni servera aspoň jeden AI crawler, zatiaľ čo prehliadač z tej istej adresy stránku dostal. Každý z týchto webov odmietol aspoň jedného tréningového alebo scraper bota a 10% (16 webov) odmietlo aj aspoň jeden AI vyhľadávací crawler, napríklad PerplexityBot (11 webov) alebo OAI-SearchBot (5).
Weby nie sú náhodná vzorka a ďalších 53 sa nedalo otestovať, lebo aj obyčajnú požiadavku z prehliadača odmietli alebo na ňu neodpovedali. Berte to ako vzorec, ktorý stojí za kontrolu na vašom webe, nie ako sčítanie.
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Je bezpečné spustiť to na ľubovoľnom webe?
Spúšťajte to iba na weboch, ktoré vlastníte alebo ktoré smiete testovať. Skript posiela požiadavky s user agentmi crawlerov, ktoré niektoré ochrany pred botmi považujú za nepriateľské.
Prečo GPTBot ukazuje ok, keď ho robots.txt zakazuje?
robots.txt je žiadosť, nie zámok. Server odpovie každému, kto ho ignoruje, preto stĺpec HTTP ukazuje ok. Pravidlo vedľa neho ukazuje, čo dodržiava slušný crawler.
Spúšťa skript JavaScript?
Nie, zámerne. Ukazuje HTML, ktoré dostane crawler nerenderujúci stránky. Príznak --expect vám povie, či je váš hlavný text už v tomto HTML.
Znamená čistý výsledok, že ChatGPT ocituje moju stránku?
Nie. Prístup je nevyhnutný, ale nestačí. Aby ste zistili, či asistent uvádza váš web, položte mu otázky, ktoré kladú vaši kupujúci, a zapíšte si, ktoré weby cituje.
Zdroje
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Prehľad crawlerov OpenAI
- Anthropic: Sťahuje Anthropic dáta z webu a ako môžu majitelia webov crawler zablokovať?
- Perplexity: Crawlery Perplexity
- Cloudflare: Správa AI crawlerov (AI Crawl Control)