Co AI crawlery skutečně získají z vašeho webu? Skript o 66 řádcích
Vyžádejte si stránku jako prohlížeč a jako každý AI crawler a výsledky porovnejte. Pokud crawler dostane 403, 429 nebo ověřovací stránku, anebo odpověď 200 výrazně menší než stránka v prohlížeči, firewall ho odmítá, i když robots.txt přístup povoluje. Skript v Node o 66 řádcích to ověří pro sedm crawlerů a čte robots.txt podle pravidel RFC 9309.
robots.txt říká crawleru, co smí stáhnout. Neříká nic o tom, co mu váš firewall nebo CDN skutečně odpoví. Tento článek nabízí krátký skript, který ukáže obojí vedle sebe, takže uvidíte, kde si oba zdroje odporují.
Na této stránce
Proč robots.txt neukáže, co crawler skutečně dostane?
robots.txt je jen žádost. O tom, co se skutečně odešle, rozhoduje firewall, CDN nebo pravidlo ochrany proti botům. Crawleru OAI-SearchBot nebo PerplexityBot může odpovědět kódem 403, 429 nebo stránkou „Just a moment...“, zatímco vaše návštěvy z prohlížeče vypadají naprosto normálně.
Kontrola spočívá v tom, že si stejnou adresu URL vyžádáte jako prohlížeč a jako crawler a výsledky porovnáte. Kód 403, 429 nebo 503 pouze pro crawler, stránka s názvem Just a moment... nebo odpověď 200 výrazně menší než ta v prohlížeči ukazují na firewall.
Skript
Uložte ho jako ai-crawler-view.mjs. Potřebuje Node 18 nebo novější a žádné balíčky. Jednou načte robots.txt, pak stáhne vaši stránku jako prohlížeč a poté jako sedm AI crawlerů: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot a Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic neuvádí úplné řetězce user agentů, proto dva řádky pro Claude používají jen token crawleru. Firewall, který se řídí tokenem, zareaguje stejně.
Jak ho spustit?
Spusťte ho na stránce vlastního webu. Volitelný parametr --expect ověří, zda je věta z vašeho hlavního obsahu přítomná v surovém HTML, které každý crawler dostane. Pokud chybí, text se doplňuje skripty po načtení a mnoho crawlerů ho neuvidí.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Spouštějte ho jen na webech, které vlastníte nebo smíte testovat. Odešle devět požadavků: robots.txt, prohlížeč a jeden na každý crawler.
Jak vypadá výstup?
Toto je výsledek proti záměrně nepřátelskému lokálnímu testovacímu serveru, který crawler OAI-SearchBot zpochybní ověřením, ClaudeBot omezí počtem požadavků, PerplexityBot obslouží prázdnou schránkou a GPTBot zakáže v robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Na aiseewhy.com dostane každý crawler celou stránku se stejným stavem a velikostí jako prohlížeč.
Jak číst tabulku?
- Sloupec robots.txt ukazuje oprávnění, které jste udělili: pravidlo platné pro daný crawler podle RFC 9309, tedy skupinu pojmenovanou po crawleru, jinak
*, poté nejdelší odpovídající pravidlo, přičemž při shodě vítězíAllow. - Sloupce HTTP a bytes ukazují, co udělal server.
GPTBotmá 200, protože server odpoví každému, kdo robots.txt ignoruje. Pravidlo vedle něj je to, čím se řídí slušně se chovající crawler. - Nebezpečné jsou opačné řádky:
allow: /vedleBLOCKEDneboTHIN. To je web, který říká ano a odpovídá ne.
Co skript nezjistí?
- Testuje user agenty z vaší vlastní IP adresy, ne skutečné crawlery. Mnoho firewallů ověřuje crawler podle rozsahů IP adres, které zveřejňuje jeho provozovatel, takže skutečný
OAI-SearchBotmůže projít, i když váš požadavek je odmítnut, nebo naopak. Použijte ho k nalezení pravidel reagujících na user agenta a poté zkontrolujte zveřejněné seznamy IP adres. - Záměrně nespouští JavaScript: ukazuje HTML, které by viděl crawler, jenž stránky nevykresluje.
- Čistý výsledek není doporučení. Být čitelný neznamená být citován.
Co vidíme na skutečných webech?
AISeeWhy provádí takovou kontrolu pro 14 crawlerů. Z 165 firemních webů v USA, Velké Británii a Francii, které jsme mohli otestovat, 38 % (63 webů) odmítlo na úrovni serveru alespoň jednoho AI crawlera, zatímco prohlížeč ze stejné adresy stránku dostal. Každý z těchto webů odmítl alespoň jednoho trénovacího nebo scraper bota a 10 % (16 webů) odmítlo také alespoň jednoho AI vyhledávacího crawlera, například PerplexityBot (11 webů) nebo OAI-SearchBot (5).
Weby nejsou náhodný vzorek a dalších 53 nešlo otestovat, protože i obyčejný požadavek z prohlížeče byl odmítnut nebo zůstal bez odpovědi. Berte to jako vzorec, který stojí za kontrolu na vašem webu, ne jako sčítání.
Další kroky
- robots.txt tester a kontrola pro AI crawlery
- Kontrola IP adres AI crawlerů
- Podívejte se na ukázku plné zprávy
- Monitoring AI crawlerů
- Plány a ceny
Crawlery v tomto článku
Časté dotazy
Je bezpečné spouštět to na jakémkoli webu?
Spouštějte to jen na webech, které vlastníte nebo smíte testovat. Skript posílá požadavky s user agenty crawlerů, které některé ochrany proti botům považují za nepřátelské.
Proč GPTBot ukazuje ok, když ho robots.txt zakazuje?
robots.txt je žádost, ne zámek. Server odpoví každému, kdo ho ignoruje, proto sloupec HTTP ukazuje ok. Pravidlo vedle něj ukazuje, čím se řídí slušně se chovající crawler.
Spouští skript JavaScript?
Ne, záměrně. Ukazuje HTML, které dostane crawler nevykreslující stránky. Parametr --expect ukáže, zda je váš hlavní text už v tomto HTML.
Znamená čistý výsledek, že ChatGPT moji stránku citovat bude?
Ne. Přístup je nutný, ale nestačí. Chcete-li zjistit, zda asistent váš web uvádí, položte mu otázky, které kladou vaši zákazníci, a zaznamenejte, které weby cituje.
Zdroje
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Přehled crawlerů OpenAI
- Anthropic: Stahuje Anthropic data z webu a jak mohou vlastníci webů crawler zablokovat?
- Perplexity: Crawlery Perplexity
- Cloudflare: Správa AI crawlerů (AI Crawl Control)