Što AI crawleri zapravo dobivaju s vaše stranice? Skripta od 66 redaka
Zatražite stranicu kao preglednik i kao svaki AI crawler pa usporedite odgovore. Ako samo crawler dobije 403, 429 ili challenge stranicu, ili 200 koji je znatno manji od stranice za preglednik, vatrozid ga odbija iako ga robots.txt dopušta. Node skripta od 66 redaka to provjerava za sedam crawlera i čita robots.txt prema pravilima RFC 9309.
robots.txt crawleru govori što smije dohvatiti. Ne govori što vaš vatrozid ili CDN stvarno vraća. Ovaj članak daje kratku skriptu koja oboje prikazuje jedno uz drugo, pa vidite gdje se ne slažu.
Na ovoj stranici
Zašto robots.txt ne pokazuje što crawler dobiva?
robots.txt je zahtjev. Vatrozid, CDN ili pravilo zaštite od botova odlučuje što se stvarno vraća, pa OAI-SearchBot ili PerplexityBot može dobiti 403, 429 ili stranicu "Just a moment...", dok vaši posjeti iz preglednika izgledaju sasvim normalno.
Provjera je jednostavna: zatražite isti URL kao preglednik i kao crawler te usporedite odgovore. Na vatrozid upućuju 403, 429 ili 503 samo za crawler, stranica s naslovom Just a moment... ili odgovor 200 koji je puno manji od onog za preglednik.
Skripta
Spremite je kao ai-crawler-view.mjs. Treba joj Node 18 ili noviji, a paketi nisu potrebni. Jednom pročita robots.txt, zatim dohvati vašu stranicu kao preglednik, a potom kao sedam AI crawlera: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot i Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic ne objavljuje pune user agent nizove, pa dva retka za Claude koriste samo oznaku crawlera. Vatrozid koji se oslanja na oznaku reagira na isti način.
Kako je pokrenuti?
Pokrenite je na stranici vlastitog web-mjesta. Neobavezna zastavica --expect provjerava nalazi li se rečenica iz vašeg glavnog sadržaja u sirovom HTML-u koji svaki crawler prima. Ako je nema, tekst se dodaje skriptama nakon učitavanja, a mnogi ga crawleri neće vidjeti.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Pokrećite je samo na stranicama koje posjedujete ili smijete testirati. Šalje devet zahtjeva: robots.txt, preglednik i po jedan za svaki crawler.
Kako izgleda ispis?
Ovo je rezultat na namjerno neprijateljskom lokalnom testnom poslužitelju koji izaziva OAI-SearchBot challengeom, ograničava brzinu ClaudeBotu, PerplexityBotu poslužuje praznu ljusku, a GPTBot zabranjuje u robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Na aiseewhy.com svaki crawler dobiva cijelu stranicu, s istim statusom i veličinom kao preglednik.
Kako čitati tablicu?
- Stupac robots.txt je dopuštenje koje ste dali: pravilo koje se na tog crawlera primjenjuje prema RFC 9309, a to je skupina koja ga imenuje, inače
*, zatim najdulje podudarno pravilo, pri čemu u slučaju izjednačenja pobjeđujeAllow. - Stupci HTTP i bytes pokazuju što je poslužitelj učinio.
GPTBotima 200 jer poslužitelj odgovara svakome tko ignorira robots.txt; pravilo uz njega je ono što se pridržava uljudan crawler. - Opasni su suprotni retci:
allow: /uzBLOCKEDiliTHIN. To je web-mjesto koje kaže da, a odgovara ne.
Što skripta ne može reći?
- Testira user agente s vaše IP adrese, a ne prave crawlere. Mnogi vatrozidi provjeravaju crawler prema IP rasponima koje objavljuje njegov davatelj, pa pravi
OAI-SearchBotmože proći kad je vaš zahtjev odbijen, ili obrnuto. Skriptom pronađite pravila koja reagiraju na user agent, a zatim provjerite IP popise koje objavljuju davatelji. - Ne izvršava JavaScript, namjerno: pokazuje HTML koji bi vidio crawler koji ne renderira stranice.
- Čist rezultat nije preporuka. Biti čitljiv nije isto što i biti citiran.
Što vidimo na stvarnim web-mjestima?
AISeeWhy provodi ovakvu provjeru za 14 crawlera. Od 165 poslovnih web-mjesta u SAD-u, Ujedinjenom Kraljevstvu i Francuskoj koja smo mogli testirati, njih 38% (63) odbilo je na poslužitelju barem jednog AI crawlera, dok je preglednik s iste adrese dobio stranicu. Svako od tih web-mjesta odbilo je barem jednog crawlera za treniranje ili scrapera, a 10% (16 web-mjesta) odbilo je i barem jednog AI crawlera za pretraživanje, kao što su PerplexityBot (11 web-mjesta) ili OAI-SearchBot (5).
Web-mjesta nisu slučajan uzorak, a još 53 nismo mogli testirati jer je čak i običan zahtjev preglednika bio odbijen ili bez odgovora. Shvatite to kao obrazac koji vrijedi provjeriti na vlastitoj stranici, a ne kao popis.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Je li sigurno pokretati ovo na bilo kojoj stranici?
Pokrećite je samo na stranicama koje posjedujete ili smijete testirati. Šalje zahtjeve s user agentima crawlera, što neke zaštite od botova smatraju neprijateljskim.
Zašto GPTBot pokazuje ok kad ga robots.txt zabranjuje?
robots.txt je zahtjev, a ne brava. Poslužitelj odgovara svakome tko ga ignorira, pa stupac HTTP kaže ok. Pravilo uz njega pokazuje što se pridržava uljudan crawler.
Izvršava li skripta JavaScript?
Ne, namjerno. Pokazuje HTML koji prima crawler koji ne renderira stranice. Zastavica --expect govori nalazi li se vaš glavni tekst već u tom HTML-u.
Znači li čist rezultat da će ChatGPT citirati moju stranicu?
Ne. Pristup je nužan, ali nije dovoljan. Da biste vidjeli navodi li asistent vašu stranicu, postavite mu pitanja koja postavljaju vaši kupci i zabilježite koje stranice citira.
Izvori
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)