Kaj AI-pajki v resnici dobijo z vaše strani? Skripta s 66 vrsticami
Zahtevajte svojo stran kot brskalnik in kot vsak AI-pajek, nato rezultate primerjajte. Odgovor 403, 429 ali izzivna stran samo za pajka ali odgovor 200, ki je precej manjši od strani za brskalnik, pomeni, da požarni zid pajka zavrača, tudi če robots.txt dovoljuje dostop. Skripta Node s 66 vrsticami to preveri za sedem pajkov in prebere robots.txt po pravilih RFC 9309.
robots.txt pajku pove, kaj sme prenesti. Ne pove pa, kaj mu vaš požarni zid ali CDN dejansko vrne. Ta objava vsebuje kratko skripto, ki oboje pokaže skupaj, da vidite, kje se ne ujemata.
Na tej strani
Zakaj robots.txt ne pove, kaj pajek dobi?
robots.txt je zgolj prošnja. Kaj se dejansko pošlje nazaj, odločajo požarni zid, CDN ali pravilo za zaščito pred boti. Ti lahko OAI-SearchBot ali PerplexityBot odgovorijo s 403, 429 ali stranjo "Just a moment...", medtem ko so obiski v vašem brskalniku videti povsem običajni.
Preverjanje je preprosto: isti naslov zahtevajte kot brskalnik in kot pajek ter rezultata primerjajte. Če samo pajek dobi 403, 429 ali 503, če je naslov strani Just a moment... ali če je odgovor 200 precej manjši od odgovora za brskalnik, je razlog požarni zid.
Skripta
Shranite jo kot ai-crawler-view.mjs. Potrebuje Node 18 ali novejši in nobenih paketov. Enkrat prebere robots.txt, nato prenese vašo stran kot brskalnik in kot sedem AI-pajkov: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot in Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic ne objavlja celotnih nizov uporabniškega agenta, zato vrstici za Claude uporabljata samo oznako pajka. Požarni zid, ki se odziva na oznako, se odzove enako.
Kako jo zaženem?
Zaženite jo na strani svojega spletnega mesta. Neobvezna zastavica --expect preveri, ali je stavek iz vaše glavne vsebine v surovem HTML, ki ga prejme vsak pajek. Če ga ni, besedilo po nalaganju dodajo skripte, mnogi pajki pa ga ne bodo videli.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Zaženite jo samo na spletnih mestih, ki so vaša ali jih smete testirati. Pošlje devet zahtev: robots.txt, brskalnik in po eno za vsakega pajka.
Kako izgleda izpis?
To je rezultat na namenoma sovražnem lokalnem testnem strežniku, ki izziva OAI-SearchBot, omejuje hitrost ClaudeBot, PerplexityBot pa postreže s praznim ogrodjem, GPTBot pa prepoveduje v robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Na aiseewhy.com vsak pajek dobi celotno stran z enakim statusom in velikostjo kot brskalnik.
Kako preberem tabelo?
- Stolpec robots.txt je dovoljenje, ki ste ga dali: pravilo, ki za pajka velja po RFC 9309, torej skupina z imenom pajka, sicer
*, nato najdaljše ujemajoče pravilo, pri čemer ob izenačenju zmagaAllow. - Stolpca HTTP in bytes kažeta, kaj je naredil strežnik.
GPTBotima 200, ker strežnik odgovori vsakomur, ki robots.txt ignorira; pravilo ob njem je tisto, ki ga upošteva vljuden pajek. - Nevarne so vrstice z obratnim primerom:
allow: /obBLOCKEDaliTHIN. To je spletno mesto, ki reče da, odgovori pa ne.
Česa skripta ne more povedati?
- Uporabniške agente preizkuša z vašega lastnega naslova IP, ne z naslovov pravih pajkov. Mnogi požarni zidovi pajka preverijo po območjih IP, ki jih objavi njegov ponudnik, zato je pravi
OAI-SearchBotlahko spuščen, vaša zahteva pa zavrnjena, ali obratno. Skripto uporabite za iskanje pravil, ki se odzivajo na uporabniškega agenta, nato preverite še objavljene sezname IP ponudnikov. - Namenoma ne izvaja JavaScripta: pokaže HTML, ki bi ga videl pajek, ki strani ne izrisuje.
- Čist rezultat ni priporočilo. Biti berljiv ni isto kot biti naveden.
Kaj vidimo na resničnih spletnih mestih?
AISeeWhy tovrstno preverjanje izvaja za 14 pajkov. Med 165 poslovnimi spletnimi mesti v ZDA, Veliki Britaniji in Franciji, ki smo jih lahko testirali, jih je 38 % (63 mest) na strežniku zavrnilo vsaj enega AI-pajka, medtem ko je brskalnik z istega naslova stran dobil. Vsako od teh mest je zavrnilo vsaj enega pajka za učenje ali strganje, 10 % (16 mest) pa tudi vsaj enega AI-pajka za iskanje, na primer PerplexityBot (11 mest) ali OAI-SearchBot (5).
Mesta niso naključni vzorec, 53 dodatnih pa nismo mogli testirati, ker je bila zavrnjena ali neodgovorjena že navadna zahteva brskalnika. Obravnavajte to kot vzorec, ki ga je vredno preveriti na svojem mestu, ne kot popis.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali je varno to zagnati na katerem koli spletnem mestu?
Zaženite jo samo na mestih, ki so vaša ali jih smete testirati. Pošilja zahteve z uporabniškimi agenti pajkov, nekatere obrambe pred boti pa to štejejo za sovražno dejanje.
Zakaj GPTBot kaže ok, čeprav ga robots.txt prepoveduje?
robots.txt je prošnja, ne ključavnica. Strežnik odgovori vsakomur, ki ga ignorira, zato stolpec HTTP kaže ok. Pravilo ob njem kaže, kaj upošteva vljuden pajek.
Ali skripta izvaja JavaScript?
Ne, in to namenoma. Pokaže HTML, ki ga prejme pajek, ki strani ne izrisuje. Zastavica --expect pove, ali je vaše glavno besedilo že v tem HTML.
Ali čist rezultat pomeni, da bo ChatGPT navedel mojo stran?
Ne. Dostop je potreben, a ne zadostuje. Če želite videti, ali vas pomočnik navaja, mu postavite vprašanja, ki jih postavljajo vaši kupci, in si zapišite, katera mesta navede.
Viri
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)