Mida AI-robotid su saidilt tegelikult saavad? 66-realine skript
Küsi oma lehte brauserina ja iga AI-robotina ning võrdle tulemusi. Kui ainult robot saab vastuseks 403, 429 või väljakutselehe, või kui 200-vastus on brauseri omast palju väiksem, keelab tulemüür roboti välja ka siis, kui robots.txt lubab. 66-realine Node'i skript teeb seda seitsme roboti jaoks ja loeb robots.txt-i RFC 9309 reeglite järgi.
robots.txt ütleb robotile, mida ta tohib küsida. See ei ütle midagi selle kohta, mida sinu tulemüür või CDN tegelikult vastuseks saadab. Selles postituses on lühike skript, mis näitab mõlemat kõrvuti, et näeksid, kus need omavahel lahku lähevad.
Sellel lehel
Miks robots.txt ei näita, mida robot saab?
robots.txt on palve. Tulemüür, CDN või robotikaitse reegel otsustab, mida tegelikult vastuseks saadetakse, ja see võib vastata OAI-SearchBot-ile või PerplexityBot-ile 403, 429 või lehega "Just a moment...", samal ajal kui sinu enda brauseris paistab kõik korras.
Kontroll on lihtne: küsi sama URL-i brauserina ja robotina ning võrdle. Kui 403, 429 või 503 tuleb ainult robotile, kui leht kannab pealkirja Just a moment... või kui 200-vastus on brauseri omast palju väiksem, viitab see kõik tulemüürile.
Skript
Salvesta see nimega ai-crawler-view.mjs. Vaja on Node 18 või uuemat ja ühtegi paketti pole vaja. Skript loeb robots.txt-i korra, hangib sinu lehe brauserina ja seejärel seitsme AI-robotina: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot ja Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic ei avalda täielikke kasutajaagendi stringe, seega kasutavad kaks Claude'i rida ainult roboti tunnust. Tulemüür, mis tunnuse järgi reageerib, käitub samamoodi.
Kuidas seda käivitada?
Käivita see oma saidi lehe vastu. Valikuline lipp --expect kontrollib, kas lause sinu põhisisust on olemas toores HTML-is, mille iga robot saab. Kui lauset seal pole, lisavad skriptid teksti alles pärast laadimist ja paljud robotid ei näe seda.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Käivita see ainult saitidel, mis on sinu omad või mida tohid testida. See saadab üheksa päringut: robots.txt, brauser ja üks iga roboti kohta.
Milline väljund välja näeb?
See on tulemus meelega vaenuliku kohaliku testserveri vastu, mis esitab OAI-SearchBot-ile väljakutse, piirab ClaudeBot-i päringute arvu, annab PerplexityBot-ile tühja kesta ja keelab robots.txt-is GPTBot-i:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Saidil aiseewhy.com saab iga robot täieliku lehe, sama oleku ja suurusega nagu brauser.
Kuidas tabelit lugeda?
- Veerg robots.txt on luba, mille oled andnud: reegel, mis RFC 9309 järgi sellele robotile kehtib. See on robotit nimetav rühm, muidu
*, seejärel pikim sobiv reegel, kusjuures viigi korral võidabAllow. - Veerud HTTP ja baidid näitavad, mida server tegi.
GPTBotnäitab 200, sest server vastab igaühele, kes robots.txt-i eirab. Selle kõrval olev reegel on see, mida viisakas robot järgib. - Ohtlikud on vastupidised read:
allow: /koosBLOCKEDvõiTHIN-iga. See on sait, mis ütleb jah, aga vastab ei.
Mida skript ei suuda öelda?
- See testib kasutajaagente sinu enda IP-aadressilt, mitte päris roboteid. Paljud tulemüürid kontrollivad robotit tema tarnija avaldatud IP-vahemike järgi, seega võidakse päris
OAI-SearchBotläbi lasta, kui sinu päring tagasi lükatakse, või vastupidi. Kasuta skripti kasutajaagendile reageerivate reeglite leidmiseks ja kontrolli seejärel tarnijate avaldatud IP-nimekirju. - See ei käivita JavaScripti, ja seda tehakse meelega: see näitab HTML-i, mida näeks robot, kes lehti ei renderda.
- Korras tulemus ei ole soovitus. Loetavus ei tähenda, et sind tsiteeritakse.
Mida näeme päris veebisaitidel?
AISeeWhy teeb sellist kontrolli 14 roboti jaoks. 165 ettevõtte saidist USA-s, Ühendkuningriigis ja Prantsusmaal, mida suutsime testida, keeras 38% (63 saiti) serveri tasandil ära vähemalt ühe AI-roboti, samal ajal kui samalt aadressilt tulnud brauser sai lehe kätte. Kõik need saidid keelasid vähemalt ühe treening- või kraapimisroboti ning 10% (16 saiti) keelas lisaks vähemalt ühe AI-otsinguroboti, näiteks PerplexityBot (11 saiti) või OAI-SearchBot (5).
Saidid ei ole juhuvalim ja veel 53 saiti ei saanud testida, sest isegi tavaline brauseripäring lükati tagasi või jäi vastuseta. Võta seda mustrina, mida tasub oma saidil kontrollida, mitte rahvaloendusena.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas seda on ohutu mis tahes saidi vastu käivitada?
Käivita see ainult saitide vastu, mis on sinu omad või mida tohid testida. See saadab päringuid robotite kasutajaagentidega, mida mõned robotikaitsed peavad vaenulikeks.
Miks näitab GPTBot ok, kui robots.txt selle keelab?
robots.txt on palve, mitte lukk. Server vastab igaühele, kes seda eirab, seega näitab HTTP veerg ok. Selle kõrval olev reegel näitab, mida viisakas robot järgib.
Kas skript käivitab JavaScripti?
Ei, ja seda tehakse meelega. See näitab HTML-i, mille saab robot, kes lehti ei renderda. Lipp --expect ütleb, kas sinu põhitekst on selles HTML-is juba olemas.
Kas korras tulemus tähendab, et ChatGPT tsiteerib minu lehte?
Ei. Ligipääs on vajalik, aga mitte piisav. Et näha, kas assistent nimetab sinu saiti, küsi temalt küsimusi, mida su ostjad küsivad, ja märgi üles, milliseid saite ta tsiteerib.
Allikad
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)