Ką DI robotai iš tikrųjų gauna iš jūsų svetainės? 66 eilučių skriptas
Paprašykite savo puslapio kaip naršyklė ir kaip kiekvienas DI robotas, tada palyginkite. Jei tik robotui grąžinamas 403, 429 ar patikros puslapis arba 200 atsakymas yra gerokai mažesnis nei naršyklės puslapis, ugniasienė robotą atmeta, net jei robots.txt jį leidžia. 66 eilučių Node skriptas tai patikrina septyniems robotams ir skaito robots.txt pagal RFC 9309 taisykles.
robots.txt nurodo robotui, ką jis gali atsisiųsti. Jis nieko nesako apie tai, ką jūsų ugniasienė ar CDN iš tikrųjų atsiunčia. Šiame įraše rasite trumpą skriptą, kuris parodo abu dalykus greta, ir matysite, kur jie prieštarauja vienas kitam.
Šiame puslapyje
Kodėl robots.txt nerodo, ką robotas gauna?
robots.txt yra tik prašymas. Tai, kas iš tikrųjų atsiunčiama, nusprendžia ugniasienė, CDN arba apsaugos nuo robotų taisyklė, ir ji gali OAI-SearchBot ar PerplexityBot atsakyti 403, 429 arba puslapiu „Just a moment...“, nors jūsų pačių apsilankymai naršyklėje atrodo visiškai normalūs.
Patikra paprasta: paprašykite to paties URL kaip naršyklė ir kaip robotas ir palyginkite. 403, 429 ar 503 tik robotui, puslapis su pavadinimu Just a moment... arba 200 atsakymas, gerokai mažesnis už naršyklės, rodo ugniasienę.
Skriptas
Išsaugokite jį kaip ai-crawler-view.mjs. Reikia Node 18 ar naujesnės versijos, jokių paketų nereikia. Skriptas vieną kartą perskaito robots.txt, atsisiunčia jūsų puslapį kaip naršyklė, o tada kaip septyni DI robotai: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot ir Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic nepateikia pilnų naudotojo agento eilučių, todėl dviem Claude eilutėms naudojamas tik roboto žetonas. Ugniasienė, kuri atpažįsta pagal žetoną, reaguoja taip pat.
Kaip jį paleisti?
Paleiskite jį savo svetainės puslapiui. Pasirinktinė vėliavėlė --expect patikrina, ar kiekvieno roboto gautame neapdorotame HTML yra jūsų pagrindinio turinio sakinys. Jei jo nėra, tekstą po įkėlimo prideda skriptai, o daugelis robotų jo nepamatys.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Naudokite jį tik savo svetainėse arba tose, kurias galite testuoti. Jis siunčia devynias užklausas: robots.txt, naršyklės ir po vieną kiekvienam robotui.
Kaip atrodo rezultatas?
Štai rezultatas, gautas tyčia priešiškame vietiniame testiniame serveryje, kuris OAI-SearchBot rodo patikrą, ClaudeBot riboja užklausų skaičių, PerplexityBot atiduoda tuščią apvalkalą, o GPTBot robots.txt draudžia:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Svetainėje aiseewhy.com kiekvienas robotas gauna visą puslapį su ta pačia būsena ir dydžiu kaip naršyklė.
Kaip skaityti lentelę?
- Stulpelis robots.txt rodo jūsų suteiktą leidimą: pagal RFC 9309 taikoma taisyklė tai robotui, t. y. grupė, kurioje robotas paminėtas, kitu atveju
*, tada ilgiausia atitinkanti taisyklė, o lygiosios atveju laimiAllow. - Stulpeliai HTTP ir bytes rodo, ką padarė serveris.
GPTBotrodo 200, nes serveris atsako visiems, kas ignoruoja robots.txt; šalia esanti taisyklė yra tai, ko laikosi gerai besielgiantis robotas. - Pavojingos yra priešingos eilutės:
allow: /šaliaBLOCKEDarbaTHIN. Tai svetainė, kuri sako „taip“, bet atsako „ne“.
Ko skriptas pasakyti negali?
- Jis tikrina naudotojo agentus iš jūsų pačių IP adreso, o ne tikruosius robotus. Daugelis ugniasienių robotą tikrina pagal jo tiekėjo paskelbtus IP intervalus, todėl tikras
OAI-SearchBotgali būti praleistas, kai jūsų užklausa atmetama, arba atvirkščiai. Naudokite skriptą taisyklėms, reaguojančioms į naudotojo agentą, rasti, o tada patikrinkite tiekėjų paskelbtus IP sąrašus. - Jis tyčia nevykdo JavaScript: parodo HTML, kurį pamatytų robotas, nevaizduojantis puslapių.
- Švarus rezultatas nėra rekomendacija. Būti skaitomam nereiškia būti cituojamam.
Ką matome tikrose svetainėse?
AISeeWhy tokią patikrą atlieka 14 robotų. Iš 165 JAV, Jungtinės Karalystės ir Prancūzijos įmonių svetainių, kurias galėjome ištestuoti, 38 % (63 svetainės) serveryje atmetė bent vieną DI robotą, nors naršyklė iš to paties adreso gavo puslapį. Kiekviena iš tų svetainių atmetė bent vieną mokymo ar duomenų rinkimo robotą, o 10 % (16 svetainių) taip pat atmetė bent vieną DI paieškos robotą, pavyzdžiui, PerplexityBot (11 svetainių) ar OAI-SearchBot (5).
Svetainės nėra atsitiktinė imtis, o dar 53 ištestuoti nepavyko, nes net paprastos naršyklės užklausos buvo atmestos arba į jas neatsakyta. Laikykite tai dėsningumu, kurį verta patikrinti savo svetainėje, o ne surašymu.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar saugu tai paleisti bet kuriai svetainei?
Paleiskite tik savo svetainėms arba toms, kurias galite testuoti. Skriptas siunčia užklausas su robotų naudotojo agentais, kuriuos kai kurios apsaugos nuo robotų sistemos laiko priešiškais.
Kodėl GPTBot rodo ok, nors robots.txt jį draudžia?
robots.txt yra prašymas, o ne užraktas. Serveris atsako visiems, kas jį ignoruoja, todėl stulpelyje HTTP rodoma ok. Šalia esanti taisyklė rodo, ko laikosi gerai besielgiantis robotas.
Ar skriptas vykdo JavaScript?
Ne, tai padaryta tyčia. Jis parodo HTML, kurį gauna robotas, nevaizduojantis puslapių. Vėliavėlė --expect parodo, ar jūsų pagrindinis tekstas jau yra tame HTML.
Ar švarus rezultatas reiškia, kad ChatGPT cituos mano puslapį?
Ne. Prieiga yra būtina, bet nepakankama. Norėdami sužinoti, ar asistentas mini jūsų svetainę, užduokite jam klausimus, kuriuos uždavinėja jūsų pirkėjai, ir pažiūrėkite, kokias svetaines jis cituoja.
Šaltiniai
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)