Mitä tekoälyrobotit oikeasti saavat sivustoltasi? 66 rivin skripti
Hae sivusi selaimena ja jokaisena tekoälyrobottina ja vertaa tuloksia. Jos vain robotti saa vastauksen 403 tai 429 tai haastesivun, tai jos vastaus 200 on selvästi pienempi kuin selaimen sivu, palomuuri estää robotin, vaikka robots.txt sallisi sen. 66 rivin Node-skripti tekee tämän seitsemälle robotille ja lukee robots.txt-tiedoston RFC 9309 -sääntöjen mukaan.
robots.txt kertoo robotille, mitä se saa hakea. Se ei kerro, mitä palomuurisi tai CDN-palvelusi todellisuudessa palauttaa. Tässä artikkelissa on lyhyt skripti, joka näyttää molemmat rinnakkain, jotta näet, missä ne ovat ristiriidassa.
Tällä sivulla
Miksei robots.txt kerro, mitä robotti saa?
robots.txt on pyyntö. Palomuuri, CDN tai bottisuojaus päättää, mitä oikeasti lähetetään takaisin, ja se voi vastata OAI-SearchBot-robotille tai PerplexityBot-robotille koodilla 403 tai 429 tai sivulla "Just a moment...", vaikka omat selainkäyntisi näyttävät täysin normaaleilta.
Tarkistus on pyytää samaa osoitetta selaimena ja robottina ja verrata vastauksia. Jos vain robotti saa vastauksen 403, 429 tai 503, jos sivun otsikko on Just a moment... tai jos vastaus 200 on paljon pienempi kuin selaimen, syy on palomuurissa.
Skripti
Tallenna se nimellä ai-crawler-view.mjs. Se vaatii Noden version 18 tai uudemman eikä tarvitse paketteja. Se lukee robots.txt-tiedoston kerran, hakee sivusi selaimena ja sitten seitsemänä tekoälyrobottina: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot ja Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic ei julkaise täydellisiä user agent -merkkijonoja, joten kaksi Claude-riviä käyttää vain robotin tunnusta. Palomuuri, joka vertaa tunnusta, reagoi samalla tavalla.
Miten ajan sen?
Aja se oman sivustosi sivulle. Valinnainen --expect-lippu tarkistaa, että lause pääsisällöstäsi löytyy jokaisen robotin saamasta raaka-HTML:stä. Jos lausetta ei löydy, skriptit lisäävät tekstin vasta latauksen jälkeen, eikä moni robotti näe sitä.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Aja se vain omilla sivustoillasi tai sivustoilla, joita saat testata. Se lähettää yhdeksän pyyntöä: robots.txt, selain ja yksi pyyntö kutakin robottia kohti.
Miltä tulos näyttää?
Tämä on tulos tahallaan vihamielistä paikallista testipalvelinta vastaan. Se asettaa OAI-SearchBot-robotin haasteen eteen, rajoittaa ClaudeBot-robotin pyyntöjä, palauttaa PerplexityBot-robotille tyhjän kuoren ja kieltää GPTBot-robotin robots.txt-tiedostossa:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Sivustolla aiseewhy.com jokainen robotti saa koko sivun, samalla tilalla ja koolla kuin selain.
Miten taulukko luetaan?
- robots.txt-sarake on antamasi lupa: sääntö, joka koskee kyseistä robottia RFC 9309:n mukaan eli robotin nimeävä ryhmä, muuten
*, sitten pisin vastaava sääntö, ja tasatilanteessaAllowvoittaa. - HTTP- ja tavut-sarakkeet kertovat, mitä palvelin teki.
GPTBotsaa tilan 200, koska palvelin vastaa kaikille, jotka eivät noudata robots.txt-tiedostoa. Vieressä oleva sääntö on se, jota kunnolla käyttäytyvä robotti noudattaa. - Vaarallisia ovat päinvastaiset rivit:
allow: /rivillä, jossa lukeeBLOCKEDtaiTHIN. Sellainen sivusto sanoo kyllä mutta vastaa ei.
Mitä skripti ei kerro?
- Se testaa user agent -merkkijonoja omasta IP-osoitteestasi, ei oikeilla roboteilla. Moni palomuuri tunnistaa robotin sen valmistajan julkaisemista IP-alueista, joten oikea
OAI-SearchBotvoi päästä läpi, vaikka sinun pyyntösi hylätään, tai päinvastoin. Käytä skriptiä löytääksesi säännöt, jotka reagoivat user agentiin, ja tarkista sitten valmistajien julkaisemat IP-luettelot. - Se ei tahallaan suorita JavaScriptiä: se näyttää HTML:n, jonka ei-renderöivä robotti näkisi.
- Puhdas tulos ei ole suositus. Luettavissa oleminen ei ole sama asia kuin tulla mainituksi.
Mitä näemme oikeilla verkkosivustoilla?
AISeeWhy tekee tällaisen tarkistuksen 14 robotille. Yhdysvalloissa, Isossa-Britanniassa ja Ranskassa testaamamme 165 yrityssivustosta 38 % (63 sivustoa) käänsi palvelimella pois vähintään yhden tekoälyrobotin, vaikka selain samasta osoitteesta sai sivun. Jokainen näistä sivustoista esti vähintään yhden koulutus- tai kaavinrobotin, ja 10 % (16 sivustoa) esti lisäksi vähintään yhden tekoälyhakurobotin, kuten PerplexityBot (11 sivustoa) tai OAI-SearchBot (5).
Sivustot eivät ole satunnaisotos, ja 53 muuta ei voitu testata, koska jo tavallinen selainpyyntö evättiin tai jäi vastaamatta. Pidä tätä omalla sivustollasi tarkistamisen arvoisena ilmiönä, älä kokonaistutkimuksena.
Seuraavat vaiheet
- robots.txt-testeri ja -tarkistin tekoälyindeksoijille
- Tekoälyindeksoijan IP-tarkistus
- Katso esimerkki koko raportista
- Tekoälyindeksoijien valvonta
- Tilaukset ja hinnat
Tämän artikkelin indeksoijat
Usein kysytyt kysymykset
Onko tämän ajaminen turvallista millä tahansa sivustolla?
Aja se vain sivustoilla, jotka omistat tai joita saat testata. Se lähettää pyyntöjä robottien user agenteilla, ja jotkin bottipuolustukset pitävät niitä vihamielisinä.
Miksi GPTBot näyttää tilaa ok, vaikka robots.txt kieltää sen?
robots.txt on pyyntö, ei lukko. Palvelin vastaa kaikille, jotka ohittavat sen, joten HTTP-sarakkeessa lukee ok. Vieressä oleva sääntö näyttää, mitä kunnolla käyttäytyvä robotti noudattaa.
Suorittaako skripti JavaScriptiä?
Ei, tahallaan. Se näyttää HTML:n, jonka sivuja renderöimätön robotti saa. --expect-lippu kertoo, onko pääteksti jo siinä HTML:ssä.
Tarkoittaako puhdas tulos, että ChatGPT mainitsee sivuni?
Ei. Pääsy on välttämätön mutta ei riittävä. Jos haluat tietää, nimeääkö avustaja sivustosi, kysy siltä kysymykset, joita ostajasi kysyvät, ja katso, mitä sivustoja se mainitsee.
Lähteet
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)