Mit kapnak valójában az AI-crawlerek az oldaladtól? Egy 66 soros script
Kérd le az oldalt böngészőként, majd az egyes AI-crawlerekként, és hasonlítsd össze az eredményt. Ha csak a crawler kap 403-at, 429-et vagy challenge oldalt, vagy a 200-as válasz jóval kisebb a böngészőének, akkor a tűzfal akkor is elutasítja, ha a robots.txt engedi. Egy 66 soros Node-script hét crawlerre végzi el az ellenőrzést, és az RFC 9309 szabályai szerint olvassa a robots.txt-et.
A robots.txt megmondja a crawlernek, mit kérhet le. Azt viszont nem mondja meg, mit küld vissza ténylegesen a tűzfalad vagy a CDN-ed. Ez a bejegyzés egy rövid scriptet ad, amely egymás mellett mutatja a kettőt, így láthatod, hol térnek el egymástól.
Ezen az oldalon
Miért nem árulja el a robots.txt, mit kap a crawler?
A robots.txt csak kérés. Hogy valójában mi érkezik vissza, azt a tűzfal, a CDN vagy a botvédelmi szabály dönti el, és az OAI-SearchBot vagy a PerplexityBot kérésére 403-at, 429-et vagy "Just a moment..." oldalt adhat, miközben a saját böngészős látogatásaid teljesen normálisan működnek.
Az ellenőrzés lényege: kérd le ugyanazt az URL-t böngészőként és crawlerként, majd hasonlítsd össze az eredményt. Ha csak a crawler kap 403-at, 429-et vagy 503-at, ha az oldal címe Just a moment..., vagy ha a 200-as válasz jóval kisebb a böngészőének, az mind a tűzfalra utal.
A script
Mentsd ai-crawler-view.mjs néven. Node 18-as vagy újabb verzió kell hozzá, csomagokra nincs szükség. Egyszer beolvassa a robots.txt-et, lekéri az oldalt böngészőként, majd hét AI-crawlerként: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot és Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Az Anthropic nem közöl teljes user agent karakterláncot, ezért a két Claude-sor csak a crawler tokent használja. Az a tűzfal, amely a tokenre illeszt, ugyanígy reagál.
Hogyan futtassam?
Futtasd a saját oldalad egy oldalán. Az opcionális --expect kapcsoló azt ellenőrzi, hogy a fő tartalmad egy mondata szerepel-e az egyes crawlerek által kapott nyers HTML-ben. Ha hiányzik, akkor script tölti be a szöveget az oldal betöltése után, és sok crawler ezt nem látja.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Csak olyan oldalon futtasd, amely a tiéd, vagy amelyen engedélyezett a tesztelés. Kilenc kérést küld: a robots.txt-et, a böngészőt, majd crawlerenként egyet.
Hogyan néz ki a kimenet?
Ez az eredménye egy szándékosan ellenséges helyi tesztszervernek, amely challenge-et ad az OAI-SearchBot-nak, korlátozza a ClaudeBot kéréseit, üres vázat szolgál ki a PerplexityBot-nak, és a robots.txt-ben tiltja a GPTBot-ot:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Az aiseewhy.com oldalon minden crawler a teljes oldalt kapja, a böngészővel megegyező állapotkóddal és mérettel.
Hogyan olvassam a táblázatot?
- A robots.txt oszlop az általad adott engedély: az a szabály, amely az RFC 9309 szerint az adott crawlerre vonatkozik. Ez a crawlert megnevező csoport, ennek hiányában a
*, azon belül a leghosszabb illeszkedő szabály, egyenlőség esetén azAllownyer. - Az HTTP és a bytes oszlop azt mutatja, mit tett a szerver. A
GPTBot200-at mutat, mert a szerver mindenkinek válaszol, aki figyelmen kívül hagyja a robots.txt-et. A mellette álló szabályt a jól viselkedő crawler tartja be. - A veszélyes sorok az ellenkezői: az
allow: /mellettBLOCKEDvagyTHINáll. Ez egy olyan oldal, amely igent mond, de nemmel válaszol.
Mit nem tud megmondani a script?
- A user agenteket a saját IP-címedről teszteli, nem a valódi crawlerekről. Sok tűzfal a gyártó által közzétett IP-tartományok alapján azonosít egy crawlert, így előfordulhat, hogy a valódi
OAI-SearchBot-ot átengedik, miközben a te kérésedet elutasítják, vagy fordítva. Használd a user agentre reagáló szabályok megtalálására, majd ellenőrizd a gyártók közzétett IP-listáit. - Szándékosan nem futtat JavaScriptet: azt a HTML-t mutatja, amelyet egy nem renderelő crawler látna.
- A hibátlan eredmény nem ajánlás. Az, hogy olvasható vagy, nem jelenti azt, hogy idéznek is.
Mit látunk valós weboldalakon?
Az AISeeWhy 14 crawlerre végez ilyen ellenőrzést. Az Egyesült Államokban, az Egyesült Királyságban és Franciaországban az általunk tesztelhető 165 üzleti weboldal közül 38% (63 oldal) szerveroldalon legalább egy AI-crawlert elutasított, miközben az ugyanarról a címről érkező böngésző megkapta az oldalt. Ezek közül mindegyik elutasított legalább egy tanításra szolgáló vagy scraper botot, 10% (16 oldal) pedig legalább egy AI-keresőcrawlert is, például a PerplexityBot-ot (11 oldal) vagy az OAI-SearchBot-ot (5).
Az oldalak nem véletlenszerű mintát alkotnak, és további 53 oldalt nem lehetett tesztelni, mert még egy sima böngészős kérést is elutasítottak vagy nem válaszoltak rá. Tekintsd ezt egy olyan mintázatnak, amelyet érdemes a saját oldaladon ellenőrizni, nem népszámlálásnak.
Következő lépések
- robots.txt tesztelő és ellenőrző AI-crawlerekhez
- AI-crawler IP-ellenőrzés
- Nézzen meg egy teljes jelentést példaként
- AI-crawler-figyelés
- Csomagok és árak
A cikkben szereplő crawlerek
Gyakran ismételt kérdések
Biztonságos ezt bármelyik oldalon futtatni?
Csak olyan oldalon futtasd, amely a tiéd, vagy amelyen engedélyezett a tesztelés. Crawler user agentekkel küld kéréseket, amelyeket egyes botvédelmi rendszerek ellenségesnek tekintenek.
Miért mutat a GPTBot ok-t, ha a robots.txt tiltja?
A robots.txt kérés, nem zár. A szerver mindenkinek válaszol, aki figyelmen kívül hagyja, ezért az HTTP oszlopban ok szerepel. A mellette álló szabály mutatja, mit tart be a jól viselkedő crawler.
Futtat a script JavaScriptet?
Nem, szándékosan. Azt a HTML-t mutatja, amelyet a nem renderelő crawler megkap. A --expect kapcsoló megmondja, hogy a fő szövegod már benne van-e ebben a HTML-ben.
Azt jelenti a hibátlan eredmény, hogy a ChatGPT idézni fogja az oldalamat?
Nem. A hozzáférés szükséges, de nem elégséges. Hogy egy asszisztens megnevezi-e az oldaladat, úgy derítheted ki, ha feltéded neki a vásárlóid kérdéseit, és megnézed, mely oldalakat idézi.
Források
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Az OpenAI crawlerek áttekintése
- Anthropic: Gyűjt-e adatokat az Anthropic a webről, és hogyan tilthatják le a crawlert az oldaltulajdonosok?
- Perplexity: Perplexity crawlerek
- Cloudflare: AI-crawlerek kezelése (AI Crawl Control)