Apakah sebenarnya yang diperoleh perangkak AI daripada laman anda? Skrip 66 baris
Minta halaman anda sebagai pelayar dan sebagai setiap perangkak AI, kemudian banding. Jika 403, 429 atau halaman cabaran hanya diberikan kepada perangkak, atau 200 yang jauh lebih kecil daripada halaman pelayar, bermakna tembok api menolaknya walaupun robots.txt membenarkan. Skrip Node 66 baris ini menguji tujuh perangkak dan membaca robots.txt mengikut peraturan RFC 9309.
robots.txt memberitahu perangkak apa yang boleh diambilnya. Ia tidak menyatakan apa yang sebenarnya dihantar balik oleh tembok api atau CDN anda. Catatan ini memberikan skrip pendek yang menunjukkan kedua-duanya bersebelahan, supaya anda dapat melihat di mana keduanya berbeza.
Dalam halaman ini
Mengapa robots.txt tidak memberitahu apa yang diperoleh perangkak?
robots.txt hanyalah satu permintaan. Tembok api, CDN atau peraturan perlindungan bot yang menentukan apa yang benar-benar dihantar balik, dan ia boleh menjawab OAI-SearchBot atau PerplexityBot dengan 403, 429 atau halaman "Just a moment..." sedangkan lawatan pelayar anda sendiri kelihatan biasa sahaja.
Cara menyemaknya ialah meminta URL yang sama sebagai pelayar dan sebagai perangkak, kemudian membandingkannya. Jika 403, 429 atau 503 hanya untuk perangkak, halaman bertajuk Just a moment..., atau respons 200 yang jauh lebih kecil daripada respons pelayar, semuanya menunjuk kepada tembok api.
Skrip
Simpan sebagai ai-crawler-view.mjs. Ia memerlukan Node 18 atau lebih baharu dan tiada pakej. Ia membaca robots.txt sekali, memuat halaman anda sebagai pelayar, kemudian sebagai tujuh perangkak AI: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot dan Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic tidak menerbitkan rentetan ejen pengguna penuh, jadi dua baris Claude hanya menggunakan token perangkak. Tembok api yang memadankan token akan bertindak balas dengan cara yang sama.
Bagaimana cara menjalankannya?
Jalankan pada halaman laman anda sendiri. Bendera --expect yang pilihan menyemak sama ada satu ayat daripada kandungan utama anda wujud dalam HTML mentah yang diterima setiap perangkak. Jika tiada, skrip menambah teks itu selepas halaman dimuat, dan banyak perangkak tidak akan melihatnya.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Jalankan hanya pada laman yang anda miliki atau dibenarkan untuk diuji. Ia menghantar sembilan permintaan: robots.txt, pelayar dan satu untuk setiap perangkak.
Bagaimana rupa outputnya?
Ini ialah hasil terhadap pelayan ujian tempatan yang sengaja dibuat bermusuhan: ia mencabar OAI-SearchBot, mengehadkan kadar ClaudeBot, memberikan PerplexityBot cangkerang kosong dan melarang GPTBot dalam robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Di aiseewhy.com setiap perangkak mendapat halaman penuh, dengan status dan saiz yang sama seperti pelayar.
Bagaimana membaca jadual ini?
- Lajur robots.txt ialah kebenaran yang anda berikan: peraturan yang terpakai kepada perangkak itu mengikut RFC 9309, iaitu kumpulan yang menamakan perangkak itu, jika tiada maka
*, kemudian peraturan paling panjang yang sepadan, denganAllowmenang jika seri. - Lajur HTTP dan bait menunjukkan apa yang dilakukan pelayan.
GPTBotmenunjukkan 200 kerana pelayan menjawab sesiapa sahaja yang mengabaikan robots.txt; peraturan di sebelahnya ialah apa yang dipatuhi perangkak yang berkelakuan baik. - Baris yang berbahaya ialah sebaliknya:
allow: /di sebelahBLOCKEDatauTHIN. Itulah laman yang berkata ya tetapi menjawab tidak.
Apa yang tidak dapat dikesan oleh skrip ini?
- Ia menguji ejen pengguna dari alamat IP anda sendiri, bukan perangkak sebenar. Banyak tembok api mengesahkan perangkak melalui julat IP yang diterbitkan oleh vendornya, jadi
OAI-SearchBotsebenar mungkin dibenarkan masuk walaupun permintaan anda ditolak, atau sebaliknya. Gunakannya untuk mencari peraturan yang bertindak balas terhadap ejen pengguna, kemudian semak senarai IP yang diterbitkan vendor. - Ia tidak menjalankan JavaScript, dengan sengaja: ia menunjukkan HTML yang akan dilihat oleh perangkak yang tidak memaparkan halaman.
- Hasil yang bersih bukan cadangan. Boleh dibaca tidak sama dengan dipetik.
Apa yang kita lihat pada laman web sebenar?
AISeeWhy menjalankan semakan seperti ini untuk 14 perangkak. Daripada 165 laman web perniagaan di AS, UK dan Perancis yang dapat kami uji, 38% (63 laman) menolak sekurang-kurangnya satu perangkak AI di peringkat pelayan sedangkan pelayar dari alamat yang sama mendapat halaman itu. Setiap laman itu menolak sekurang-kurangnya satu bot latihan atau pengorek, dan 10% (16 laman) turut menolak sekurang-kurangnya satu perangkak carian AI, seperti PerplexityBot (11 laman) atau OAI-SearchBot (5).
Laman-laman ini bukan sampel rawak, dan 53 lagi tidak dapat diuji kerana permintaan pelayar biasa pun ditolak atau tidak dijawab. Anggaplah ini corak yang wajar disemak pada laman anda sendiri, bukan banci.
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Semakan IP perangkak AI
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Adakah selamat menjalankan ini pada mana-mana laman?
Jalankan hanya pada laman yang anda miliki atau dibenarkan untuk diuji. Ia menghantar permintaan dengan ejen pengguna perangkak, yang dianggap bermusuhan oleh sesetengah pertahanan bot.
Mengapa GPTBot menunjukkan ok walaupun robots.txt melarangnya?
robots.txt ialah permintaan, bukan kunci. Pelayan menjawab sesiapa sahaja yang mengabaikannya, jadi lajur HTTP menunjukkan ok. Peraturan di sebelahnya menunjukkan apa yang dipatuhi perangkak yang berkelakuan baik.
Adakah skrip ini menjalankan JavaScript?
Tidak, dengan sengaja. Ia menunjukkan HTML yang diterima oleh perangkak yang tidak memaparkan halaman. Bendera --expect memberitahu anda sama ada teks utama anda sudah ada dalam HTML itu.
Adakah hasil yang bersih bermakna ChatGPT akan memetik halaman saya?
Tidak. Akses itu perlu tetapi tidak mencukupi. Untuk melihat sama ada pembantu menyebut laman anda, tanyakan soalan yang ditanya pembeli anda dan catat laman mana yang dipetiknya.
Sumber
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)