Apa yang sebenarnya didapat crawler AI dari situs Anda? Skrip 66 baris
Minta halaman Anda sebagai browser dan sebagai tiap crawler AI, lalu bandingkan. Jika hanya crawler yang mendapat 403, 429, atau halaman tantangan, atau 200 yang ukurannya jauh lebih kecil daripada halaman untuk browser, berarti firewall menolaknya meskipun robots.txt mengizinkan. Skrip Node 66 baris ini melakukannya untuk tujuh crawler dan membaca robots.txt sesuai aturan RFC 9309.
robots.txt memberi tahu crawler apa yang boleh diambil. File ini tidak menjelaskan apa yang sebenarnya dikirim firewall atau CDN Anda. Artikel ini memberi Anda skrip singkat yang menampilkan keduanya berdampingan, sehingga Anda bisa melihat di mana keduanya tidak sejalan.
Di halaman ini
Mengapa robots.txt tidak menunjukkan apa yang didapat crawler?
robots.txt hanyalah permintaan. Firewall, CDN, atau aturan perlindungan bot yang menentukan apa yang benar-benar dikirim, dan semuanya bisa menjawab OAI-SearchBot atau PerplexityBot dengan 403, 429, atau halaman "Just a moment..." sementara kunjungan browser Anda sendiri tampak normal.
Caranya adalah meminta URL yang sama sebagai browser dan sebagai crawler, lalu membandingkannya. Jika hanya crawler yang mendapat 403, 429, atau 503, jika ada halaman berjudul Just a moment..., atau jika respons 200 jauh lebih kecil daripada milik browser, semuanya menunjuk ke firewall.
Skripnya
Simpan sebagai ai-crawler-view.mjs. Skrip ini butuh Node 18 atau lebih baru dan tanpa paket tambahan. Skrip membaca robots.txt satu kali, mengambil halaman Anda sebagai browser, lalu sebagai tujuh crawler AI: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot, dan Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic tidak mencantumkan string user agent lengkap, jadi dua baris Claude hanya memakai token crawler. Firewall yang mencocokkan token akan bereaksi dengan cara yang sama.
Bagaimana cara menjalankannya?
Jalankan pada halaman situs Anda sendiri. Opsi --expect memeriksa apakah sebuah kalimat dari konten utama Anda ada di HTML mentah yang diterima tiap crawler. Jika tidak ada, berarti skrip menambahkan teks itu setelah halaman dimuat, dan banyak crawler tidak akan melihatnya.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Jalankan hanya pada situs milik Anda atau yang boleh Anda uji. Skrip mengirim sembilan permintaan: robots.txt, browser, dan satu untuk tiap crawler.
Seperti apa hasilnya?
Ini hasil terhadap server uji lokal yang sengaja dibuat bermusuhan: menantang OAI-SearchBot, membatasi laju ClaudeBot, memberi PerplexityBot cangkang kosong, dan melarang GPTBot di robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Di aiseewhy.com, setiap crawler mendapat halaman penuh dengan status dan ukuran yang sama seperti browser.
Bagaimana cara membaca tabelnya?
- Kolom robots.txt adalah izin yang Anda berikan: aturan yang berlaku untuk crawler itu menurut RFC 9309, yaitu grup yang menyebut nama crawler, jika tidak ada maka
*, lalu aturan terpanjang yang cocok, denganAllowmenang jika seri. - Kolom HTTP dan bytes adalah apa yang dilakukan server.
GPTBotmenunjukkan 200 karena server menjawab siapa pun yang mengabaikan robots.txt; aturan di sebelahnya adalah yang dipatuhi crawler yang berperilaku baik. - Baris yang berbahaya adalah kebalikannya:
allow: /di sampingBLOCKEDatauTHIN. Itu adalah situs yang berkata ya tetapi menjawab tidak.
Apa yang tidak bisa diketahui dari skrip ini?
- Skrip menguji user agent dari alamat IP Anda sendiri, bukan dari crawler yang asli. Banyak firewall memverifikasi crawler lewat rentang IP yang dipublikasikan vendornya, sehingga
OAI-SearchBotyang asli mungkin diloloskan saat permintaan Anda ditolak, atau sebaliknya. Gunakan skrip ini untuk menemukan aturan yang bereaksi terhadap user agent, lalu periksa daftar IP yang dipublikasikan vendor. - Skrip tidak menjalankan JavaScript, dan itu disengaja: skrip menampilkan HTML yang akan dilihat crawler yang tidak melakukan render.
- Hasil yang bersih bukanlah rekomendasi. Bisa dibaca tidak sama dengan dikutip.
Apa yang kami lihat di situs web nyata?
AISeeWhy menjalankan pemeriksaan semacam ini untuk 14 crawler. Dari 165 situs bisnis di AS, Inggris, dan Prancis yang bisa kami uji, 38% (63 situs) menolak setidaknya satu crawler AI di sisi server, sementara browser dari alamat yang sama mendapat halamannya. Setiap situs itu menolak setidaknya satu bot pelatihan atau scraper, dan 10% (16 situs) juga menolak setidaknya satu crawler pencarian AI, seperti PerplexityBot (11 situs) atau OAI-SearchBot (5).
Situs-situs itu bukan sampel acak, dan 53 situs lain tidak bisa diuji karena permintaan browser biasa pun ditolak atau tidak dijawab. Anggap ini sebagai pola yang layak diperiksa di situs Anda sendiri, bukan sensus.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa IP crawler AI
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Apakah aman menjalankan ini pada situs mana pun?
Jalankan hanya pada situs milik Anda atau yang boleh Anda uji. Skrip mengirim permintaan dengan user agent crawler, yang oleh sebagian pertahanan bot dianggap bermusuhan.
Mengapa GPTBot menunjukkan ok padahal robots.txt melarangnya?
robots.txt adalah permintaan, bukan kunci. Server menjawab siapa pun yang mengabaikannya, jadi kolom HTTP menunjukkan ok. Aturan di sebelahnya menunjukkan apa yang dipatuhi crawler yang berperilaku baik.
Apakah skrip ini menjalankan JavaScript?
Tidak, dan itu disengaja. Skrip menampilkan HTML yang diterima crawler yang tidak merender halaman. Opsi --expect memberi tahu apakah teks utama Anda sudah ada di HTML itu.
Apakah hasil yang bersih berarti ChatGPT akan mengutip halaman saya?
Tidak. Akses itu perlu tetapi belum cukup. Untuk melihat apakah sebuah asisten menyebut situs Anda, ajukan pertanyaan yang diajukan pembeli Anda dan catat situs mana yang dikutip.
Sumber
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)