Apa yang sebenarnya didapat crawler AI dari situs Anda? Skrip 66 baris

Dipublikasikan

Jawaban singkat

Minta halaman Anda sebagai browser dan sebagai tiap crawler AI, lalu bandingkan. Jika hanya crawler yang mendapat 403, 429, atau halaman tantangan, atau 200 yang ukurannya jauh lebih kecil daripada halaman untuk browser, berarti firewall menolaknya meskipun robots.txt mengizinkan. Skrip Node 66 baris ini melakukannya untuk tujuh crawler dan membaca robots.txt sesuai aturan RFC 9309.

robots.txt memberi tahu crawler apa yang boleh diambil. File ini tidak menjelaskan apa yang sebenarnya dikirim firewall atau CDN Anda. Artikel ini memberi Anda skrip singkat yang menampilkan keduanya berdampingan, sehingga Anda bisa melihat di mana keduanya tidak sejalan.

Di halaman ini
  1. Mengapa robots.txt tidak menunjukkan apa yang didapat crawler?
  2. Skripnya
  3. Bagaimana cara menjalankannya?
  4. Seperti apa hasilnya?
  5. Bagaimana cara membaca tabelnya?
  6. Apa yang tidak bisa diketahui dari skrip ini?
  7. Apa yang kami lihat di situs web nyata?

Mengapa robots.txt tidak menunjukkan apa yang didapat crawler?

robots.txt hanyalah permintaan. Firewall, CDN, atau aturan perlindungan bot yang menentukan apa yang benar-benar dikirim, dan semuanya bisa menjawab OAI-SearchBot atau PerplexityBot dengan 403, 429, atau halaman "Just a moment..." sementara kunjungan browser Anda sendiri tampak normal.

Caranya adalah meminta URL yang sama sebagai browser dan sebagai crawler, lalu membandingkannya. Jika hanya crawler yang mendapat 403, 429, atau 503, jika ada halaman berjudul Just a moment..., atau jika respons 200 jauh lebih kecil daripada milik browser, semuanya menunjuk ke firewall.

Skripnya

Simpan sebagai ai-crawler-view.mjs. Skrip ini butuh Node 18 atau lebih baru dan tanpa paket tambahan. Skrip membaca robots.txt satu kali, mengambil halaman Anda sebagai browser, lalu sebagai tujuh crawler AI: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot, dan Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic tidak mencantumkan string user agent lengkap, jadi dua baris Claude hanya memakai token crawler. Firewall yang mencocokkan token akan bereaksi dengan cara yang sama.

Bagaimana cara menjalankannya?

Jalankan pada halaman situs Anda sendiri. Opsi --expect memeriksa apakah sebuah kalimat dari konten utama Anda ada di HTML mentah yang diterima tiap crawler. Jika tidak ada, berarti skrip menambahkan teks itu setelah halaman dimuat, dan banyak crawler tidak akan melihatnya.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Jalankan hanya pada situs milik Anda atau yang boleh Anda uji. Skrip mengirim sembilan permintaan: robots.txt, browser, dan satu untuk tiap crawler.

Seperti apa hasilnya?

Ini hasil terhadap server uji lokal yang sengaja dibuat bermusuhan: menantang OAI-SearchBot, membatasi laju ClaudeBot, memberi PerplexityBot cangkang kosong, dan melarang GPTBot di robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Di aiseewhy.com, setiap crawler mendapat halaman penuh dengan status dan ukuran yang sama seperti browser.

Bagaimana cara membaca tabelnya?

Apa yang tidak bisa diketahui dari skrip ini?

Apa yang kami lihat di situs web nyata?

AISeeWhy menjalankan pemeriksaan semacam ini untuk 14 crawler. Dari 165 situs bisnis di AS, Inggris, dan Prancis yang bisa kami uji, 38% (63 situs) menolak setidaknya satu crawler AI di sisi server, sementara browser dari alamat yang sama mendapat halamannya. Setiap situs itu menolak setidaknya satu bot pelatihan atau scraper, dan 10% (16 situs) juga menolak setidaknya satu crawler pencarian AI, seperti PerplexityBot (11 situs) atau OAI-SearchBot (5).

Situs-situs itu bukan sampel acak, dan 53 situs lain tidak bisa diuji karena permintaan browser biasa pun ditolak atau tidak dijawab. Anggap ini sebagai pola yang layak diperiksa di situs Anda sendiri, bukan sensus.

Alat gratis

Langkah berikutnya

Crawler dalam artikel ini

Pertanyaan yang sering diajukan

Apakah aman menjalankan ini pada situs mana pun?

Jalankan hanya pada situs milik Anda atau yang boleh Anda uji. Skrip mengirim permintaan dengan user agent crawler, yang oleh sebagian pertahanan bot dianggap bermusuhan.

Mengapa GPTBot menunjukkan ok padahal robots.txt melarangnya?

robots.txt adalah permintaan, bukan kunci. Server menjawab siapa pun yang mengabaikannya, jadi kolom HTTP menunjukkan ok. Aturan di sebelahnya menunjukkan apa yang dipatuhi crawler yang berperilaku baik.

Apakah skrip ini menjalankan JavaScript?

Tidak, dan itu disengaja. Skrip menampilkan HTML yang diterima crawler yang tidak merender halaman. Opsi --expect memberi tahu apakah teks utama Anda sudah ada di HTML itu.

Apakah hasil yang bersih berarti ChatGPT akan mengutip halaman saya?

Tidak. Akses itu perlu tetapi belum cukup. Untuk melihat apakah sebuah asisten menyebut situs Anda, ajukan pertanyaan yang diajukan pembeli Anda dan catat situs mana yang dikutip.

Sumber

Artikel lainnya