Apakah sebenarnya yang diperoleh perangkak AI daripada laman anda? Skrip 66 baris

Diterbitkan

Jawapan ringkas

Minta halaman anda sebagai pelayar dan sebagai setiap perangkak AI, kemudian banding. Jika 403, 429 atau halaman cabaran hanya diberikan kepada perangkak, atau 200 yang jauh lebih kecil daripada halaman pelayar, bermakna tembok api menolaknya walaupun robots.txt membenarkan. Skrip Node 66 baris ini menguji tujuh perangkak dan membaca robots.txt mengikut peraturan RFC 9309.

robots.txt memberitahu perangkak apa yang boleh diambilnya. Ia tidak menyatakan apa yang sebenarnya dihantar balik oleh tembok api atau CDN anda. Catatan ini memberikan skrip pendek yang menunjukkan kedua-duanya bersebelahan, supaya anda dapat melihat di mana keduanya berbeza.

Dalam halaman ini
  1. Mengapa robots.txt tidak memberitahu apa yang diperoleh perangkak?
  2. Skrip
  3. Bagaimana cara menjalankannya?
  4. Bagaimana rupa outputnya?
  5. Bagaimana membaca jadual ini?
  6. Apa yang tidak dapat dikesan oleh skrip ini?
  7. Apa yang kita lihat pada laman web sebenar?

Mengapa robots.txt tidak memberitahu apa yang diperoleh perangkak?

robots.txt hanyalah satu permintaan. Tembok api, CDN atau peraturan perlindungan bot yang menentukan apa yang benar-benar dihantar balik, dan ia boleh menjawab OAI-SearchBot atau PerplexityBot dengan 403, 429 atau halaman "Just a moment..." sedangkan lawatan pelayar anda sendiri kelihatan biasa sahaja.

Cara menyemaknya ialah meminta URL yang sama sebagai pelayar dan sebagai perangkak, kemudian membandingkannya. Jika 403, 429 atau 503 hanya untuk perangkak, halaman bertajuk Just a moment..., atau respons 200 yang jauh lebih kecil daripada respons pelayar, semuanya menunjuk kepada tembok api.

Skrip

Simpan sebagai ai-crawler-view.mjs. Ia memerlukan Node 18 atau lebih baharu dan tiada pakej. Ia membaca robots.txt sekali, memuat halaman anda sebagai pelayar, kemudian sebagai tujuh perangkak AI: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot dan Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic tidak menerbitkan rentetan ejen pengguna penuh, jadi dua baris Claude hanya menggunakan token perangkak. Tembok api yang memadankan token akan bertindak balas dengan cara yang sama.

Bagaimana cara menjalankannya?

Jalankan pada halaman laman anda sendiri. Bendera --expect yang pilihan menyemak sama ada satu ayat daripada kandungan utama anda wujud dalam HTML mentah yang diterima setiap perangkak. Jika tiada, skrip menambah teks itu selepas halaman dimuat, dan banyak perangkak tidak akan melihatnya.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Jalankan hanya pada laman yang anda miliki atau dibenarkan untuk diuji. Ia menghantar sembilan permintaan: robots.txt, pelayar dan satu untuk setiap perangkak.

Bagaimana rupa outputnya?

Ini ialah hasil terhadap pelayan ujian tempatan yang sengaja dibuat bermusuhan: ia mencabar OAI-SearchBot, mengehadkan kadar ClaudeBot, memberikan PerplexityBot cangkerang kosong dan melarang GPTBot dalam robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Di aiseewhy.com setiap perangkak mendapat halaman penuh, dengan status dan saiz yang sama seperti pelayar.

Bagaimana membaca jadual ini?

Apa yang tidak dapat dikesan oleh skrip ini?

Apa yang kita lihat pada laman web sebenar?

AISeeWhy menjalankan semakan seperti ini untuk 14 perangkak. Daripada 165 laman web perniagaan di AS, UK dan Perancis yang dapat kami uji, 38% (63 laman) menolak sekurang-kurangnya satu perangkak AI di peringkat pelayan sedangkan pelayar dari alamat yang sama mendapat halaman itu. Setiap laman itu menolak sekurang-kurangnya satu bot latihan atau pengorek, dan 10% (16 laman) turut menolak sekurang-kurangnya satu perangkak carian AI, seperti PerplexityBot (11 laman) atau OAI-SearchBot (5).

Laman-laman ini bukan sampel rawak, dan 53 lagi tidak dapat diuji kerana permintaan pelayar biasa pun ditolak atau tidak dijawab. Anggaplah ini corak yang wajar disemak pada laman anda sendiri, bukan banci.

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Soalan lazim

Adakah selamat menjalankan ini pada mana-mana laman?

Jalankan hanya pada laman yang anda miliki atau dibenarkan untuk diuji. Ia menghantar permintaan dengan ejen pengguna perangkak, yang dianggap bermusuhan oleh sesetengah pertahanan bot.

Mengapa GPTBot menunjukkan ok walaupun robots.txt melarangnya?

robots.txt ialah permintaan, bukan kunci. Pelayan menjawab sesiapa sahaja yang mengabaikannya, jadi lajur HTTP menunjukkan ok. Peraturan di sebelahnya menunjukkan apa yang dipatuhi perangkak yang berkelakuan baik.

Adakah skrip ini menjalankan JavaScript?

Tidak, dengan sengaja. Ia menunjukkan HTML yang diterima oleh perangkak yang tidak memaparkan halaman. Bendera --expect memberitahu anda sama ada teks utama anda sudah ada dalam HTML itu.

Adakah hasil yang bersih bermakna ChatGPT akan memetik halaman saya?

Tidak. Akses itu perlu tetapi tidak mencukupi. Untuk melihat sama ada pembantu menyebut laman anda, tanyakan soalan yang ditanya pembeli anda dan catat laman mana yang dipetiknya.

Sumber

Artikel lain