AI crawler thực sự nhận được gì từ site của bạn? Một script 66 dòng

Đăng ngày

Trả lời ngắn

Hãy yêu cầu trang của bạn như một trình duyệt và như từng AI crawler, rồi so sánh. Nếu chỉ crawler nhận được lỗi 403, 429 hoặc trang thử thách, hoặc nhận mã 200 nhưng nhỏ hơn nhiều so với trang của trình duyệt, nghĩa là tường lửa từ chối nó dù robots.txt cho phép. Một script Node 66 dòng làm việc này cho bảy crawler và đọc robots.txt theo quy tắc RFC 9309.

robots.txt cho crawler biết nó được phép tải gì. Nó không nói gì về những gì tường lửa hay CDN của bạn thực sự trả về. Bài viết này đưa bạn một script ngắn hiển thị cả hai cạnh nhau, để bạn thấy chúng khác nhau ở đâu.

Trong trang này
  1. Vì sao robots.txt không cho biết crawler nhận được gì?
  2. Script
  3. Chạy nó như thế nào?
  4. Kết quả trông như thế nào?
  5. Đọc bảng này như thế nào?
  6. Script không cho bạn biết điều gì?
  7. Chúng tôi thấy gì trên các website thực tế?

Vì sao robots.txt không cho biết crawler nhận được gì?

robots.txt chỉ là một yêu cầu. Tường lửa, CDN hoặc quy tắc chống bot mới quyết định thứ thực sự được gửi về, và nó có thể trả cho OAI-SearchBot hoặc PerplexityBot lỗi 403, 429 hay trang "Just a moment..." trong khi bạn truy cập bằng trình duyệt vẫn hoàn toàn bình thường.

Cách kiểm tra là yêu cầu cùng một URL như một trình duyệt và như crawler, rồi so sánh. Lỗi 403, 429 hoặc 503 chỉ dành cho crawler, trang có tiêu đề Just a moment..., hoặc phản hồi 200 nhỏ hơn nhiều so với trang của trình duyệt, tất cả đều chỉ về tường lửa.

Script

Lưu nó với tên ai-crawler-view.mjs. Script cần Node 18 trở lên và không cần gói nào. Nó đọc robots.txt một lần, tải trang của bạn như một trình duyệt, rồi như bảy AI crawler: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot và Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic không công bố đầy đủ chuỗi user agent, nên hai dòng Claude chỉ dùng token của crawler. Tường lửa khớp theo token sẽ phản ứng giống hệt.

Chạy nó như thế nào?

Chạy nó trên một trang của chính site bạn. Cờ tùy chọn --expect kiểm tra xem một câu trong nội dung chính của bạn có nằm trong HTML thô mà mỗi crawler nhận được hay không. Nếu thiếu, nghĩa là script thêm văn bản sau khi tải, và nhiều crawler sẽ không thấy nó.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Chỉ chạy trên site bạn sở hữu hoặc được phép kiểm tra. Nó gửi chín yêu cầu: robots.txt, trình duyệt và một yêu cầu cho mỗi crawler.

Kết quả trông như thế nào?

Đây là kết quả trên một máy chủ thử nghiệm cục bộ cố tình khắt khe: nó đưa ra thử thách với OAI-SearchBot, giới hạn tốc độ ClaudeBot, trả cho PerplexityBot một vỏ rỗng và cấm GPTBot trong robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Trên aiseewhy.com, mọi crawler đều nhận được trang đầy đủ, với cùng trạng thái và kích thước như trình duyệt.

Đọc bảng này như thế nào?

Script không cho bạn biết điều gì?

Chúng tôi thấy gì trên các website thực tế?

AISeeWhy chạy kiểu kiểm tra này cho 14 crawler. Trong 165 website doanh nghiệp ở Mỹ, Anh và Pháp mà chúng tôi kiểm tra được, 38% (63 site) từ chối ít nhất một AI crawler ở phía máy chủ trong khi trình duyệt từ cùng địa chỉ vẫn nhận được trang. Mọi site đó đều từ chối ít nhất một bot huấn luyện hoặc scraper, và 10% (16 site) còn từ chối ít nhất một AI search crawler, chẳng hạn PerplexityBot (11 site) hoặc OAI-SearchBot (5).

Các site này không phải mẫu ngẫu nhiên, và còn 53 site nữa không kiểm tra được vì ngay cả một yêu cầu trình duyệt thông thường cũng bị từ chối hoặc không được trả lời. Hãy xem đó là một xu hướng đáng kiểm tra trên site của bạn, không phải một cuộc điều tra toàn diện.

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

Chạy script này trên bất kỳ site nào có an toàn không?

Chỉ chạy trên site bạn sở hữu hoặc được phép kiểm tra. Script gửi yêu cầu với user agent của crawler, và một số hệ thống chống bot coi đó là hành vi thù địch.

Vì sao GPTBot hiện ok khi robots.txt cấm nó?

robots.txt là một yêu cầu, không phải ổ khóa. Máy chủ trả lời bất kỳ ai bỏ qua nó, nên cột HTTP hiện ok. Quy tắc bên cạnh cho thấy điều một crawler tuân thủ sẽ làm theo.

Script có chạy JavaScript không?

Không, và đó là chủ ý. Nó cho thấy HTML mà một crawler không render trang nhận được. Cờ --expect cho bạn biết văn bản chính của mình đã có sẵn trong HTML đó hay chưa.

Kết quả sạch có nghĩa là ChatGPT sẽ trích dẫn trang của tôi không?

Không. Quyền truy cập là cần nhưng chưa đủ. Để biết một trợ lý có nêu tên site của bạn hay không, hãy hỏi nó những câu mà khách hàng của bạn hỏi và ghi lại các site nó trích dẫn.

Nguồn tham khảo

Bài viết khác