AI crawler thực sự nhận được gì từ site của bạn? Một script 66 dòng
Hãy yêu cầu trang của bạn như một trình duyệt và như từng AI crawler, rồi so sánh. Nếu chỉ crawler nhận được lỗi 403, 429 hoặc trang thử thách, hoặc nhận mã 200 nhưng nhỏ hơn nhiều so với trang của trình duyệt, nghĩa là tường lửa từ chối nó dù robots.txt cho phép. Một script Node 66 dòng làm việc này cho bảy crawler và đọc robots.txt theo quy tắc RFC 9309.
robots.txt cho crawler biết nó được phép tải gì. Nó không nói gì về những gì tường lửa hay CDN của bạn thực sự trả về. Bài viết này đưa bạn một script ngắn hiển thị cả hai cạnh nhau, để bạn thấy chúng khác nhau ở đâu.
Trong trang này
Vì sao robots.txt không cho biết crawler nhận được gì?
robots.txt chỉ là một yêu cầu. Tường lửa, CDN hoặc quy tắc chống bot mới quyết định thứ thực sự được gửi về, và nó có thể trả cho OAI-SearchBot hoặc PerplexityBot lỗi 403, 429 hay trang "Just a moment..." trong khi bạn truy cập bằng trình duyệt vẫn hoàn toàn bình thường.
Cách kiểm tra là yêu cầu cùng một URL như một trình duyệt và như crawler, rồi so sánh. Lỗi 403, 429 hoặc 503 chỉ dành cho crawler, trang có tiêu đề Just a moment..., hoặc phản hồi 200 nhỏ hơn nhiều so với trang của trình duyệt, tất cả đều chỉ về tường lửa.
Script
Lưu nó với tên ai-crawler-view.mjs. Script cần Node 18 trở lên và không cần gói nào. Nó đọc robots.txt một lần, tải trang của bạn như một trình duyệt, rồi như bảy AI crawler: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot và Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic không công bố đầy đủ chuỗi user agent, nên hai dòng Claude chỉ dùng token của crawler. Tường lửa khớp theo token sẽ phản ứng giống hệt.
Chạy nó như thế nào?
Chạy nó trên một trang của chính site bạn. Cờ tùy chọn --expect kiểm tra xem một câu trong nội dung chính của bạn có nằm trong HTML thô mà mỗi crawler nhận được hay không. Nếu thiếu, nghĩa là script thêm văn bản sau khi tải, và nhiều crawler sẽ không thấy nó.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Chỉ chạy trên site bạn sở hữu hoặc được phép kiểm tra. Nó gửi chín yêu cầu: robots.txt, trình duyệt và một yêu cầu cho mỗi crawler.
Kết quả trông như thế nào?
Đây là kết quả trên một máy chủ thử nghiệm cục bộ cố tình khắt khe: nó đưa ra thử thách với OAI-SearchBot, giới hạn tốc độ ClaudeBot, trả cho PerplexityBot một vỏ rỗng và cấm GPTBot trong robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Trên aiseewhy.com, mọi crawler đều nhận được trang đầy đủ, với cùng trạng thái và kích thước như trình duyệt.
Đọc bảng này như thế nào?
- Cột robots.txt là quyền bạn đã cấp: quy tắc áp dụng cho crawler đó theo RFC 9309, tức là nhóm nêu tên crawler, nếu không có thì nhóm
*, rồi đến quy tắc khớp dài nhất, vàAllowthắng khi bằng nhau. - Các cột HTTP và bytes là những gì máy chủ đã làm.
GPTBothiện mã 200 vì máy chủ trả lời bất kỳ ai bỏ qua robots.txt; quy tắc bên cạnh mới là điều một crawler tuân thủ sẽ làm theo. - Những dòng nguy hiểm là dòng ngược lại:
allow: /đi cùngBLOCKEDhoặcTHIN. Đó là một site nói đồng ý nhưng lại trả lời từ chối.
Script không cho bạn biết điều gì?
- Nó thử các user agent từ địa chỉ IP của chính bạn, không phải crawler thật. Nhiều tường lửa xác minh crawler theo dải IP mà nhà cung cấp công bố, nên một
OAI-SearchBotthật có thể được cho qua trong khi yêu cầu của bạn bị từ chối, hoặc ngược lại. Hãy dùng nó để tìm các quy tắc phản ứng theo user agent, rồi đối chiếu với danh sách IP mà các nhà cung cấp công bố. - Nó cố ý không chạy JavaScript: nó cho thấy HTML mà một crawler không render sẽ thấy.
- Kết quả sạch không phải là một lời khuyên. Đọc được không đồng nghĩa với được trích dẫn.
Chúng tôi thấy gì trên các website thực tế?
AISeeWhy chạy kiểu kiểm tra này cho 14 crawler. Trong 165 website doanh nghiệp ở Mỹ, Anh và Pháp mà chúng tôi kiểm tra được, 38% (63 site) từ chối ít nhất một AI crawler ở phía máy chủ trong khi trình duyệt từ cùng địa chỉ vẫn nhận được trang. Mọi site đó đều từ chối ít nhất một bot huấn luyện hoặc scraper, và 10% (16 site) còn từ chối ít nhất một AI search crawler, chẳng hạn PerplexityBot (11 site) hoặc OAI-SearchBot (5).
Các site này không phải mẫu ngẫu nhiên, và còn 53 site nữa không kiểm tra được vì ngay cả một yêu cầu trình duyệt thông thường cũng bị từ chối hoặc không được trả lời. Hãy xem đó là một xu hướng đáng kiểm tra trên site của bạn, không phải một cuộc điều tra toàn diện.
Bước tiếp theo
- Trình kiểm tra robots.txt cho trình thu thập AI
- Kiểm tra IP của trình thu thập AI
- Xem ví dụ báo cáo đầy đủ
- Giám sát trình thu thập AI
- Gói và giá
Các trình thu thập trong bài này
Câu hỏi thường gặp
Chạy script này trên bất kỳ site nào có an toàn không?
Chỉ chạy trên site bạn sở hữu hoặc được phép kiểm tra. Script gửi yêu cầu với user agent của crawler, và một số hệ thống chống bot coi đó là hành vi thù địch.
Vì sao GPTBot hiện ok khi robots.txt cấm nó?
robots.txt là một yêu cầu, không phải ổ khóa. Máy chủ trả lời bất kỳ ai bỏ qua nó, nên cột HTTP hiện ok. Quy tắc bên cạnh cho thấy điều một crawler tuân thủ sẽ làm theo.
Script có chạy JavaScript không?
Không, và đó là chủ ý. Nó cho thấy HTML mà một crawler không render trang nhận được. Cờ --expect cho bạn biết văn bản chính của mình đã có sẵn trong HTML đó hay chưa.
Kết quả sạch có nghĩa là ChatGPT sẽ trích dẫn trang của tôi không?
Không. Quyền truy cập là cần nhưng chưa đủ. Để biết một trợ lý có nêu tên site của bạn hay không, hãy hỏi nó những câu mà khách hàng của bạn hỏi và ghi lại các site nó trích dẫn.
Nguồn tham khảo
- RFC 9309: Giao thức loại trừ robot (Robots Exclusion Protocol)
- OpenAI: Tổng quan về các crawler của OpenAI
- Anthropic: Anthropic có thu thập dữ liệu từ web không, và chủ site chặn crawler bằng cách nào?
- Perplexity: Các crawler của Perplexity
- Cloudflare: Quản lý AI crawler (AI Crawl Control)