ครอว์เลอร์ AI ได้อะไรจากเว็บไซต์ของคุณจริง ๆ? สคริปต์ 66 บรรทัดช่วยตอบได้
ให้ขอหน้าเว็บของคุณในฐานะเบราว์เซอร์ และในฐานะครอว์เลอร์ AI แต่ละตัว แล้วนำมาเทียบกัน ถ้าได้ 403, 429 หรือหน้าตรวจสอบเฉพาะกับครอว์เลอร์ หรือได้ 200 ที่มีขนาดเล็กกว่าหน้าที่เบราว์เซอร์ได้มาก แสดงว่าไฟร์วอลล์ปฏิเสธครอว์เลอร์ แม้ robots.txt จะอนุญาตก็ตาม สคริปต์ Node 66 บรรทัดนี้ตรวจครอว์เลอร์ได้เจ็ดตัว และอ่าน robots.txt ตามกฎของ RFC 9309
robots.txt บอกครอว์เลอร์ว่าดึงอะไรได้บ้าง แต่ไม่ได้บอกว่าไฟร์วอลล์หรือ CDN ของคุณส่งอะไรกลับไปจริง ๆ บทความนี้มีสคริปต์สั้น ๆ ที่แสดงทั้งสองอย่างเคียงกัน เพื่อให้คุณเห็นว่าสองฝั่งขัดแย้งกันตรงไหน
ในหน้านี้
ทำไม robots.txt จึงบอกไม่ได้ว่าครอว์เลอร์ได้อะไรไป?
robots.txt เป็นเพียงคำขอ ส่วนสิ่งที่ถูกส่งกลับจริงนั้นขึ้นอยู่กับไฟร์วอลล์ CDN หรือกฎป้องกันบอต ซึ่งอาจตอบ OAI-SearchBot หรือ PerplexityBot ด้วย 403, 429 หรือหน้า "Just a moment..." ในขณะที่เบราว์เซอร์ของคุณเองเปิดเว็บได้ตามปกติ
วิธีตรวจคือขอ URL เดียวกันในฐานะเบราว์เซอร์และในฐานะครอว์เลอร์ แล้วเปรียบเทียบกัน หากได้ 403, 429 หรือ 503 เฉพาะกับครอว์เลอร์ ได้หน้าที่ชื่อ Just a moment... หรือได้ 200 ที่เล็กกว่าหน้าของเบราว์เซอร์มาก ทั้งหมดนี้ชี้ไปที่ไฟร์วอลล์
สคริปต์
บันทึกเป็นไฟล์ ai-crawler-view.mjs ต้องใช้ Node 18 ขึ้นไปและไม่ต้องติดตั้งแพ็กเกจใด ๆ สคริปต์จะอ่าน robots.txt หนึ่งครั้ง จากนั้นดึงหน้าเว็บของคุณในฐานะเบราว์เซอร์ แล้วในฐานะครอว์เลอร์ AI เจ็ดตัว ได้แก่ OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot และ Perplexity-User
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic ไม่เปิดเผยสตริง user agent แบบเต็ม ดังนั้นสองบรรทัดของ Claude จึงใช้เฉพาะชื่อครอว์เลอร์ ไฟร์วอลล์ที่จับจากชื่อนี้จะตอบสนองเหมือนกัน
รันสคริปต์อย่างไร?
รันกับหน้าเว็บของเว็บไซต์คุณเอง แฟลก --expect ที่ใส่หรือไม่ก็ได้ ใช้ตรวจว่าประโยคจากเนื้อหาหลักของคุณอยู่ใน HTML ดิบที่ครอว์เลอร์แต่ละตัวได้รับหรือไม่ หากไม่มี แสดงว่าสคริปต์เพิ่มข้อความหลังโหลดหน้า และครอว์เลอร์จำนวนมากจะมองไม่เห็น
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" รันเฉพาะกับเว็บไซต์ที่คุณเป็นเจ้าของหรือได้รับอนุญาตให้ทดสอบ สคริปต์ส่งคำขอเก้าครั้ง ได้แก่ robots.txt เบราว์เซอร์ และครอว์เลอร์ตัวละหนึ่งครั้ง
ผลลัพธ์หน้าตาเป็นอย่างไร?
นี่คือผลที่ได้จากเซิร์ฟเวอร์ทดสอบในเครื่องที่จงใจตั้งให้เป็นศัตรู โดยมันท้าทาย OAI-SearchBot จำกัดอัตรา ClaudeBot ส่งเปลือกหน้าเปล่าให้ PerplexityBot และห้าม GPTBot ไว้ใน robots.txt
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok บน aiseewhy.com ครอว์เลอร์ทุกตัวได้หน้าเต็ม โดยมีสถานะและขนาดเท่ากับที่เบราว์เซอร์ได้
อ่านตารางอย่างไร?
- คอลัมน์ robots.txt คือสิทธิ์ที่คุณให้ไว้ ได้แก่กฎที่ใช้กับครอว์เลอร์ตัวนั้นตาม RFC 9309 คือกลุ่มที่ระบุชื่อครอว์เลอร์ หากไม่มีก็ใช้
*จากนั้นเลือกกฎที่ตรงกันยาวที่สุด และถ้าเท่ากันAllowจะชนะ - คอลัมน์ HTTP และ bytes คือสิ่งที่เซิร์ฟเวอร์ทำจริง
GPTBotแสดง 200 เพราะเซิร์ฟเวอร์ตอบทุกคนที่ไม่สนใจ robots.txt ส่วนกฎที่อยู่ข้างกันคือสิ่งที่ครอว์เลอร์ที่ทำตามมารยาทจะปฏิบัติตาม - แถวที่อันตรายคือแถวที่กลับกัน คือ
allow: /คู่กับBLOCKEDหรือTHINนั่นคือเว็บไซต์ที่พูดว่าได้ แต่ตอบว่าไม่
สคริปต์นี้บอกอะไรคุณไม่ได้บ้าง?
- สคริปต์ทดสอบ user agent จาก IP ของคุณเอง ไม่ใช่ครอว์เลอร์ตัวจริง ไฟร์วอลล์จำนวนมากยืนยันครอว์เลอร์จากช่วง IP ที่ผู้พัฒนาประกาศไว้ ดังนั้น
OAI-SearchBotตัวจริงอาจผ่านได้ทั้งที่คำขอของคุณถูกปฏิเสธ หรือในทางกลับกัน ใช้สคริปต์เพื่อหากฎที่ตอบสนองต่อ user agent แล้วค่อยตรวจรายการ IP ที่ผู้พัฒนาเผยแพร่ - สคริปต์ไม่รัน JavaScript โดยตั้งใจ เพราะต้องการแสดง HTML ที่ครอว์เลอร์ซึ่งไม่เรนเดอร์หน้าจะเห็น
- ผลที่สะอาดไม่ใช่คำแนะนำ การที่อ่านได้ไม่เท่ากับการถูกอ้างอิง
เว็บไซต์จริงเป็นอย่างไร?
AISeeWhy ทำการตรวจแบบนี้กับครอว์เลอร์ 14 ตัว จากเว็บไซต์ธุรกิจ 165 แห่งในสหรัฐอเมริกา สหราชอาณาจักร และฝรั่งเศสที่เราทดสอบได้ มี 38% (63 เว็บไซต์) ที่เซิร์ฟเวอร์ปฏิเสธครอว์เลอร์ AI อย่างน้อยหนึ่งตัว ทั้งที่เบราว์เซอร์จากที่อยู่เดียวกันได้หน้าเว็บ ทุกเว็บไซต์ในกลุ่มนี้ปฏิเสธบอตฝึกโมเดลหรือบอตสแครปอย่างน้อยหนึ่งตัว และ 10% (16 เว็บไซต์) ปฏิเสธครอว์เลอร์ค้นหา AI อย่างน้อยหนึ่งตัวด้วย เช่น PerplexityBot (11 เว็บไซต์) หรือ OAI-SearchBot (5)
เว็บไซต์เหล่านี้ไม่ใช่กลุ่มตัวอย่างสุ่ม และอีก 53 แห่งทดสอบไม่ได้ เพราะแม้แต่คำขอจากเบราว์เซอร์ธรรมดาก็ถูกปฏิเสธหรือไม่มีการตอบกลับ ให้มองว่าเป็นรูปแบบที่ควรลองตรวจกับเว็บไซต์ของคุณเอง ไม่ใช่สำมะโนทั้งหมด
ขั้นตอนถัดไป
- ตัวทดสอบและตัวตรวจสอบ robots.txt สำหรับ AI crawler
- ตรวจ IP ของ AI crawler
- ดูตัวอย่างรายงานฉบับเต็ม
- การติดตาม AI crawler
- แพ็กเกจและราคา
Crawler ในบทความนี้
คำถามที่พบบ่อย
รันสคริปต์นี้กับเว็บไซต์ใดก็ได้อย่างปลอดภัยหรือไม่?
รันเฉพาะกับเว็บไซต์ที่คุณเป็นเจ้าของหรือได้รับอนุญาตให้ทดสอบ สคริปต์ส่งคำขอโดยใช้ user agent ของครอว์เลอร์ ซึ่งระบบป้องกันบอตบางระบบมองว่าเป็นภัย
ทำไม GPTBot แสดง ok ทั้งที่ robots.txt ห้ามไว้?
robots.txt เป็นคำขอ ไม่ใช่กุญแจล็อก เซิร์ฟเวอร์ตอบทุกคนที่ไม่สนใจมัน คอลัมน์ HTTP จึงแสดง ok ส่วนกฎที่อยู่ข้างกันแสดงสิ่งที่ครอว์เลอร์ที่ทำตามมารยาทจะปฏิบัติตาม
สคริปต์รัน JavaScript หรือไม่?
ไม่รัน โดยตั้งใจ สคริปต์แสดง HTML ที่ครอว์เลอร์ซึ่งไม่เรนเดอร์หน้าเว็บได้รับ แฟลก --expect จะบอกว่าข้อความหลักของคุณอยู่ใน HTML นั้นแล้วหรือไม่
ผลที่สะอาดแปลว่า ChatGPT จะอ้างอิงหน้าของฉันหรือไม่?
ไม่ การเข้าถึงได้เป็นเงื่อนไขที่จำเป็น แต่ยังไม่เพียงพอ หากอยากรู้ว่าผู้ช่วย AI เอ่ยถึงเว็บไซต์ของคุณหรือไม่ ให้ถามคำถามที่ลูกค้าของคุณถาม แล้วจดว่ามันอ้างอิงเว็บไซต์ใดบ้าง
แหล่งอ้างอิง
- RFC 9309: Robots Exclusion Protocol
- OpenAI: ภาพรวมครอว์เลอร์ของ OpenAI
- Anthropic: Anthropic เก็บข้อมูลจากเว็บหรือไม่ และเจ้าของเว็บไซต์บล็อกครอว์เลอร์ได้อย่างไร?
- Perplexity: ครอว์เลอร์ของ Perplexity
- Cloudflare: จัดการครอว์เลอร์ AI (AI Crawl Control)