ครอว์เลอร์ AI ได้อะไรจากเว็บไซต์ของคุณจริง ๆ? สคริปต์ 66 บรรทัดช่วยตอบได้

เผยแพร่เมื่อ

คำตอบสั้น ๆ

ให้ขอหน้าเว็บของคุณในฐานะเบราว์เซอร์ และในฐานะครอว์เลอร์ AI แต่ละตัว แล้วนำมาเทียบกัน ถ้าได้ 403, 429 หรือหน้าตรวจสอบเฉพาะกับครอว์เลอร์ หรือได้ 200 ที่มีขนาดเล็กกว่าหน้าที่เบราว์เซอร์ได้มาก แสดงว่าไฟร์วอลล์ปฏิเสธครอว์เลอร์ แม้ robots.txt จะอนุญาตก็ตาม สคริปต์ Node 66 บรรทัดนี้ตรวจครอว์เลอร์ได้เจ็ดตัว และอ่าน robots.txt ตามกฎของ RFC 9309

robots.txt บอกครอว์เลอร์ว่าดึงอะไรได้บ้าง แต่ไม่ได้บอกว่าไฟร์วอลล์หรือ CDN ของคุณส่งอะไรกลับไปจริง ๆ บทความนี้มีสคริปต์สั้น ๆ ที่แสดงทั้งสองอย่างเคียงกัน เพื่อให้คุณเห็นว่าสองฝั่งขัดแย้งกันตรงไหน

ในหน้านี้
  1. ทำไม robots.txt จึงบอกไม่ได้ว่าครอว์เลอร์ได้อะไรไป?
  2. สคริปต์
  3. รันสคริปต์อย่างไร?
  4. ผลลัพธ์หน้าตาเป็นอย่างไร?
  5. อ่านตารางอย่างไร?
  6. สคริปต์นี้บอกอะไรคุณไม่ได้บ้าง?
  7. เว็บไซต์จริงเป็นอย่างไร?

ทำไม robots.txt จึงบอกไม่ได้ว่าครอว์เลอร์ได้อะไรไป?

robots.txt เป็นเพียงคำขอ ส่วนสิ่งที่ถูกส่งกลับจริงนั้นขึ้นอยู่กับไฟร์วอลล์ CDN หรือกฎป้องกันบอต ซึ่งอาจตอบ OAI-SearchBot หรือ PerplexityBot ด้วย 403, 429 หรือหน้า "Just a moment..." ในขณะที่เบราว์เซอร์ของคุณเองเปิดเว็บได้ตามปกติ

วิธีตรวจคือขอ URL เดียวกันในฐานะเบราว์เซอร์และในฐานะครอว์เลอร์ แล้วเปรียบเทียบกัน หากได้ 403, 429 หรือ 503 เฉพาะกับครอว์เลอร์ ได้หน้าที่ชื่อ Just a moment... หรือได้ 200 ที่เล็กกว่าหน้าของเบราว์เซอร์มาก ทั้งหมดนี้ชี้ไปที่ไฟร์วอลล์

สคริปต์

บันทึกเป็นไฟล์ ai-crawler-view.mjs ต้องใช้ Node 18 ขึ้นไปและไม่ต้องติดตั้งแพ็กเกจใด ๆ สคริปต์จะอ่าน robots.txt หนึ่งครั้ง จากนั้นดึงหน้าเว็บของคุณในฐานะเบราว์เซอร์ แล้วในฐานะครอว์เลอร์ AI เจ็ดตัว ได้แก่ OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot และ Perplexity-User

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic ไม่เปิดเผยสตริง user agent แบบเต็ม ดังนั้นสองบรรทัดของ Claude จึงใช้เฉพาะชื่อครอว์เลอร์ ไฟร์วอลล์ที่จับจากชื่อนี้จะตอบสนองเหมือนกัน

รันสคริปต์อย่างไร?

รันกับหน้าเว็บของเว็บไซต์คุณเอง แฟลก --expect ที่ใส่หรือไม่ก็ได้ ใช้ตรวจว่าประโยคจากเนื้อหาหลักของคุณอยู่ใน HTML ดิบที่ครอว์เลอร์แต่ละตัวได้รับหรือไม่ หากไม่มี แสดงว่าสคริปต์เพิ่มข้อความหลังโหลดหน้า และครอว์เลอร์จำนวนมากจะมองไม่เห็น

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

รันเฉพาะกับเว็บไซต์ที่คุณเป็นเจ้าของหรือได้รับอนุญาตให้ทดสอบ สคริปต์ส่งคำขอเก้าครั้ง ได้แก่ robots.txt เบราว์เซอร์ และครอว์เลอร์ตัวละหนึ่งครั้ง

ผลลัพธ์หน้าตาเป็นอย่างไร?

นี่คือผลที่ได้จากเซิร์ฟเวอร์ทดสอบในเครื่องที่จงใจตั้งให้เป็นศัตรู โดยมันท้าทาย OAI-SearchBot จำกัดอัตรา ClaudeBot ส่งเปลือกหน้าเปล่าให้ PerplexityBot และห้าม GPTBot ไว้ใน robots.txt

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

บน aiseewhy.com ครอว์เลอร์ทุกตัวได้หน้าเต็ม โดยมีสถานะและขนาดเท่ากับที่เบราว์เซอร์ได้

อ่านตารางอย่างไร?

สคริปต์นี้บอกอะไรคุณไม่ได้บ้าง?

เว็บไซต์จริงเป็นอย่างไร?

AISeeWhy ทำการตรวจแบบนี้กับครอว์เลอร์ 14 ตัว จากเว็บไซต์ธุรกิจ 165 แห่งในสหรัฐอเมริกา สหราชอาณาจักร และฝรั่งเศสที่เราทดสอบได้ มี 38% (63 เว็บไซต์) ที่เซิร์ฟเวอร์ปฏิเสธครอว์เลอร์ AI อย่างน้อยหนึ่งตัว ทั้งที่เบราว์เซอร์จากที่อยู่เดียวกันได้หน้าเว็บ ทุกเว็บไซต์ในกลุ่มนี้ปฏิเสธบอตฝึกโมเดลหรือบอตสแครปอย่างน้อยหนึ่งตัว และ 10% (16 เว็บไซต์) ปฏิเสธครอว์เลอร์ค้นหา AI อย่างน้อยหนึ่งตัวด้วย เช่น PerplexityBot (11 เว็บไซต์) หรือ OAI-SearchBot (5)

เว็บไซต์เหล่านี้ไม่ใช่กลุ่มตัวอย่างสุ่ม และอีก 53 แห่งทดสอบไม่ได้ เพราะแม้แต่คำขอจากเบราว์เซอร์ธรรมดาก็ถูกปฏิเสธหรือไม่มีการตอบกลับ ให้มองว่าเป็นรูปแบบที่ควรลองตรวจกับเว็บไซต์ของคุณเอง ไม่ใช่สำมะโนทั้งหมด

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

รันสคริปต์นี้กับเว็บไซต์ใดก็ได้อย่างปลอดภัยหรือไม่?

รันเฉพาะกับเว็บไซต์ที่คุณเป็นเจ้าของหรือได้รับอนุญาตให้ทดสอบ สคริปต์ส่งคำขอโดยใช้ user agent ของครอว์เลอร์ ซึ่งระบบป้องกันบอตบางระบบมองว่าเป็นภัย

ทำไม GPTBot แสดง ok ทั้งที่ robots.txt ห้ามไว้?

robots.txt เป็นคำขอ ไม่ใช่กุญแจล็อก เซิร์ฟเวอร์ตอบทุกคนที่ไม่สนใจมัน คอลัมน์ HTTP จึงแสดง ok ส่วนกฎที่อยู่ข้างกันแสดงสิ่งที่ครอว์เลอร์ที่ทำตามมารยาทจะปฏิบัติตาม

สคริปต์รัน JavaScript หรือไม่?

ไม่รัน โดยตั้งใจ สคริปต์แสดง HTML ที่ครอว์เลอร์ซึ่งไม่เรนเดอร์หน้าเว็บได้รับ แฟลก --expect จะบอกว่าข้อความหลักของคุณอยู่ใน HTML นั้นแล้วหรือไม่

ผลที่สะอาดแปลว่า ChatGPT จะอ้างอิงหน้าของฉันหรือไม่?

ไม่ การเข้าถึงได้เป็นเงื่อนไขที่จำเป็น แต่ยังไม่เพียงพอ หากอยากรู้ว่าผู้ช่วย AI เอ่ยถึงเว็บไซต์ของคุณหรือไม่ ให้ถามคำถามที่ลูกค้าของคุณถาม แล้วจดว่ามันอ้างอิงเว็บไซต์ใดบ้าง

แหล่งอ้างอิง

บทความอื่น ๆ