מה סורקי AI באמת מקבלים מהאתר שלכם? סקריפט של 66 שורות

פורסם

תשובה קצרה

בקשו את הדף כדפדפן וכל אחד מסורקי ה-AI, והשוו. תגובת 403, 429 או דף אתגר רק עבור הסורק, או תגובת 200 קטנה בהרבה מהדף שהדפדפן מקבל, מעידה שחומת האש חוסמת אותו גם כש-robots.txt מתיר. סקריפט Node של 66 שורות בודק שבעה סורקים וקורא את robots.txt לפי כללי RFC 9309.

robots.txt קובע מה סורק רשאי להביא. הוא לא אומר דבר על מה שחומת האש או ה-CDN שלכם מחזירים בפועל. הפוסט הזה נותן סקריפט קצר שמציג את שני הדברים זה לצד זה, כדי שתראו איפה הם סותרים.

בעמוד זה
  1. למה robots.txt לא מראה מה הסורק מקבל?
  2. הסקריפט
  3. איך מריצים אותו?
  4. איך נראה הפלט?
  5. איך קוראים את הטבלה?
  6. מה הסקריפט לא יכול לומר לכם?
  7. מה אנחנו רואים באתרים אמיתיים?

למה robots.txt לא מראה מה הסורק מקבל?

robots.txt הוא בקשה. חומת אש, CDN או כלל הגנה מבוטים הם שקובעים מה באמת נשלח, והם יכולים להשיב ל-OAI-SearchBot או ל-PerplexityBot בתגובת 403, 429 או בדף "Just a moment...", בזמן שהביקורים שלכם בדפדפן נראים תקינים לגמרי.

הבדיקה היא לבקש את אותה כתובת כדפדפן וכסורק, ולהשוות. תגובת 403, 429 או 503 רק לסורק, דף שכותרתו Just a moment..., או תגובת 200 קטנה בהרבה מזו של הדפדפן, כולם מצביעים על חומת האש.

הסקריפט

שמרו אותו בשם ai-crawler-view.mjs. הוא דורש Node 18 ומעלה ואין צורך בחבילות. הוא קורא את robots.txt פעם אחת, מביא את הדף שלכם כדפדפן, ואז כשבעה סורקי AI: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot ו-Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic אינה מפרסמת מחרוזות user agent מלאות, ולכן שתי שורות Claude משתמשות רק בשם הסורק. חומת אש שמזהה לפי השם תגיב באותו אופן.

איך מריצים אותו?

הריצו אותו מול דף באתר שלכם. הדגל האופציונלי --expect בודק שמשפט מהתוכן הראשי נמצא ב-HTML הגולמי שכל סורק מקבל. אם הוא חסר, סקריפטים מוסיפים את הטקסט אחרי הטעינה, וסורקים רבים לא יראו אותו.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

הריצו אותו רק באתרים שבבעלותכם או שמותר לכם לבדוק. הוא שולח תשע בקשות: robots.txt, הדפדפן ובקשה אחת לכל סורק.

איך נראה הפלט?

זו התוצאה מול שרת בדיקה מקומי עוין בכוונה, שמציב אתגר ל-OAI-SearchBot, מגביל קצב ל-ClaudeBot, מגיש ל-PerplexityBot מעטפת ריקה ואוסר על GPTBot ב-robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

ב-aiseewhy.com כל סורק מקבל את הדף המלא, באותו סטטוס ובאותו גודל כמו הדפדפן.

איך קוראים את הטבלה?

מה הסקריפט לא יכול לומר לכם?

מה אנחנו רואים באתרים אמיתיים?

AISeeWhy מריץ בדיקה כזו עבור 14 סורקים. מתוך 165 אתרים עסקיים בארה"ב, בבריטניה ובצרפת שהצלחנו לבדוק, 38% (63 אתרים) דחו לפחות סורק AI אחד בשרת, בעוד שדפדפן מאותה כתובת קיבל את הדף. כל אחד מהאתרים האלה דחה לפחות בוט אימון או גריפה אחד, ו-10% (16 אתרים) דחו גם לפחות סורק חיפוש AI אחד, כמו PerplexityBot (11 אתרים) או OAI-SearchBot (5).

האתרים אינם מדגם אקראי, ועוד 53 לא ניתן היה לבדוק משום שאפילו בקשת דפדפן רגילה נדחתה או לא נענתה. התייחסו לזה כדפוס ששווה לבדוק באתר שלכם, לא כמפקד אוכלוסין.

כלים חינמיים

הצעדים הבאים

הסורקים במאמר הזה

שאלות נפוצות

האם בטוח להריץ את זה מול כל אתר?

הריצו אותו רק מול אתרים שבבעלותכם או שמותר לכם לבדוק. הוא שולח בקשות עם user agents של סורקים, ושיטות הגנה מבוטים מסוימות רואות בכך פעולה עוינת.

למה GPTBot מוצג כ-ok כש-robots.txt אוסר עליו?

robots.txt הוא בקשה, לא מנעול. השרת עונה לכל מי שמתעלם ממנו, ולכן עמודת HTTP מראה ok. הכלל לידה מראה למה סורק מנומס מציית.

האם הסקריפט מריץ JavaScript?

לא, בכוונה. הוא מראה את ה-HTML שמקבל סורק שאינו מרנדר דפים. הדגל --expect מגלה אם הטקסט הראשי שלכם כבר נמצא ב-HTML הזה.

האם תוצאה נקייה אומרת ש-ChatGPT יצטט את הדף שלי?

לא. גישה היא תנאי הכרחי אך לא מספיק. כדי לראות אם עוזר AI מזכיר את האתר שלכם, שאלו אותו את השאלות ששואלים הלקוחות שלכם ורשמו אילו אתרים הוא מצטט.

מקורות

מאמרים נוספים