מה סורקי AI באמת מקבלים מהאתר שלכם? סקריפט של 66 שורות
בקשו את הדף כדפדפן וכל אחד מסורקי ה-AI, והשוו. תגובת 403, 429 או דף אתגר רק עבור הסורק, או תגובת 200 קטנה בהרבה מהדף שהדפדפן מקבל, מעידה שחומת האש חוסמת אותו גם כש-robots.txt מתיר. סקריפט Node של 66 שורות בודק שבעה סורקים וקורא את robots.txt לפי כללי RFC 9309.
robots.txt קובע מה סורק רשאי להביא. הוא לא אומר דבר על מה שחומת האש או ה-CDN שלכם מחזירים בפועל. הפוסט הזה נותן סקריפט קצר שמציג את שני הדברים זה לצד זה, כדי שתראו איפה הם סותרים.
בעמוד זה
למה robots.txt לא מראה מה הסורק מקבל?
robots.txt הוא בקשה. חומת אש, CDN או כלל הגנה מבוטים הם שקובעים מה באמת נשלח, והם יכולים להשיב ל-OAI-SearchBot או ל-PerplexityBot בתגובת 403, 429 או בדף "Just a moment...", בזמן שהביקורים שלכם בדפדפן נראים תקינים לגמרי.
הבדיקה היא לבקש את אותה כתובת כדפדפן וכסורק, ולהשוות. תגובת 403, 429 או 503 רק לסורק, דף שכותרתו Just a moment..., או תגובת 200 קטנה בהרבה מזו של הדפדפן, כולם מצביעים על חומת האש.
הסקריפט
שמרו אותו בשם ai-crawler-view.mjs. הוא דורש Node 18 ומעלה ואין צורך בחבילות. הוא קורא את robots.txt פעם אחת, מביא את הדף שלכם כדפדפן, ואז כשבעה סורקי AI: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot ו-Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic אינה מפרסמת מחרוזות user agent מלאות, ולכן שתי שורות Claude משתמשות רק בשם הסורק. חומת אש שמזהה לפי השם תגיב באותו אופן.
איך מריצים אותו?
הריצו אותו מול דף באתר שלכם. הדגל האופציונלי --expect בודק שמשפט מהתוכן הראשי נמצא ב-HTML הגולמי שכל סורק מקבל. אם הוא חסר, סקריפטים מוסיפים את הטקסט אחרי הטעינה, וסורקים רבים לא יראו אותו.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" הריצו אותו רק באתרים שבבעלותכם או שמותר לכם לבדוק. הוא שולח תשע בקשות: robots.txt, הדפדפן ובקשה אחת לכל סורק.
איך נראה הפלט?
זו התוצאה מול שרת בדיקה מקומי עוין בכוונה, שמציב אתגר ל-OAI-SearchBot, מגביל קצב ל-ClaudeBot, מגיש ל-PerplexityBot מעטפת ריקה ואוסר על GPTBot ב-robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok ב-aiseewhy.com כל סורק מקבל את הדף המלא, באותו סטטוס ובאותו גודל כמו הדפדפן.
איך קוראים את הטבלה?
- עמודת robots.txt היא ההרשאה שנתתם: הכלל שחל על אותו סורק לפי RFC 9309, כלומר הקבוצה שמציינת את הסורק, ואם אין כזו
*, ואז הכלל הארוך ביותר שמתאים, כאשרAllowמנצח בתיקו. - עמודות HTTP ו-bytes הן מה שהשרת עשה.
GPTBotמציג 200 כי השרת עונה לכל מי שמתעלם מ-robots.txt; הכלל לידו הוא מה שסורק מנומס מציית לו. - השורות המסוכנות הן ההפוכות:
allow: /לצדBLOCKEDאוTHIN. זה אתר שאומר כן ועונה לא.
מה הסקריפט לא יכול לומר לכם?
- הוא בודק user agents מכתובת ה-IP שלכם, לא את הסורקים האמיתיים. חומות אש רבות מאמתות סורק לפי טווחי ה-IP שהספק מפרסם, ולכן
OAI-SearchBotאמיתי עשוי לעבור כשהבקשה שלכם נדחית, או להפך. השתמשו בו כדי למצוא כללים שמגיבים ל-user agent, ואז בדקו את רשימות ה-IP שהספקים מפרסמים. - הוא לא מריץ JavaScript, בכוונה: הוא מראה את ה-HTML שסורק שאינו מבצע רינדור היה רואה.
- תוצאה נקייה אינה המלצה. היות קריא אינו זהה להיות מצוטט.
מה אנחנו רואים באתרים אמיתיים?
AISeeWhy מריץ בדיקה כזו עבור 14 סורקים. מתוך 165 אתרים עסקיים בארה"ב, בבריטניה ובצרפת שהצלחנו לבדוק, 38% (63 אתרים) דחו לפחות סורק AI אחד בשרת, בעוד שדפדפן מאותה כתובת קיבל את הדף. כל אחד מהאתרים האלה דחה לפחות בוט אימון או גריפה אחד, ו-10% (16 אתרים) דחו גם לפחות סורק חיפוש AI אחד, כמו PerplexityBot (11 אתרים) או OAI-SearchBot (5).
האתרים אינם מדגם אקראי, ועוד 53 לא ניתן היה לבדוק משום שאפילו בקשת דפדפן רגילה נדחתה או לא נענתה. התייחסו לזה כדפוס ששווה לבדוק באתר שלכם, לא כמפקד אוכלוסין.
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
האם בטוח להריץ את זה מול כל אתר?
הריצו אותו רק מול אתרים שבבעלותכם או שמותר לכם לבדוק. הוא שולח בקשות עם user agents של סורקים, ושיטות הגנה מבוטים מסוימות רואות בכך פעולה עוינת.
למה GPTBot מוצג כ-ok כש-robots.txt אוסר עליו?
robots.txt הוא בקשה, לא מנעול. השרת עונה לכל מי שמתעלם ממנו, ולכן עמודת HTTP מראה ok. הכלל לידה מראה למה סורק מנומס מציית.
האם הסקריפט מריץ JavaScript?
לא, בכוונה. הוא מראה את ה-HTML שמקבל סורק שאינו מרנדר דפים. הדגל --expect מגלה אם הטקסט הראשי שלכם כבר נמצא ב-HTML הזה.
האם תוצאה נקייה אומרת ש-ChatGPT יצטט את הדף שלי?
לא. גישה היא תנאי הכרחי אך לא מספיק. כדי לראות אם עוזר AI מזכיר את האתר שלכם, שאלו אותו את השאלות ששואלים הלקוחות שלכם ורשמו אילו אתרים הוא מצטט.
מקורות
- RFC 9309: Robots Exclusion Protocol
- OpenAI: סקירה של סורקי OpenAI
- Anthropic: האם Anthropic סורקת נתונים מהרשת, וכיצד בעלי אתרים יכולים לחסום את הסורק?
- Perplexity: סורקי Perplexity
- Cloudflare: ניהול סורקי AI (AI Crawl Control)