AI ክራውለሮች ከድር ጣቢያዎ በእርግጥ ምን ያገኛሉ? የ66 መስመር ስክሪፕት
ገጽዎን እንደ ብራውዘር እና እንደ እያንዳንዱ AI ክራውለር ጠይቀው ያወዳድሩ። ለክራውለሩ ብቻ 403፣ 429 ወይም የፈተና ገጽ ቢመጣ፣ ወይም 200 ቢሆንም ከብራውዘሩ ገጽ እጅግ ያነሰ ቢሆን፣ robots.txt ቢፈቅድም ፋየርዎሉ ክራውለሩን እየከለከለ ነው ማለት ነው። የ66 መስመር Node ስክሪፕት ይህን ለሰባት ክራውለሮች ያደርጋል፤ robots.txtንም በ RFC 9309 ሕጎች ያነባል።
robots.txt ክራውለር ምን ሊያወርድ እንደሚችል ይነግረዋል። ፋየርዎልዎ ወይም CDN በእርግጥ ምን እንደሚመልስ ግን ምንም አይናገርም። ይህ ጽሑፍ ሁለቱን ጎን ለጎን የሚያሳይ አጭር ስክሪፕት ይሰጥዎታል፤ ስለዚህ ሁለቱ የት እንደማይስማሙ ማየት ይችላሉ።
በዚህ ገጽ ላይ
robots.txt ክራውለር ምን እንደሚያገኝ ለምን አይነግርዎትም?
robots.txt ጥያቄ ነው። በእርግጥ የሚመለሰውን የሚወስነው ፋየርዎል፣ CDN ወይም የቦት መከላከያ ሕግ ነው። የእርስዎ ብራውዘር ጉብኝት ፍጹም መደበኛ ሲመስል እንኳ ለOAI-SearchBot ወይም ለPerplexityBot 403፣ 429 ወይም "Just a moment..." ገጽ ሊመልስ ይችላል።
ምርመራው ተመሳሳዩን URL እንደ ብራውዘር እና እንደ ክራውለር ጠይቆ ማወዳደር ነው። ለክራውለሩ ብቻ 403፣ 429 ወይም 503፣ ርዕሱ Just a moment... የሆነ ገጽ፣ ወይም ከብራውዘሩ እጅግ ያነሰ የ200 ምላሽ ሁሉም ወደ ፋየርዎሉ ያመለክታሉ።
ስክሪፕቱ
እንደ ai-crawler-view.mjs ያስቀምጡት። Node 18 ወይም ከዚያ በላይ ይፈልጋል፤ ምንም ጥቅል አያስፈልገውም። robots.txtን አንድ ጊዜ ያነባል፣ ገጽዎን እንደ ብራውዘር ያወርዳል፣ ከዚያም እንደ ሰባት AI ክራውለሮች ያወርዳል፦ OAI-SearchBot፣ ChatGPT-User፣ GPTBot፣ Claude-SearchBot፣ ClaudeBot፣ PerplexityBot እና Perplexity-User።
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic ሙሉ የ user agent ሕብረቁምፊዎችን አያትምም፤ ስለዚህ ሁለቱ የ Claude መስመሮች የክራውለሩን ቶከን ብቻ ይጠቀማሉ። በቶከኑ የሚመሳሰል ፋየርዎል በተመሳሳይ መንገድ ይሰራል።
እንዴት ነው የማስኬደው?
በራስዎ ድር ጣቢያ ገጽ ላይ ያስኬዱት። አማራጭ የሆነው --expect ባንዲራ ከዋናው ይዘትዎ የአንድ ዓረፍተ ነገር ጽሑፍ እያንዳንዱ ክራውለር በሚቀበለው ጥሬ HTML ውስጥ መኖሩን ያረጋግጣል። ከሌለ፣ ስክሪፕቶች ጽሑፉን ከጭነት በኋላ ይጨምራሉ ማለት ነው፤ ብዙ ክራውለሮችም አያዩትም።
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" የራስዎ በሆኑ ወይም ለመፈተሽ የተፈቀደልዎ ድር ጣቢያዎች ላይ ብቻ ያስኬዱት። ዘጠኝ ጥያቄዎችን ይልካል፦ robots.txt፣ ብራውዘሩ እና ለእያንዳንዱ ክራውለር አንድ።
ውጤቱ ምን ይመስላል?
ይህ ውጤት ሆን ብሎ ጠላት በሆነ የአካባቢ የሙከራ ሰርቨር ላይ የተገኘ ነው፤ ሰርቨሩ OAI-SearchBotን ይፈትናል፣ ClaudeBotን ይገድባል፣ ለPerplexityBot ባዶ ቅርፊት ያቀርባል፣ በ robots.txt ውስጥ ደግሞ GPTBotን ይከለክላል፦
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok በ aiseewhy.com ላይ እያንዳንዱ ክራውለር ከብራውዘሩ ጋር ተመሳሳይ ሁኔታና መጠን ያለው ሙሉ ገጽ ያገኛል።
ሰንጠረዡን እንዴት ላንብብ?
- የ robots.txt አምድ እርስዎ የሰጡት ፈቃድ ነው፦ በ RFC 9309 መሠረት ለዚያ ክራውለር የሚተገበረው ሕግ፤ ይህም ክራውለሩን በስም የሚጠራው ቡድን ነው፣ ከሌለ
*፣ ከዚያም ረጅሙ ተዛማጅ ሕግ፤ እኩል ሲሆንAllowያሸንፋል። - የ HTTP እና bytes አምዶች ሰርቨሩ ያደረገውን ያሳያሉ።
GPTBot200 ያሳያል ምክንያቱም ሰርቨሩ robots.txtን ችላ ለሚል ሁሉ ይመልሳል፤ ከጎኑ ያለው ሕግ ደንብ አክባሪ ክራውለር የሚታዘዘው ነው። - አደገኛዎቹ ረድፎች ተቃራኒዎቹ ናቸው፦
allow: /ከBLOCKEDወይም ከTHINጎን። ይህ አዎ የሚል ግን አይሆንም የሚመልስ ጣቢያ ነው።
ስክሪፕቱ ምን ሊነግርዎት አይችልም?
- እውነተኞቹን ክራውለሮች ሳይሆን user agentን ከራስዎ IP አድራሻ ይፈትናል። ብዙ ፋየርዎሎች ክራውለርን አቅራቢው በሚያትማቸው የ IP ክልሎች ያረጋግጣሉ፤ ስለዚህ የእርስዎ ጥያቄ ሲከለከል እውነተኛ
OAI-SearchBotሊያልፍ ይችላል፣ ወይም በተቃራኒው። ለ user agent ምላሽ የሚሰጡ ሕጎችን ለማግኘት ይጠቀሙበት፤ ከዚያም የአቅራቢዎቹን የታተሙ የ IP ዝርዝሮች ያረጋግጡ። - ሆን ተብሎ JavaScript አያስኬድም፦ የማያሳይ ክራውለር የሚያየውን HTML ያሳያል።
- ንጹህ ውጤት ምክር አይደለም። ሊነበቡ መቻል እና መጥቀስ አንድ አይደሉም።
በእውነተኛ ድር ጣቢያዎች ላይ ምን እናያለን?
AISeeWhy ይህን ዓይነት ምርመራ ለ14 ክራውለሮች ያስኬዳል። ልንፈትናቸው በቻልናቸው በአሜሪካ፣ በእንግሊዝ እና በፈረንሳይ ባሉ 165 የንግድ ድር ጣቢያዎች ውስጥ፣ 38% (63 ጣቢያዎች) ከተመሳሳይ አድራሻ የመጣ ብራውዘር ገጹን ሲያገኝ ቢያንስ አንድ AI ክራውለርን በሰርቨሩ መልሰዋል። ከእነዚህ ጣቢያዎች እያንዳንዳቸው ቢያንስ አንድ የሥልጠና ወይም የስክራፐር ቦት ከልክለዋል፤ 10% (16 ጣቢያዎች) ደግሞ እንደ PerplexityBot (11 ጣቢያዎች) ወይም OAI-SearchBot (5) ያለ ቢያንስ አንድ የ AI ፍለጋ ክራውለር ከልክለዋል።
ጣቢያዎቹ በዘፈቀደ የተመረጡ አይደሉም፤ ሌሎች 53 ደግሞ ተራ የብራውዘር ጥያቄ እንኳ ስለተከለከለ ወይም ምላሽ ስላልተገኘ ሊፈተኑ አልቻሉም። በራስዎ ጣቢያ ላይ ሊመረመር የሚገባ ንድፍ አድርገው ይውሰዱት እንጂ እንደ ቆጠራ አይቁጠሩት።
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
ይህንን በማንኛውም ጣቢያ ላይ ማስኬድ ደህንነቱ የተጠበቀ ነው?
የራስዎ በሆኑ ወይም ለመፈተሽ የተፈቀደልዎ ጣቢያዎች ላይ ብቻ ያስኬዱት። የክራውለር user agent ያላቸው ጥያቄዎችን ይልካል፤ አንዳንድ የቦት መከላከያዎች እነዚህን እንደ ጠላት ይቆጥራሉ።
robots.txt GPTBotን ሲከለክል ለምን ok ያሳያል?
robots.txt ጥያቄ እንጂ መቆለፊያ አይደለም። ሰርቨሩ ችላ ለሚሉት ሁሉ ይመልሳል፤ ስለዚህ የ HTTP አምድ ok ይላል። ከጎኑ ያለው ሕግ ደንብ አክባሪ ክራውለር የሚታዘዘውን ያሳያል።
ስክሪፕቱ JavaScript ያስኬዳል?
አያስኬድም፤ ሆን ተብሎ ነው። ገጾችን የማያሳይ ክራውለር የሚቀበለውን HTML ያሳያል። --expect ባንዲራ ዋና ጽሑፍዎ ቀድሞ በዚያ HTML ውስጥ መኖሩን ይነግርዎታል።
ንጹህ ውጤት ማለት ChatGPT ገጼን ይጠቅሳል ማለት ነው?
አይደለም። ተደራሽነት አስፈላጊ ነው ግን በቂ አይደለም። ረዳቱ ጣቢያዎን መጥቀሱን ለማየት ገዢዎችዎ የሚጠይቋቸውን ጥያቄዎች ይጠይቁትና የሚጠቅሳቸውን ጣቢያዎች ያስተውሉ።
ምንጮች
- RFC 9309: የ Robots Exclusion Protocol
- OpenAI: የ OpenAI ክራውለሮች አጠቃላይ እይታ
- Anthropic: Anthropic ከድር መረጃ ይሰበስባል? የጣቢያ ባለቤቶች ክራውለሩን እንዴት ሊከለክሉ ይችላሉ?
- Perplexity: የ Perplexity ክራውለሮች
- Cloudflare: AI ክራውለሮችን ማስተዳደር (AI Crawl Control)