AI ክራውለሮች ከድር ጣቢያዎ በእርግጥ ምን ያገኛሉ? የ66 መስመር ስክሪፕት

የታተመበት

አጭር መልስ

ገጽዎን እንደ ብራውዘር እና እንደ እያንዳንዱ AI ክራውለር ጠይቀው ያወዳድሩ። ለክራውለሩ ብቻ 403፣ 429 ወይም የፈተና ገጽ ቢመጣ፣ ወይም 200 ቢሆንም ከብራውዘሩ ገጽ እጅግ ያነሰ ቢሆን፣ robots.txt ቢፈቅድም ፋየርዎሉ ክራውለሩን እየከለከለ ነው ማለት ነው። የ66 መስመር Node ስክሪፕት ይህን ለሰባት ክራውለሮች ያደርጋል፤ robots.txtንም በ RFC 9309 ሕጎች ያነባል።

robots.txt ክራውለር ምን ሊያወርድ እንደሚችል ይነግረዋል። ፋየርዎልዎ ወይም CDN በእርግጥ ምን እንደሚመልስ ግን ምንም አይናገርም። ይህ ጽሑፍ ሁለቱን ጎን ለጎን የሚያሳይ አጭር ስክሪፕት ይሰጥዎታል፤ ስለዚህ ሁለቱ የት እንደማይስማሙ ማየት ይችላሉ።

በዚህ ገጽ ላይ
  1. robots.txt ክራውለር ምን እንደሚያገኝ ለምን አይነግርዎትም?
  2. ስክሪፕቱ
  3. እንዴት ነው የማስኬደው?
  4. ውጤቱ ምን ይመስላል?
  5. ሰንጠረዡን እንዴት ላንብብ?
  6. ስክሪፕቱ ምን ሊነግርዎት አይችልም?
  7. በእውነተኛ ድር ጣቢያዎች ላይ ምን እናያለን?

robots.txt ክራውለር ምን እንደሚያገኝ ለምን አይነግርዎትም?

robots.txt ጥያቄ ነው። በእርግጥ የሚመለሰውን የሚወስነው ፋየርዎል፣ CDN ወይም የቦት መከላከያ ሕግ ነው። የእርስዎ ብራውዘር ጉብኝት ፍጹም መደበኛ ሲመስል እንኳ ለOAI-SearchBot ወይም ለPerplexityBot 403፣ 429 ወይም "Just a moment..." ገጽ ሊመልስ ይችላል።

ምርመራው ተመሳሳዩን URL እንደ ብራውዘር እና እንደ ክራውለር ጠይቆ ማወዳደር ነው። ለክራውለሩ ብቻ 403፣ 429 ወይም 503፣ ርዕሱ Just a moment... የሆነ ገጽ፣ ወይም ከብራውዘሩ እጅግ ያነሰ የ200 ምላሽ ሁሉም ወደ ፋየርዎሉ ያመለክታሉ።

ስክሪፕቱ

እንደ ai-crawler-view.mjs ያስቀምጡት። Node 18 ወይም ከዚያ በላይ ይፈልጋል፤ ምንም ጥቅል አያስፈልገውም። robots.txtን አንድ ጊዜ ያነባል፣ ገጽዎን እንደ ብራውዘር ያወርዳል፣ ከዚያም እንደ ሰባት AI ክራውለሮች ያወርዳል፦ OAI-SearchBot፣ ChatGPT-User፣ GPTBot፣ Claude-SearchBot፣ ClaudeBot፣ PerplexityBot እና Perplexity-User።

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic ሙሉ የ user agent ሕብረቁምፊዎችን አያትምም፤ ስለዚህ ሁለቱ የ Claude መስመሮች የክራውለሩን ቶከን ብቻ ይጠቀማሉ። በቶከኑ የሚመሳሰል ፋየርዎል በተመሳሳይ መንገድ ይሰራል።

እንዴት ነው የማስኬደው?

በራስዎ ድር ጣቢያ ገጽ ላይ ያስኬዱት። አማራጭ የሆነው --expect ባንዲራ ከዋናው ይዘትዎ የአንድ ዓረፍተ ነገር ጽሑፍ እያንዳንዱ ክራውለር በሚቀበለው ጥሬ HTML ውስጥ መኖሩን ያረጋግጣል። ከሌለ፣ ስክሪፕቶች ጽሑፉን ከጭነት በኋላ ይጨምራሉ ማለት ነው፤ ብዙ ክራውለሮችም አያዩትም።

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

የራስዎ በሆኑ ወይም ለመፈተሽ የተፈቀደልዎ ድር ጣቢያዎች ላይ ብቻ ያስኬዱት። ዘጠኝ ጥያቄዎችን ይልካል፦ robots.txt፣ ብራውዘሩ እና ለእያንዳንዱ ክራውለር አንድ።

ውጤቱ ምን ይመስላል?

ይህ ውጤት ሆን ብሎ ጠላት በሆነ የአካባቢ የሙከራ ሰርቨር ላይ የተገኘ ነው፤ ሰርቨሩ OAI-SearchBotን ይፈትናል፣ ClaudeBotን ይገድባል፣ ለPerplexityBot ባዶ ቅርፊት ያቀርባል፣ በ robots.txt ውስጥ ደግሞ GPTBotን ይከለክላል፦

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

በ aiseewhy.com ላይ እያንዳንዱ ክራውለር ከብራውዘሩ ጋር ተመሳሳይ ሁኔታና መጠን ያለው ሙሉ ገጽ ያገኛል።

ሰንጠረዡን እንዴት ላንብብ?

ስክሪፕቱ ምን ሊነግርዎት አይችልም?

በእውነተኛ ድር ጣቢያዎች ላይ ምን እናያለን?

AISeeWhy ይህን ዓይነት ምርመራ ለ14 ክራውለሮች ያስኬዳል። ልንፈትናቸው በቻልናቸው በአሜሪካ፣ በእንግሊዝ እና በፈረንሳይ ባሉ 165 የንግድ ድር ጣቢያዎች ውስጥ፣ 38% (63 ጣቢያዎች) ከተመሳሳይ አድራሻ የመጣ ብራውዘር ገጹን ሲያገኝ ቢያንስ አንድ AI ክራውለርን በሰርቨሩ መልሰዋል። ከእነዚህ ጣቢያዎች እያንዳንዳቸው ቢያንስ አንድ የሥልጠና ወይም የስክራፐር ቦት ከልክለዋል፤ 10% (16 ጣቢያዎች) ደግሞ እንደ PerplexityBot (11 ጣቢያዎች) ወይም OAI-SearchBot (5) ያለ ቢያንስ አንድ የ AI ፍለጋ ክራውለር ከልክለዋል።

ጣቢያዎቹ በዘፈቀደ የተመረጡ አይደሉም፤ ሌሎች 53 ደግሞ ተራ የብራውዘር ጥያቄ እንኳ ስለተከለከለ ወይም ምላሽ ስላልተገኘ ሊፈተኑ አልቻሉም። በራስዎ ጣቢያ ላይ ሊመረመር የሚገባ ንድፍ አድርገው ይውሰዱት እንጂ እንደ ቆጠራ አይቁጠሩት።

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

ይህንን በማንኛውም ጣቢያ ላይ ማስኬድ ደህንነቱ የተጠበቀ ነው?

የራስዎ በሆኑ ወይም ለመፈተሽ የተፈቀደልዎ ጣቢያዎች ላይ ብቻ ያስኬዱት። የክራውለር user agent ያላቸው ጥያቄዎችን ይልካል፤ አንዳንድ የቦት መከላከያዎች እነዚህን እንደ ጠላት ይቆጥራሉ።

robots.txt GPTBotን ሲከለክል ለምን ok ያሳያል?

robots.txt ጥያቄ እንጂ መቆለፊያ አይደለም። ሰርቨሩ ችላ ለሚሉት ሁሉ ይመልሳል፤ ስለዚህ የ HTTP አምድ ok ይላል። ከጎኑ ያለው ሕግ ደንብ አክባሪ ክራውለር የሚታዘዘውን ያሳያል።

ስክሪፕቱ JavaScript ያስኬዳል?

አያስኬድም፤ ሆን ተብሎ ነው። ገጾችን የማያሳይ ክራውለር የሚቀበለውን HTML ያሳያል። --expect ባንዲራ ዋና ጽሑፍዎ ቀድሞ በዚያ HTML ውስጥ መኖሩን ይነግርዎታል።

ንጹህ ውጤት ማለት ChatGPT ገጼን ይጠቅሳል ማለት ነው?

አይደለም። ተደራሽነት አስፈላጊ ነው ግን በቂ አይደለም። ረዳቱ ጣቢያዎን መጥቀሱን ለማየት ገዢዎችዎ የሚጠይቋቸውን ጥያቄዎች ይጠይቁትና የሚጠቅሳቸውን ጣቢያዎች ያስተውሉ።

ምንጮች

ተጨማሪ ጽሑፎች