Süni intellekt krouleri saytınızdan əslində nə alır? 66 sətirlik skript

Dərc olunub

Qısa cavab

Səhifənizi əvvəlcə brauzer kimi, sonra hər bir süni intellekt krouleri kimi sorğulayın və nəticələri müqayisə edin. Yalnız krouler üçün 403, 429 və ya challenge səhifəsi, yaxud brauzerin səhifəsindən xeyli kiçik olan 200 cavabı robots.txt icazə versə belə, firewall-un krouleri rədd etdiyini göstərir. 66 sətirlik Node skripti bunu yeddi krouler üçün edir və robots.txt faylını RFC 9309 qaydaları ilə oxuyur.

robots.txt krouelrə nəyi çəkə biləcəyini bildirir. Firewall və ya CDN-in əslində nə qaytardığı barədə isə heç nə demir. Bu yazıda hər ikisini yan-yana göstərən qısa skript var, beləliklə ikisinin harada uyğun gəlmədiyini görə bilərsiniz.

Bu səhifədə
  1. robots.txt niyə krouelin nə aldığını göstərmir?
  2. Skript
  3. Onu necə işə salmaq olar?
  4. Nəticə necə görünür?
  5. Cədvəli necə oxumaq olar?
  6. Skript nəyi deyə bilməz?
  7. Real saytlarda nə görürük?

robots.txt niyə krouelin nə aldığını göstərmir?

robots.txt sadəcə xahişdir. Əslində nəyin qaytarılacağını firewall, CDN və ya bot müdafiəsi qaydası həll edir. Sizin brauzerinizdə hər şey normal görünsə belə, o, OAI-SearchBot və ya PerplexityBot üçün 403, 429 və ya "Just a moment..." səhifəsi qaytara bilər.

Yoxlama üsulu eyni URL-i əvvəlcə brauzer, sonra krouler kimi sorğulayıb müqayisə etməkdir. Yalnız krouler üçün 403, 429 və ya 503, Just a moment... başlıqlı səhifə, yaxud brauzerin cavabından xeyli kiçik 200 cavabı firewall-a işarə edir.

Skript

Onu ai-crawler-view.mjs adı ilə saxlayın. Node 18 və ya daha yeni versiya tələb olunur, paket lazım deyil. Skript robots.txt faylını bir dəfə oxuyur, səhifənizi brauzer kimi, sonra isə yeddi süni intellekt krouleri kimi çəkir: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot və Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic tam user agent sətirlərini dərc etmir, ona görə iki Claude sətrində yalnız krouler tokeni istifadə olunur. Token üzrə uyğunlaşdıran firewall eyni cür reaksiya verir.

Onu necə işə salmaq olar?

Skripti öz saytınızın səhifəsində işə salın. İstəyə bağlı --expect bayrağı əsas məzmunundakı cümlənin hər krouelin aldığı xam HTML-də olub-olmadığını yoxlayır. Əgər yoxdursa, mətni skriptlər yüklənəndən sonra əlavə edir və bir çox krouler onu görməyəcək.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Onu yalnız sahibi olduğunuz və ya test etməyə icazəniz olan saytlarda işə salın. Skript doqquz sorğu göndərir: robots.txt, brauzer və hər krouler üçün bir sorğu.

Nəticə necə görünür?

Bu, OAI-SearchBot üçün challenge göstərən, ClaudeBot sürətini məhdudlaşdıran, PerplexityBot üçün boş qabıq qaytaran və robots.txt-də GPTBot üçün qadağa qoyan qəsdən düşmən lokal test serverinə qarşı alınmış nəticədir:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

aiseewhy.com saytında hər krouler brauzerlə eyni status və ölçüdə tam səhifə alır.

Cədvəli necə oxumaq olar?

Skript nəyi deyə bilməz?

Real saytlarda nə görürük?

AISeeWhy bu tip yoxlamanı 14 krouler üçün aparır. ABŞ, Böyük Britaniya və Fransada test edə bildiyimiz 165 biznes saytından 38%-i (63 sayt) ən azı bir süni intellekt krouelini serverdə geri çevirdi, halbuki eyni ünvandan brauzer səhifəni alırdı. Bu saytların hamısı ən azı bir təlim və ya scraper botunu rədd edirdi, 10%-i (16 sayt) isə ən azı bir süni intellekt axtarış krouelini də rədd edirdi, məsələn PerplexityBot (11 sayt) və ya OAI-SearchBot (5).

Saytlar təsadüfi seçmə deyil, daha 53 saytı isə test etmək olmadı, çünki adi brauzer sorğusu da rədd edildi və ya cavabsız qaldı. Bunu siyahıyaalma kimi yox, öz saytınızda yoxlamağa dəyən bir tendensiya kimi qəbul edin.

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

Bunu istənilən saytda işə salmaq təhlükəsizdirmi?

Onu yalnız sahibi olduğunuz və ya test etməyə icazəniz olan saytlarda işə salın. Skript krouler user agent-ləri ilə sorğu göndərir, bəzi bot müdafiələri isə bunu düşmən davranış sayır.

robots.txt qadağa qoyduğu halda GPTBot niyə ok göstərir?

robots.txt xahişdir, kilid deyil. Server onu nəzərə almayan hər kəsə cavab verir, ona görə HTTP sütunu ok göstərir. Yanındakı qayda isə düzgün davranan krouelin nəyə riayət etdiyini göstərir.

Skript JavaScript icra edirmi?

Xeyr, bilərəkdən. O, səhifələri render etməyən krouelin aldığı HTML-i göstərir. --expect bayrağı əsas mətninizin artıq həmin HTML-də olub-olmadığını bildirir.

Təmiz nəticə ChatGPT-nin səhifəmə istinad edəcəyi anlamına gəlirmi?

Xeyr. Giriş zəruridir, amma kifayət deyil. Köməkçinin saytınızı göstərib-göstərmədiyini görmək üçün ona alıcılarınızın verdiyi sualları verin və hansı saytlara istinad etdiyini qeyd edin.

Mənbələr

Digər məqalələr