Süni intellekt krouleri saytınızdan əslində nə alır? 66 sətirlik skript
Səhifənizi əvvəlcə brauzer kimi, sonra hər bir süni intellekt krouleri kimi sorğulayın və nəticələri müqayisə edin. Yalnız krouler üçün 403, 429 və ya challenge səhifəsi, yaxud brauzerin səhifəsindən xeyli kiçik olan 200 cavabı robots.txt icazə versə belə, firewall-un krouleri rədd etdiyini göstərir. 66 sətirlik Node skripti bunu yeddi krouler üçün edir və robots.txt faylını RFC 9309 qaydaları ilə oxuyur.
robots.txt krouelrə nəyi çəkə biləcəyini bildirir. Firewall və ya CDN-in əslində nə qaytardığı barədə isə heç nə demir. Bu yazıda hər ikisini yan-yana göstərən qısa skript var, beləliklə ikisinin harada uyğun gəlmədiyini görə bilərsiniz.
Bu səhifədə
robots.txt niyə krouelin nə aldığını göstərmir?
robots.txt sadəcə xahişdir. Əslində nəyin qaytarılacağını firewall, CDN və ya bot müdafiəsi qaydası həll edir. Sizin brauzerinizdə hər şey normal görünsə belə, o, OAI-SearchBot və ya PerplexityBot üçün 403, 429 və ya "Just a moment..." səhifəsi qaytara bilər.
Yoxlama üsulu eyni URL-i əvvəlcə brauzer, sonra krouler kimi sorğulayıb müqayisə etməkdir. Yalnız krouler üçün 403, 429 və ya 503, Just a moment... başlıqlı səhifə, yaxud brauzerin cavabından xeyli kiçik 200 cavabı firewall-a işarə edir.
Skript
Onu ai-crawler-view.mjs adı ilə saxlayın. Node 18 və ya daha yeni versiya tələb olunur, paket lazım deyil. Skript robots.txt faylını bir dəfə oxuyur, səhifənizi brauzer kimi, sonra isə yeddi süni intellekt krouleri kimi çəkir: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot və Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic tam user agent sətirlərini dərc etmir, ona görə iki Claude sətrində yalnız krouler tokeni istifadə olunur. Token üzrə uyğunlaşdıran firewall eyni cür reaksiya verir.
Onu necə işə salmaq olar?
Skripti öz saytınızın səhifəsində işə salın. İstəyə bağlı --expect bayrağı əsas məzmunundakı cümlənin hər krouelin aldığı xam HTML-də olub-olmadığını yoxlayır. Əgər yoxdursa, mətni skriptlər yüklənəndən sonra əlavə edir və bir çox krouler onu görməyəcək.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Onu yalnız sahibi olduğunuz və ya test etməyə icazəniz olan saytlarda işə salın. Skript doqquz sorğu göndərir: robots.txt, brauzer və hər krouler üçün bir sorğu.
Nəticə necə görünür?
Bu, OAI-SearchBot üçün challenge göstərən, ClaudeBot sürətini məhdudlaşdıran, PerplexityBot üçün boş qabıq qaytaran və robots.txt-də GPTBot üçün qadağa qoyan qəsdən düşmən lokal test serverinə qarşı alınmış nəticədir:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok aiseewhy.com saytında hər krouler brauzerlə eyni status və ölçüdə tam səhifə alır.
Cədvəli necə oxumaq olar?
- robots.txt sütunu sizin verdiyiniz icazədir: RFC 9309 üzrə həmin krouelə tətbiq olunan qayda. Bu, əvvəlcə krouleri adı ilə göstərən qrup, yoxdursa
*, sonra ən uzun uyğun gələn qaydadır; bərabərlik halındaAllowüstün gəlir. - HTTP və bytes sütunları serverin nə etdiyini göstərir.
GPTBotüçün 200 görünür, çünki server robots.txt-ni nəzərə almayan hər kəsə cavab verir; yanındakı qayda isə düzgün davranan krouelin riayət etdiyi qaydadır. - Təhlükəli sətirlər əksinədir:
allow: /yanındaBLOCKEDvə yaTHIN. Bu, bəli deyən, amma yox cavabı verən saytdır.
Skript nəyi deyə bilməz?
- O, real krouelləri yox, user agent-ləri öz IP ünvanınızdan test edir. Bir çox firewall krouleri təchizatçının dərc etdiyi IP diapazonları ilə yoxlayır, ona görə sizin sorğunuz rədd olunanda real
OAI-SearchBotburaxıla bilər, yaxud tərsinə. Skriptdən user agent-ə reaksiya verən qaydaları tapmaq üçün istifadə edin, sonra təchizatçıların dərc etdiyi IP siyahılarını yoxlayın. - O, bilərəkdən JavaScript icra etmir: render etməyən krouelin görəcəyi HTML-i göstərir.
- Təmiz nəticə tövsiyə deyil. Oxunaqlı olmaq istinad edilmək demək deyil.
Real saytlarda nə görürük?
AISeeWhy bu tip yoxlamanı 14 krouler üçün aparır. ABŞ, Böyük Britaniya və Fransada test edə bildiyimiz 165 biznes saytından 38%-i (63 sayt) ən azı bir süni intellekt krouelini serverdə geri çevirdi, halbuki eyni ünvandan brauzer səhifəni alırdı. Bu saytların hamısı ən azı bir təlim və ya scraper botunu rədd edirdi, 10%-i (16 sayt) isə ən azı bir süni intellekt axtarış krouelini də rədd edirdi, məsələn PerplexityBot (11 sayt) və ya OAI-SearchBot (5).
Saytlar təsadüfi seçmə deyil, daha 53 saytı isə test etmək olmadı, çünki adi brauzer sorğusu da rədd edildi və ya cavabsız qaldı. Bunu siyahıyaalma kimi yox, öz saytınızda yoxlamağa dəyən bir tendensiya kimi qəbul edin.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- AI botlarının IP yoxlaması
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
Bunu istənilən saytda işə salmaq təhlükəsizdirmi?
Onu yalnız sahibi olduğunuz və ya test etməyə icazəniz olan saytlarda işə salın. Skript krouler user agent-ləri ilə sorğu göndərir, bəzi bot müdafiələri isə bunu düşmən davranış sayır.
robots.txt qadağa qoyduğu halda GPTBot niyə ok göstərir?
robots.txt xahişdir, kilid deyil. Server onu nəzərə almayan hər kəsə cavab verir, ona görə HTTP sütunu ok göstərir. Yanındakı qayda isə düzgün davranan krouelin nəyə riayət etdiyini göstərir.
Skript JavaScript icra edirmi?
Xeyr, bilərəkdən. O, səhifələri render etməyən krouelin aldığı HTML-i göstərir. --expect bayrağı əsas mətninizin artıq həmin HTML-də olub-olmadığını bildirir.
Təmiz nəticə ChatGPT-nin səhifəmə istinad edəcəyi anlamına gəlirmi?
Xeyr. Giriş zəruridir, amma kifayət deyil. Köməkçinin saytınızı göstərib-göstərmədiyini görmək üçün ona alıcılarınızın verdiyi sualları verin və hansı saytlara istinad etdiyini qeyd edin.
Mənbələr
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI krouelərinə baxış
- Anthropic: Anthropic internetdən məlumat toplayırmı və sayt sahibləri krouleri necə blok edə bilər?
- Perplexity: Perplexity krouelləri
- Cloudflare: Süni intellekt krouelərinin idarə olunması (AI Crawl Control)