AI krouler saytingizdan aslida nimani oladi? 66 qatorli skript
Sahifangizni avval brauzer sifatida, keyin har bir AI krouler sifatida so'rang va natijalarni solishtiring. Faqat krouler uchun 403, 429 yoki challenge sahifa kelsa, yoxud 200 javob brauzernikidan ancha kichik bo'lsa, robots.txt ruxsat bergan bo'lsa ham xavfsizlik devori uni rad etayotgan bo'ladi. 66 qatorli Node skripti buni yettita krouler uchun bajaradi va robots.txt faylini RFC 9309 qoidalari bo'yicha o'qiydi.
robots.txt krouler nimani yuklab olishi mumkinligini aytadi. Lekin xavfsizlik devoringiz yoki CDN aslida nima qaytarishini aytmaydi. Bu maqolada ikkalasini yonma-yon ko'rsatadigan qisqa skript bor, shunda ikkalasi qayerda bir-biriga zid kelishini ko'rasiz.
Ushbu sahifada
Nega robots.txt krouler nima olishini ko'rsatmaydi?
robots.txt bu iltimos, xolos. Aslida nima qaytarilishini xavfsizlik devori, CDN yoki botdan himoya qoidasi hal qiladi. U OAI-SearchBot yoki PerplexityBot ga 403, 429 yoki "Just a moment..." sahifasini qaytarishi mumkin, siz brauzerda kirsangiz esa hammasi joyida ko'rinadi.
Tekshirish usuli oddiy: bir xil URL manzilni brauzer sifatida ham, krouler sifatida ham so'rab, natijani solishtiring. Faqat krouler uchun 403, 429 yoki 503 kelsa, sahifa sarlavhasi Just a moment... bo'lsa yoki 200 javob brauzernikidan ancha kichik bo'lsa, bularning hammasi xavfsizlik devoriga ishora qiladi.
Skript
Uni ai-crawler-view.mjs nomi bilan saqlang. Node 18 yoki undan yangisi kerak, paketlar kerak emas. Skript robots.txt faylini bir marta o'qiydi, sahifangizni brauzer sifatida, so'ng yettita AI krouler sifatida yuklaydi: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot va Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic to'liq user agent satrlarini e'lon qilmaydi, shuning uchun Claude'ning ikkala qatorida faqat krouler tokeni ishlatiladi. Token bo'yicha tekshiradigan xavfsizlik devori ham xuddi shunday ishlaydi.
Uni qanday ishga tushiraman?
Skriptni o'z saytingizning sahifasida ishga tushiring. Ixtiyoriy --expect bayrog'i asosiy kontentingizdagi bir jumla har bir krouler olgan xom HTML ichida bor-yo'qligini tekshiradi. Agar u yo'q bo'lsa, matn sahifa yuklangandan keyin skriptlar orqali qo'shilyapti va ko'p kroulerlar uni ko'rmaydi.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Uni faqat o'zingizga tegishli yoki sinash uchun ruxsat berilgan saytlarda ishga tushiring. U to'qqizta so'rov yuboradi: robots.txt, brauzer va har bir krouler uchun bittadan.
Natija qanday ko'rinadi?
Bu ataylab dushmanona sozlangan mahalliy test serveridagi natija. U OAI-SearchBot ga challenge ko'rsatadi, ClaudeBot ni tezlik bo'yicha cheklaydi, PerplexityBot ga bo'sh qobiq beradi va robots.txt'da GPTBot ni taqiqlaydi:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok aiseewhy.com saytida har bir krouler to'liq sahifani oladi, status va hajm brauzernikiga teng.
Jadvalni qanday o'qiladi?
- robots.txt ustuni siz bergan ruxsatni ko'rsatadi: RFC 9309 bo'yicha shu krouler uchun amal qiladigan qoida. Ya'ni kroulerni nomi bilan atagan guruh, bo'lmasa
*, undan keyin eng uzun mos keluvchi qoida, tenglikda esaAllowg'alaba qiladi. - HTTP va bayt ustunlari serverning haqiqiy javobini ko'rsatadi.
GPTBot200 ko'rsatadi, chunki server robots.txt'ga e'tibor bermagan har kimga javob beradi. Yonidagi qoida esa halol krouler rioya qiladigan qoidadir. - Xavfli qatorlar aksincha bo'ladi:
allow: /yonidaBLOCKEDyokiTHIN. Bu "ha" deb yozib, "yo'q" deb javob beradigan sayt.
Skript nimani ko'rsata olmaydi?
- U haqiqiy kroulerlarni emas, faqat user agentlarni o'z IP manzilingizdan sinaydi. Ko'p xavfsizlik devorlari kroulerni yetkazib beruvchi e'lon qilgan IP diapazonlari bo'yicha tekshiradi. Shuning uchun haqiqiy
OAI-SearchBoto'tkazilib, sizning so'rovingiz rad etilishi mumkin, yoki aksincha. Skriptdan user agentga javob beradigan qoidalarni topish uchun foydalaning, keyin yetkazib beruvchilarning e'lon qilingan IP ro'yxatlarini tekshiring. - U ataylab JavaScript'ni bajarmaydi: sahifani render qilmaydigan krouler ko'radigan HTML'ni ko'rsatadi.
- Toza natija tavsiya emas. O'qila olish sahifangiz manba sifatida ko'rsatilishini bildirmaydi.
Haqiqiy saytlarda nimani ko'ramiz?
AISeeWhy bunday tekshiruvni 14 ta krouler uchun o'tkazadi. AQSh, Buyuk Britaniya va Fransiyadagi test qila olgan 165 ta biznes saytidan 38 foizi (63 ta sayt) serverda kamida bitta AI kroulerni qaytargan, bir xil manzildan kirgan brauzer esa sahifani olgan. Bu saytlarning hammasi kamida bitta o'qitish yoki skreyper botini rad etgan, 10 foizi (16 ta sayt) esa kamida bitta AI qidiruv kroulerini ham rad etgan, masalan PerplexityBot (11 ta sayt) yoki OAI-SearchBot (5 ta).
Saytlar tasodifiy tanlanmagan, yana 53 tasini sinab bo'lmadi, chunki oddiy brauzer so'rovi ham rad etildi yoki javobsiz qoldi. Buni to'liq statistika deb emas, o'z saytingizda tekshirishga arziydigan holat deb qabul qiling.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- AI kraulerlari IP tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Uni istalgan saytda ishga tushirish xavfsizmi?
Uni faqat o'zingizga tegishli yoki sinash uchun ruxsat berilgan saytlarda ishga tushiring. U krouler user agentlari bilan so'rov yuboradi, ba'zi botdan himoya tizimlari buni dushmanona harakat deb hisoblaydi.
robots.txt GPTBot'ni taqiqlasa, nega u ok ko'rsatadi?
robots.txt bu iltimos, qulf emas. Server unga e'tibor bermagan har kimga javob beradi, shuning uchun HTTP ustunida ok turadi. Yonidagi qoida halol krouler nimaga rioya qilishini ko'rsatadi.
Skript JavaScript'ni bajaradimi?
Yo'q, bu ataylab qilingan. U sahifalarni render qilmaydigan krouler oladigan HTML'ni ko'rsatadi. --expect bayrog'i asosiy matningiz shu HTML ichida bor-yo'qligini aytadi.
Toza natija ChatGPT sahifamni manba sifatida ko'rsatishini anglatadimi?
Yo'q. Kirish imkoni zarur, lekin yetarli emas. Assistent saytingizni tilga olishini bilish uchun unga xaridorlaringiz beradigan savollarni bering va qaysi saytlarni manba qilib ko'rsatishini yozib boring.
Manbalar
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)