Τι παίρνουν πραγματικά τα AI crawlers από τον ιστότοπό σας; Ένα script 66 γραμμών
Ζητήστε τη σελίδα σας ως browser και ως κάθε AI crawler και συγκρίνετε. Ένα 403, ένα 429 ή μια σελίδα challenge μόνο για τον crawler, ή ένα 200 πολύ μικρότερο από τη σελίδα του browser, σημαίνει ότι το firewall τον αποκλείει ακόμη κι αν το robots.txt τον επιτρέπει. Ένα script Node 66 γραμμών το κάνει αυτό για επτά crawlers και διαβάζει το robots.txt με τους κανόνες του RFC 9309.
Το robots.txt λέει σε έναν crawler τι επιτρέπεται να ζητήσει. Δεν λέει τίποτα για το τι στέλνει πραγματικά πίσω το firewall ή το CDN σας. Αυτή η ανάρτηση σας δίνει ένα σύντομο script που δείχνει και τα δύο δίπλα-δίπλα, ώστε να δείτε πού διαφωνούν.
Σε αυτή τη σελίδα
Γιατί το robots.txt δεν σας λέει τι παίρνει ένας crawler;
Το robots.txt είναι ένα αίτημα. Ένα firewall, ένα CDN ή ένας κανόνας προστασίας από bots αποφασίζει τι θα σταλεί πραγματικά πίσω και μπορεί να απαντήσει στους OAI-SearchBot ή PerplexityBot με 403, 429 ή με σελίδα "Just a moment...", ενώ οι δικές σας επισκέψεις από browser φαίνονται απολύτως φυσιολογικές.
Ο έλεγχος είναι να ζητήσετε το ίδιο URL ως browser και ως crawler και να συγκρίνετε. Ένα 403, 429 ή 503 μόνο για τον crawler, μια σελίδα με τίτλο Just a moment... ή μια απάντηση 200 πολύ μικρότερη από του browser δείχνουν όλα προς το firewall.
Το script
Αποθηκεύστε το ως ai-crawler-view.mjs. Χρειάζεται Node 18 ή νεότερο και κανένα πακέτο. Διαβάζει το robots.txt μία φορά, ζητά τη σελίδα σας ως browser και έπειτα ως επτά AI crawlers: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot και Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Η Anthropic δεν δημοσιεύει πλήρη user agent strings, γι' αυτό οι δύο γραμμές του Claude χρησιμοποιούν μόνο το token του crawler. Ένα firewall που ελέγχει το token αντιδρά με τον ίδιο τρόπο.
Πώς το εκτελώ;
Εκτελέστε το σε μια σελίδα του δικού σας ιστότοπου. Η προαιρετική σημαία --expect ελέγχει αν μια πρόταση από το κύριο περιεχόμενό σας υπάρχει στο ακατέργαστο HTML που λαμβάνει κάθε crawler. Αν λείπει, κάποια scripts προσθέτουν το κείμενο μετά τη φόρτωση και πολλοί crawlers δεν θα το δουν.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Εκτελέστε το μόνο σε ιστότοπους που σας ανήκουν ή που έχετε άδεια να δοκιμάσετε. Στέλνει εννέα αιτήματα: το robots.txt, τον browser και ένα για κάθε crawler.
Πώς μοιάζει το αποτέλεσμα;
Αυτό είναι το αποτέλεσμα από έναν σκόπιμα εχθρικό τοπικό διακομιστή δοκιμών, που κάνει challenge στον OAI-SearchBot, περιορίζει τον ρυθμό του ClaudeBot, δίνει στον PerplexityBot ένα άδειο κέλυφος και απαγορεύει τον GPTBot στο robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Στο aiseewhy.com κάθε crawler παίρνει ολόκληρη τη σελίδα, με το ίδιο status και μέγεθος με τον browser.
Πώς διαβάζω τον πίνακα;
- Η στήλη robots.txt είναι η άδεια που δώσατε: ο κανόνας που ισχύει για τον συγκεκριμένο crawler σύμφωνα με το RFC 9309, δηλαδή η ομάδα που κατονομάζει τον crawler, αλλιώς το
*, και μετά ο μακρύτερος κανόνας που ταιριάζει, με τοAllowνα υπερισχύει σε ισοβαθμία. - Οι στήλες HTTP και bytes δείχνουν τι έκανε ο διακομιστής. Ο
GPTBotεμφανίζει 200 επειδή ο διακομιστής απαντά σε όποιον αγνοεί το robots.txt· ο κανόνας δίπλα του είναι αυτός που τηρεί ένας crawler με σωστή συμπεριφορά. - Οι επικίνδυνες γραμμές είναι οι αντίστροφες:
allow: /δίπλα σεBLOCKEDήTHIN. Αυτός είναι ένας ιστότοπος που λέει ναι και απαντά όχι.
Τι δεν μπορεί να σας πει το script;
- Δοκιμάζει user agents από τη δική σας διεύθυνση IP, όχι τους πραγματικούς crawlers. Πολλά firewalls επαληθεύουν έναν crawler από τις περιοχές IP που δημοσιεύει ο πάροχός του, οπότε ένας πραγματικός
OAI-SearchBotμπορεί να περάσει όταν το δικό σας αίτημα απορρίπτεται, ή το αντίστροφο. Χρησιμοποιήστε το για να βρείτε κανόνες που αντιδρούν στον user agent και ελέγξτε μετά τις δημοσιευμένες λίστες IP των παρόχων. - Δεν εκτελεί JavaScript, σκόπιμα: δείχνει το HTML που θα έβλεπε ένας crawler που δεν κάνει rendering.
- Ένα καθαρό αποτέλεσμα δεν είναι σύσταση. Το να είστε αναγνώσιμοι δεν σημαίνει ότι θα σας αναφέρουν.
Τι βλέπουμε σε πραγματικούς ιστότοπους;
Το AISeeWhy εκτελεί αυτόν τον έλεγχο για 14 crawlers. Σε 165 επιχειρηματικούς ιστότοπους στις ΗΠΑ, το Ηνωμένο Βασίλειο και τη Γαλλία που καταφέραμε να δοκιμάσουμε, το 38% (63 ιστότοποι) απέρριψε στον διακομιστή τουλάχιστον έναν AI crawler, ενώ ένας browser από την ίδια διεύθυνση έπαιρνε τη σελίδα. Κάθε ένας από αυτούς τους ιστότοπους απέρριψε τουλάχιστον ένα bot εκπαίδευσης ή scraper, και το 10% (16 ιστότοποι) απέρριψε επίσης τουλάχιστον έναν AI search crawler, όπως τον PerplexityBot (11 ιστότοποι) ή τον OAI-SearchBot (5).
Οι ιστότοποι δεν αποτελούν τυχαίο δείγμα και άλλοι 53 δεν μπόρεσαν να δοκιμαστούν, επειδή ακόμη και ένα απλό αίτημα browser απορρίφθηκε ή έμεινε αναπάντητο. Αντιμετωπίστε το ως ένα μοτίβο που αξίζει να ελέγξετε στον δικό σας ιστότοπο, όχι ως απογραφή.
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Έλεγχος IP των crawlers AI
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Crawlers σε αυτό το άρθρο
Συχνές ερωτήσεις
Είναι ασφαλές να το εκτελέσω σε οποιονδήποτε ιστότοπο;
Εκτελέστε το μόνο σε ιστότοπους που σας ανήκουν ή που έχετε άδεια να δοκιμάσετε. Στέλνει αιτήματα με user agents crawlers, τα οποία κάποιες άμυνες κατά των bots θεωρούν εχθρικά.
Γιατί ο GPTBot εμφανίζει ok όταν το robots.txt τον απαγορεύει;
Το robots.txt είναι αίτημα, όχι κλειδαριά. Ο διακομιστής απαντά σε όποιον το αγνοεί, γι' αυτό η στήλη HTTP δείχνει ok. Ο κανόνας δίπλα της δείχνει τι τηρεί ένας crawler με σωστή συμπεριφορά.
Εκτελεί το script JavaScript;
Όχι, σκόπιμα. Δείχνει το HTML που λαμβάνει ένας crawler που δεν κάνει rendering στις σελίδες. Η σημαία --expect σας λέει αν το κύριο κείμενό σας υπάρχει ήδη σε αυτό το HTML.
Σημαίνει ένα καθαρό αποτέλεσμα ότι το ChatGPT θα αναφέρει τη σελίδα μου;
Όχι. Η πρόσβαση είναι αναγκαία αλλά όχι αρκετή. Για να δείτε αν ένας βοηθός αναφέρει τον ιστότοπό σας, κάντε του τις ερωτήσεις που κάνουν οι πελάτες σας και σημειώστε ποιους ιστότοπους παραθέτει.
Πηγές
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)