Τι παίρνουν πραγματικά τα AI crawlers από τον ιστότοπό σας; Ένα script 66 γραμμών

Δημοσιεύθηκε

Σύντομη απάντηση

Ζητήστε τη σελίδα σας ως browser και ως κάθε AI crawler και συγκρίνετε. Ένα 403, ένα 429 ή μια σελίδα challenge μόνο για τον crawler, ή ένα 200 πολύ μικρότερο από τη σελίδα του browser, σημαίνει ότι το firewall τον αποκλείει ακόμη κι αν το robots.txt τον επιτρέπει. Ένα script Node 66 γραμμών το κάνει αυτό για επτά crawlers και διαβάζει το robots.txt με τους κανόνες του RFC 9309.

Το robots.txt λέει σε έναν crawler τι επιτρέπεται να ζητήσει. Δεν λέει τίποτα για το τι στέλνει πραγματικά πίσω το firewall ή το CDN σας. Αυτή η ανάρτηση σας δίνει ένα σύντομο script που δείχνει και τα δύο δίπλα-δίπλα, ώστε να δείτε πού διαφωνούν.

Σε αυτή τη σελίδα
  1. Γιατί το robots.txt δεν σας λέει τι παίρνει ένας crawler;
  2. Το script
  3. Πώς το εκτελώ;
  4. Πώς μοιάζει το αποτέλεσμα;
  5. Πώς διαβάζω τον πίνακα;
  6. Τι δεν μπορεί να σας πει το script;
  7. Τι βλέπουμε σε πραγματικούς ιστότοπους;

Γιατί το robots.txt δεν σας λέει τι παίρνει ένας crawler;

Το robots.txt είναι ένα αίτημα. Ένα firewall, ένα CDN ή ένας κανόνας προστασίας από bots αποφασίζει τι θα σταλεί πραγματικά πίσω και μπορεί να απαντήσει στους OAI-SearchBot ή PerplexityBot με 403, 429 ή με σελίδα "Just a moment...", ενώ οι δικές σας επισκέψεις από browser φαίνονται απολύτως φυσιολογικές.

Ο έλεγχος είναι να ζητήσετε το ίδιο URL ως browser και ως crawler και να συγκρίνετε. Ένα 403, 429 ή 503 μόνο για τον crawler, μια σελίδα με τίτλο Just a moment... ή μια απάντηση 200 πολύ μικρότερη από του browser δείχνουν όλα προς το firewall.

Το script

Αποθηκεύστε το ως ai-crawler-view.mjs. Χρειάζεται Node 18 ή νεότερο και κανένα πακέτο. Διαβάζει το robots.txt μία φορά, ζητά τη σελίδα σας ως browser και έπειτα ως επτά AI crawlers: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot και Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Η Anthropic δεν δημοσιεύει πλήρη user agent strings, γι' αυτό οι δύο γραμμές του Claude χρησιμοποιούν μόνο το token του crawler. Ένα firewall που ελέγχει το token αντιδρά με τον ίδιο τρόπο.

Πώς το εκτελώ;

Εκτελέστε το σε μια σελίδα του δικού σας ιστότοπου. Η προαιρετική σημαία --expect ελέγχει αν μια πρόταση από το κύριο περιεχόμενό σας υπάρχει στο ακατέργαστο HTML που λαμβάνει κάθε crawler. Αν λείπει, κάποια scripts προσθέτουν το κείμενο μετά τη φόρτωση και πολλοί crawlers δεν θα το δουν.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Εκτελέστε το μόνο σε ιστότοπους που σας ανήκουν ή που έχετε άδεια να δοκιμάσετε. Στέλνει εννέα αιτήματα: το robots.txt, τον browser και ένα για κάθε crawler.

Πώς μοιάζει το αποτέλεσμα;

Αυτό είναι το αποτέλεσμα από έναν σκόπιμα εχθρικό τοπικό διακομιστή δοκιμών, που κάνει challenge στον OAI-SearchBot, περιορίζει τον ρυθμό του ClaudeBot, δίνει στον PerplexityBot ένα άδειο κέλυφος και απαγορεύει τον GPTBot στο robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Στο aiseewhy.com κάθε crawler παίρνει ολόκληρη τη σελίδα, με το ίδιο status και μέγεθος με τον browser.

Πώς διαβάζω τον πίνακα;

Τι δεν μπορεί να σας πει το script;

Τι βλέπουμε σε πραγματικούς ιστότοπους;

Το AISeeWhy εκτελεί αυτόν τον έλεγχο για 14 crawlers. Σε 165 επιχειρηματικούς ιστότοπους στις ΗΠΑ, το Ηνωμένο Βασίλειο και τη Γαλλία που καταφέραμε να δοκιμάσουμε, το 38% (63 ιστότοποι) απέρριψε στον διακομιστή τουλάχιστον έναν AI crawler, ενώ ένας browser από την ίδια διεύθυνση έπαιρνε τη σελίδα. Κάθε ένας από αυτούς τους ιστότοπους απέρριψε τουλάχιστον ένα bot εκπαίδευσης ή scraper, και το 10% (16 ιστότοποι) απέρριψε επίσης τουλάχιστον έναν AI search crawler, όπως τον PerplexityBot (11 ιστότοποι) ή τον OAI-SearchBot (5).

Οι ιστότοποι δεν αποτελούν τυχαίο δείγμα και άλλοι 53 δεν μπόρεσαν να δοκιμαστούν, επειδή ακόμη και ένα απλό αίτημα browser απορρίφθηκε ή έμεινε αναπάντητο. Αντιμετωπίστε το ως ένα μοτίβο που αξίζει να ελέγξετε στον δικό σας ιστότοπο, όχι ως απογραφή.

Δωρεάν εργαλεία

Επόμενα βήματα

Crawlers σε αυτό το άρθρο

Συχνές ερωτήσεις

Είναι ασφαλές να το εκτελέσω σε οποιονδήποτε ιστότοπο;

Εκτελέστε το μόνο σε ιστότοπους που σας ανήκουν ή που έχετε άδεια να δοκιμάσετε. Στέλνει αιτήματα με user agents crawlers, τα οποία κάποιες άμυνες κατά των bots θεωρούν εχθρικά.

Γιατί ο GPTBot εμφανίζει ok όταν το robots.txt τον απαγορεύει;

Το robots.txt είναι αίτημα, όχι κλειδαριά. Ο διακομιστής απαντά σε όποιον το αγνοεί, γι' αυτό η στήλη HTTP δείχνει ok. Ο κανόνας δίπλα της δείχνει τι τηρεί ένας crawler με σωστή συμπεριφορά.

Εκτελεί το script JavaScript;

Όχι, σκόπιμα. Δείχνει το HTML που λαμβάνει ένας crawler που δεν κάνει rendering στις σελίδες. Η σημαία --expect σας λέει αν το κύριο κείμενό σας υπάρχει ήδη σε αυτό το HTML.

Σημαίνει ένα καθαρό αποτέλεσμα ότι το ChatGPT θα αναφέρει τη σελίδα μου;

Όχι. Η πρόσβαση είναι αναγκαία αλλά όχι αρκετή. Για να δείτε αν ένας βοηθός αναφέρει τον ιστότοπό σας, κάντε του τις ερωτήσεις που κάνουν οι πελάτες σας και σημειώστε ποιους ιστότοπους παραθέτει.

Πηγές

Περισσότερα άρθρα