Co roboty AI naprawdę dostają z Twojej strony? Skrypt w 66 liniach
Pobierz stronę jako przeglądarka i jako każdy robot AI, a potem porównaj wyniki. Kod 403, 429 albo strona weryfikacji tylko dla robota, a także odpowiedź 200 znacznie mniejsza niż strona dla przeglądarki oznaczają, że zapora odrzuca robota, nawet jeśli robots.txt na to pozwala. Skrypt w Node na 66 liniach robi to dla siedmiu robotów i czyta robots.txt według reguł RFC 9309.
robots.txt mówi robotowi, co wolno mu pobierać. Nie mówi nic o tym, co zapora lub CDN faktycznie odsyłają. Ten wpis daje krótki skrypt, który pokazuje jedno i drugie obok siebie, więc widać, gdzie się rozchodzą.
Na tej stronie
Dlaczego robots.txt nie mówi, co dostaje robot?
robots.txt jest prośbą. To zapora, CDN lub reguła ochrony przed botami decyduje, co naprawdę zostanie odesłane. Może odpowiedzieć OAI-SearchBot lub PerplexityBot kodem 403, 429 albo stroną „Just a moment...”, podczas gdy Twoje wejścia z przeglądarki wyglądają zupełnie normalnie.
Wystarczy pobrać ten sam adres jako przeglądarka i jako robot, a potem porównać wyniki. Kod 403, 429 lub 503 tylko dla robota, strona z tytułem Just a moment... albo odpowiedź 200 znacznie mniejsza niż ta dla przeglądarki wskazują na zaporę.
Skrypt
Zapisz go jako ai-crawler-view.mjs. Wymaga Node 18 lub nowszego i żadnych pakietów. Czyta robots.txt raz, pobiera Twoją stronę jako przeglądarka, a potem jako siedem robotów AI: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot i Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic nie publikuje pełnych ciągów user agent, więc dwie linie dla Claude używają tylko nazwy robota. Zapora, która dopasowuje nazwę, zareaguje tak samo.
Jak go uruchomić?
Uruchom go na jednej ze stron własnego serwisu. Opcjonalna flaga --expect sprawdza, czy zdanie z Twojej głównej treści występuje w surowym HTML, który dostaje każdy robot. Jeśli go brakuje, tekst dodają skrypty po załadowaniu strony, a wiele robotów go nie zobaczy.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Uruchamiaj go tylko na serwisach, które są Twoje lub które wolno Ci testować. Wysyła dziewięć żądań: robots.txt, przeglądarka i po jednym na każdego robota.
Jak wygląda wynik?
Oto wynik dla celowo wrogiego lokalnego serwera testowego, który stawia wyzwanie OAI-SearchBot, ogranicza tempo ClaudeBot, wydaje PerplexityBot pustą powłokę i zabrania GPTBot w robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Na aiseewhy.com każdy robot dostaje pełną stronę, z takim samym statusem i rozmiarem jak przeglądarka.
Jak czytać tabelę?
- Kolumna robots.txt pokazuje udzieloną zgodę: regułę obowiązującą dany robot według RFC 9309, czyli grupę wymieniającą robota, a w razie jej braku
*, potem najdłuższą pasującą regułę, przy czym przy remisie wygrywaAllow. - Kolumny HTTP i bajty pokazują, co zrobił serwer.
GPTBotma 200, bo serwer odpowiada każdemu, kto ignoruje robots.txt; reguła obok to to, czego przestrzega dobrze zachowujący się robot. - Groźne są wiersze odwrotne:
allow: /obokBLOCKEDlubTHIN. To serwis, który mówi tak, a odpowiada nie.
Czego skrypt nie powie?
- Testuje user agenty z Twojego własnego adresu IP, a nie prawdziwe roboty. Wiele zapór weryfikuje robota po zakresach IP, które publikuje jego dostawca, więc prawdziwy
OAI-SearchBotmoże zostać wpuszczony, gdy Twoje żądanie odrzucono, albo odwrotnie. Użyj skryptu, by znaleźć reguły reagujące na user agent, a potem sprawdź listy IP publikowane przez dostawców. - Celowo nie uruchamia JavaScriptu: pokazuje HTML, który zobaczy robot niewykonujący skryptów.
- Czysty wynik nie jest rekomendacją. Bycie czytelnym to nie to samo co bycie cytowanym.
Co widzimy w prawdziwych serwisach?
AISeeWhy wykonuje takie sprawdzenie dla 14 robotów. Wśród 165 serwisów firm z USA, Wielkiej Brytanii i Francji, które mogliśmy przetestować, 38% (63 serwisy) odrzucało na serwerze co najmniej jednego robota AI, podczas gdy przeglądarka z tego samego adresu dostawała stronę. Każdy z tych serwisów odrzucał co najmniej jednego robota treningowego lub scrapera, a 10% (16 serwisów) odrzucało też co najmniej jednego robota wyszukiwarki AI, takiego jak PerplexityBot (11 serwisów) lub OAI-SearchBot (5).
Serwisy nie są losową próbą, a kolejnych 53 nie dało się przetestować, bo odrzucały nawet zwykłe żądanie z przeglądarki albo nie odpowiadały. Potraktuj to jako schemat wart sprawdzenia u siebie, a nie spis powszechny.
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Sprawdzanie IP crawlerów AI
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Najczęstsze pytania
Czy bezpiecznie uruchamiać to na dowolnym serwisie?
Uruchamiaj go tylko na serwisach, które są Twoje lub które wolno Ci testować. Wysyła żądania z user agentami robotów, które część zabezpieczeń przed botami traktuje jako wrogie.
Dlaczego GPTBot ma ok, skoro robots.txt mu zabrania?
robots.txt jest prośbą, a nie zamkiem. Serwer odpowiada każdemu, kto ją ignoruje, więc kolumna HTTP pokazuje ok. Reguła obok pokazuje, czego przestrzega dobrze zachowujący się robot.
Czy skrypt uruchamia JavaScript?
Nie, celowo. Pokazuje HTML, który dostaje robot niewyświetlający stron. Flaga --expect mówi, czy Twój główny tekst jest już w tym HTML.
Czy czysty wynik oznacza, że ChatGPT zacytuje moją stronę?
Nie. Dostęp jest konieczny, ale niewystarczający. Żeby sprawdzić, czy asystent wymienia Twój serwis, zadaj mu pytania, które zadają Twoi klienci, i zanotuj, jakie serwisy cytuje.
Źródła
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)