Vidí Claude môj web? Ako to overiť
Claude môže vašu stránku prečítať, len ak váš robots.txt povoľuje agentov Anthropic a váš server im posiela to isté HTML, aké dostane prehliadač. Skontrolujte, že robots.txt nezakazuje Claude-SearchBot ani Claude-User, že im váš firewall neodpovedá kódom 403 ani overovacou stránkou a že hlavný text je v počiatočnom HTML. Potom otestujte samotný Claude: vložte URL do chatu a so zapnutým vyhľadávaním na webe sa pýtajte otázky, ktoré kladú vaši zákazníci.
Keď sa Claude spýtate na svoj produkt a on cituje iné weby, prvá otázka je, či sa k vášmu webu vôbec dostane. Na to existuje overiteľná odpoveď. Anthropic zverejňuje tokeny svojich agentov pre robots.txt aj IP adresy, z ktorých prichádzajú, a Claude ukazuje zdroje, ktoré použil. Môžete teda skontrolovať krok za krokom: čo hovorí váš robots.txt, čo posiela váš server, čo zaznamenajú vaše logy a čo Claude urobí so stránkou, keď mu ju dáte.
Na tejto stránke
- Kontrola za 5 minút krok za krokom
- Ako Claude číta weby?
- Ako cez robots.txt overiť, či má Claude prístup na môj web?
- Ako otestovať, čo agenti Claude dostanú z môjho servera?
- Ako zistiť, či Claude môj web naozaj navštevuje?
- Ako otestovať samotný Claude s mojou stránkou?
- Čo ak Claude moju stránku prečíta, ale aj tak ju necituje?
- Ako to kontroluje AISeeWhy?
Kontrola za 5 minút krok za krokom
- Otvorte svoj robots.txt a overte, že stránku nezakazuje žiadna skupina pre
Claude-SearchBot,Claude-UseraniUser-agent: *.ClaudeBotje dôležitý len pre trénovanie. - Spustite bezplatnú kontrolu stránky v AISeeWhy alebo pošlite jednu požiadavku s user agentom
Claude-User: musí dostať stavový kód 200 a rovnaký text ako prehliadač. - Vyhľadajte v prístupovom logu
Claude-SearchBotaClaude-Usera pozrite sa, aké stavové kódy dostali. - Vložte svoju URL do Claude so zapnutým vyhľadávaním na webe, požiadajte ho o zhrnutie stránky, potom položte otázku, ktorú kladú vaši zákazníci, a skontrolujte citácie.
Ak zlyhá krok 1 alebo 2, opravte najskôr prístup; sekcie nižšie ukazujú ako. Ak Claude stránku prečíta, ale necituje ju, zapracujte na obsahu.
Ako Claude číta weby?
Claude sa na web dostane dvoma spôsobmi. S vyhľadávaním na webe hľadá, keď otázka potrebuje aktuálne informácie, prejde niekoľko zdrojov a odpovie s citáciami. Centrum pomoci Anthropic uvádza, že každá odpoveď, ktorá používa vyhľadávanie na webe, obsahuje citácie. Keď Claude niekto dá konkrétny odkaz, dokáže túto stránku otvoriť priamo.
Anthropic na to dokumentuje troch agentov, každý s vlastným tokenom pre robots.txt. Claude-SearchBot prechádza web, aby zlepšil výsledky vyhľadávania Claude, Claude-User sťahuje stránky, keď ich potrebuje otázka používateľa, a ClaudeBot zbiera obsah, ktorý sa môže použiť na trénovanie. Čo presne robí každý z nich, podrobne opisuje náš samostatný návod k trom crawlerom Anthropic. Pre čítanie a citovanie treba skontrolovať prvé dva.
Jedno poctivé obmedzenie: Anthropic nezverejňuje, aký vyhľadávací index používa vyhľadávanie na webe v Claude ani ako vyberá zdroje. Uvádza, že blokovanie Claude-SearchBot môže znížiť vašu viditeľnosť vo výsledkoch vyhľadávania a blokovanie Claude-User zabráni načítaniu stránok pre otázky používateľov. Povolenie oboch citáciu umožní, nezaručí ju.
Ako cez robots.txt overiť, či má Claude prístup na môj web?
Otvorte https://yourdomain.com/robots.txt a hľadajte skupiny, ktoré menujú Claude-SearchBot alebo Claude-User. Ak nie je menovaný ani jeden, obaja sa riadia skupinou User-agent: *. Podľa RFC 9309 sa pri porovnávaní tokenov nerozlišujú veľké a malé písmená a Disallow: / v skupine, ktorá platí, zavrie pre daného agenta celý web.
Skontrolujte aj samotnú odpoveď. Ak robots.txt vráti chybu servera, crawlery majú predpokladať, že je zakázané všetko. 404 znamená, že pravidlá neexistujú. Dva príkazy ukážu stavový kód a všetky skupiny v súbore:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic uvádza, že pravidlá musia byť v robots.txt na najvyššej úrovni každej subdomény, takže blog.example.com potrebuje vlastný súbor. Takéto bloky nie sú zriedkavé. V našej štúdii 1 000 najpopulárnejších domén zo 518 webov, ktoré poskytovali robots.txt, zakazovalo domovskú stránku pre Claude-SearchBot 67 (12,9 %) a pre Claude-User 68 (13,1 %), kým pre trénovací crawler ClaudeBot to bolo 110 (21,2 %).
Ako otestovať, čo agenti Claude dostanú z môjho servera?
robots.txt je žiadosť, nie riadenie prístupu. Firewall, CDN alebo ochrana proti botom môže agentom Anthropic odpovedať kódom 403, 429 alebo overovacou stránkou, kým váš prehliadač vidí stránku normálne. Anthropic uvádza, že jeho boty sa nepokúšajú obísť CAPTCHA, takže overovacou stránkou sa návšteva končí.
Vyžiadajte tú istú URL s user agentom prehliadača a s každým tokenom Anthropic a porovnajte stavový kód a veľkosť:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Stránka pomoci Anthropic uvádza tokeny, ale nezverejňuje úplné reťazce user agenta, takže toto sú testovacie reťazce, nie skutočné reťazce Anthropic. Ukážu, ako s požiadavkou zaobchádzajú pravidlá, ktoré sa riadia názvom. Kód 403, 429 alebo 503 len pri riadkoch Claude alebo odpoveď 200, ktorá je oveľa menšia ako pre prehliadač, ukazuje na váš firewall.
Váš test prichádza z vašej vlastnej IP adresy. Anthropic uvádza, že požiadavky z adries v jeho zozname na claude.com/crawling/bots.json pochádzajú od Anthropic. Ak váš firewall púšťa overené crawlery podľa IP, skutočných agentov môže pustiť, kým váš test zablokuje, a možný je aj opak. Zoznam použite na povolenie Anthropic, nie na jeho blokovanie: Anthropic neodporúča blokovanie podľa IP, pretože jeho botom znemožní aj čítanie vášho robots.txt.
Ako zistiť, či Claude môj web naozaj navštevuje?
Odpoveď dajú priamo vaše prístupové logy. Vyhľadajte v nich tri tokeny a potom overte, že zdrojové adresy patria do rozsahov, ktoré Anthropic zverejňuje, pretože názov user agenta môže skopírovať ktokoľvek:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Prvý príkaz predpokladá bežný formát combined, v ktorom je pole 1 adresa klienta a pole 9 stavový kód. Veľa kódov 403 alebo 429 pri agentoch Anthropic potvrdzuje problém s firewallom. Ak Claude-SearchBot nemá žiadne návštevy, znamená to len, že tieto stránky ešte neprešiel, alebo ho niečo zastaví skôr.
Ako otestovať samotný Claude s mojou stránkou?
Otvorte chat a vložte URL jednej zo svojich stránok s požiadavkou ako „Zhrň túto stránku“. Centrum pomoci Anthropic uvádza, že so zapnutým vyhľadávaním na webe dokáže Claude otvoriť odkazy, ktoré mu dáte. Ak je vyhľadávanie na webe vypnuté, zapnite ho v ponuke +; v novšom prostredí Claude prepínač nie je a Claude vyhľadáva, keď to pomôže. V plánoch Team a Enterprise musí vlastník najprv povoliť vyhľadávanie na webe pre organizáciu. Ak Claude vašu stránku neotvorí, kým prehliadač áno, vráťte sa k testu firewallu.
Potom sa pýtajte otázky, ktoré kladú vaši zákazníci, bez uvedenia vášho webu, a otvorte citované zdroje. Anthropic uvádza, že Claude môže pre lokalizované výsledky použiť polohu odvodenú z vašej IP adresy, takže odpovede sa môžu líšiť podľa miesta aj medzi spusteniami.
Vývojári to môžu zopakovať cez Claude API. Nástroj na vyhľadávanie na webe prijíma zoznam allowed_domains, takže požiadavka obmedzená na vašu doménu ukáže, či vyhľadávanie Claude pre danú otázku vráti niektorú z vašich stránok:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Prázdne výsledky vyhľadávania znamenajú, že vyhľadávanie Claude na tejto doméne pre danú otázku nič nenašlo. Anthropic si za vyhľadávania cez API účtuje poplatok navyše k tokenom. Nástroj web fetch v API tiež hlási, prečo sa stránka nedala prečítať: url_not_allowed zahŕňa bloky ako robots.txt a url_not_accessible znamená chybu HTTP. Odpovede cez API sa môžu líšiť od toho, čo ukazujú aplikácie Claude.
Čo ak Claude moju stránku prečíta, ale aj tak ju necituje?
Najprv sa uistite, že text, ktorý potrebuje, je v HTML, ktoré posiela váš server. Dokumentácia API od Anthropic uvádza, že jeho nástroj web fetch nepodporuje weby vykresľované JavaScriptom, a Anthropic neuvádza, že by jeho crawlery spúšťali skripty. Stiahnite stránku cez curl a vo výstupe vyhľadajte vetu z hlavného obsahu. Ak tam nie je, vykresľovanie na strane servera alebo predvykresľovanie to vyrieši pre Claude aj pre väčšinu ostatných AI crawlerov.
Potom rozhoduje samotná stránka. Odpoveď na hlavnú otázku stránky dajte do prvých viet, používajte nadpisy, ktoré zodpovedajú otázkam ľudí, uveďte vydavateľa a zobrazte dátumy. Potom porovnajte svoju stránku so stránkou, ktorú Claude cituje pri tej istej otázke: citovaná stránka často odpovedá presne na túto otázku priamejšie.
Ako to kontroluje AISeeWhy?
Bezplatná kontrola AISeeWhy vyžiada vašu stránku ako Claude-SearchBot, Claude-User, ClaudeBot a ďalšie AI a vyhľadávacie crawlery vedľa skutočného prehliadača, na každý uplatní váš robots.txt, rozpozná overovacie stránky a ukáže, koľko textu dorazí bez JavaScriptu. Kontrola Viditeľnosť v AI v platených plánoch kladie vaše otázky cez Claude s vyhľadávaním na webe s vaším vlastným API kľúčom a ukáže, či sa vaša značka alebo doména spomína alebo cituje.
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Môžem zadarmo zistiť, či Claude vidí môj web?
Áno. Váš robots.txt, požiadavka cez curl, log servera a otázka v Claude nič nestoja. Bezplatná kontrola AISeeWhy testuje agentov Anthropic a 13 ďalších crawlerov pre jednu stránku denne bez účtu.
Prečo Claude neotvorí môj web, keď vložím odkaz?
Bežné príčiny sú firewall alebo ochrana proti botom, ktorá agentom Anthropic odpovedá kódom 403 alebo overovacou stránkou, pravidlo v robots.txt, ktoré zakazuje Claude-User, alebo stránka, ktorej text sa objaví až po spustení JavaScriptu. Otestujte URL cez curl ako prehliadač aj s tokenmi Claude a v logoch skontrolujte zablokované požiadavky.
Zverejňuje Anthropic reťazec user agenta, s ktorým môžem testovať?
Stránka pomoci Anthropic o crawleroch uvádza tokeny ClaudeBot, Claude-SearchBot a Claude-User, ale nie úplné reťazce user agenta. Ak chcete odlíšiť skutočnú prevádzku Anthropic od napodobňovateľov, porovnajte zdrojovú IP so zoznamom na claude.com/crawling/bots.json.
Ako dlho trvá, kým sa zmena robots.txt prejaví v Claude?
Anthropic čas neuvádza. RFC 9309 hovorí, že crawlery by nemali používať robots.txt z cache dlhšie ako 24 hodín, takže pred hodnotením výsledku v logoch alebo v odpovediach Claude počkajte aspoň deň.
Dáva Claude API rovnaké odpovede ako aplikácia Claude?
Nie nevyhnutne. Aplikácia môže použiť vašu približnú polohu a vlastné nastavenia, kým požiadavka cez API používa nástroje a parametre, ktoré pošlete. Výsledky z API berte ako opakovateľný test, nie ako kópiu toho, čo vidí každý používateľ.
Ako zistiť, či Claude spomína moju značku?
Pýtajte sa Claude so zapnutým vyhľadávaním na webe otázky, ktoré kladú vaši zákazníci, a zapisujte si, či váš web spomenie alebo cituje a ktorí konkurenti sa objavia namiesto neho. Každú otázku opakujte niekoľko týždňov, pretože odpovede sa líšia. Kontrola Viditeľnosť v AI od AISeeWhy to robí každý týždeň cez Claude API s vaším kľúčom, vedľa až štyroch konkurentov.
Zdroje
- Anthropic: Prechádza Anthropic dáta z webu a ako môžu majitelia webov crawler zablokovať?
- Anthropic: Enable and use web search
- Dokumentácia Claude Platform: nástroj Web search
- Dokumentácia Claude Platform: nástroj Web fetch
- Anthropic: zoznam IP adries crawlerov (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: Správa o prístupe AI crawlerov, 2026-11