Vidí Claude můj web? Jak to zjistit
Claude může vaši stránku přečíst jen tehdy, když robots.txt povoluje agenty Anthropic a server jim posílá stejné HTML jako prohlížeči. Ověřte, že robots.txt nezakazuje Claude-SearchBot ani Claude-User, že jim firewall neodpovídá kódem 403 nebo ověřovací stránkou a že hlavní text je v úvodním HTML. Pak otestujte samotného Clauda: vložte do chatu svou URL a se zapnutým vyhledáváním na webu položte otázky, které kladou vaši zákazníci.
Když se Clauda zeptáte na svůj produkt a on cituje jiné weby, první otázka zní, zda se k tomu vašemu vůbec dostane. Na to existuje ověřitelná odpověď. Anthropic zveřejňuje tokeny svých agentů pro robots.txt i IP adresy, ze kterých přicházejí, a Claude ukazuje zdroje, které použil. Každý krok tedy můžete ověřit popořadě: co říká robots.txt, co posílá server, co zaznamenávají logy a co Claude se stránkou udělá, když mu ji dáte.
Na této stránce
- Kontrola za 5 minut krok za krokem
- Jak Claude čte weby?
- Jak v robots.txt zjistím, zda má Claude k mému webu přístup?
- Jak otestuji, co agenti Clauda dostávají z mého serveru?
- Jak zjistím, zda Claude můj web skutečně navštěvuje?
- Jak otestuji samotného Clauda s mou stránkou?
- Co když Claude mou stránku přečte, ale stejně ji necituje?
- Jak to kontroluje AISeeWhy?
Kontrola za 5 minut krok za krokem
- Otevřete svůj robots.txt a ověřte, že stránku nezakazuje žádná skupina pro
Claude-SearchBot,Claude-UseraniUser-agent: *.ClaudeBotje důležitý jen pro trénování. - Spusťte bezplatnou kontrolu stránky v AISeeWhy nebo pošlete jeden požadavek s user agentem
Claude-User: musí dostat stavový kód 200 a stejný text jako prohlížeč. - Vyhledejte v přístupovém logu
Claude-SearchBotaClaude-Usera podívejte se, jaké stavové kódy dostaly. - Vložte svou URL do Claude se zapnutým vyhledáváním na webu, požádejte ho o shrnutí stránky, pak položte otázku, kterou kladou vaši zákazníci, a zkontrolujte citace.
Pokud selže krok 1 nebo 2, opravte nejdřív přístup; sekce níže ukazují jak. Pokud Claude stránku přečte, ale necituje ji, zapracujte na obsahu.
Jak Claude čte weby?
Claude se na web dostává dvěma způsoby. S vyhledáváním na webu hledá, když otázka vyžaduje aktuální informace, projde několik zdrojů a odpoví s citacemi. Podle centra nápovědy Anthropic obsahuje každá odpověď, která využívá vyhledávání na webu, citace. Když Claudovi někdo dá konkrétní odkaz, může danou stránku otevřít přímo.
Anthropic k tomu dokumentuje tři agenty, každého s vlastním tokenem pro robots.txt. Claude-SearchBot prochází web, aby zlepšil výsledky vyhledávání Clauda, Claude-User stahuje stránky, když je potřebuje otázka uživatele, a ClaudeBot sbírá obsah, který může být použit k trénování. Co přesně který dělá, podrobně popisuje náš samostatný návod ke třem crawlerům Anthropic. Pro to, aby vás Claude četl a citoval, je třeba ověřit první dva.
Jedno upřímné omezení: Anthropic nedokumentuje, jaký vyhledávací index vyhledávání Clauda používá ani jak vybírá zdroje. Uvádí, že blokování Claude-SearchBot může snížit vaši viditelnost ve výsledcích vyhledávání a blokování Claude-User brání načtení stránky pro dotazy uživatelů. Povolení obou citaci umožňuje, ale nezaručuje.
Jak v robots.txt zjistím, zda má Claude k mému webu přístup?
Otevřete https://yourdomain.com/robots.txt a hledejte skupiny, které jmenují Claude-SearchBot nebo Claude-User. Pokud není jmenován ani jeden, řídí se oba skupinou User-agent: *. Podle RFC 9309 se při porovnávání tokenů nerozlišují velká a malá písmena a Disallow: / v příslušné skupině zavře danému agentovi celý web.
Ověřte také samotnou odpověď. Robots.txt, který vrací chybu serveru, říká crawlerům, aby vše považovaly za zakázané. Kód 404 znamená žádná pravidla. Dva příkazy ukážou stav a všechny skupiny v souboru:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Podle Anthropic musí pravidla být v robots.txt na nejvyšší úrovni každé subdomény, takže blog.example.com potřebuje vlastní soubor. Takové blokace nejsou vzácné. V naší studii 1 000 nejnavštěvovanějších domén zakázalo z 518 webů, které poskytovaly robots.txt, domovskou stránku pro Claude-SearchBot 67 webů (12,9 %) a pro Claude-User 68 (13,1 %), zatímco pro tréninkový crawler ClaudeBot to udělalo 110 (21,2 %).
Jak otestuji, co agenti Clauda dostávají z mého serveru?
Robots.txt je žádost, ne řízení přístupu. Firewall, CDN nebo ochrana proti botům může agentům Anthropic odpovídat kódem 403, 429 nebo ověřovací stránkou, zatímco váš prohlížeč stránku vidí normálně. Anthropic uvádí, že se jeho boti nepokoušejí obcházet CAPTCHA, takže ověřovací stránka návštěvu ukončí.
Stáhněte stejnou URL s user agentem prohlížeče a s každým tokenem Anthropic a porovnejte stav a velikost:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Stránka nápovědy Anthropic uvádí tokeny, ale nezveřejňuje úplné řetězce user agentů, takže jde o testovací řetězce, ne o skutečné řetězce Anthropic. Ukazují, jak s požadavkem zacházejí pravidla, která reagují na název. Kód 403, 429 nebo 503 jen u řádků Clauda, nebo 200, které je mnohem menší než u prohlížeče, ukazuje na váš firewall.
Váš test přichází z vaší vlastní IP adresy. Podle Anthropic pocházejí od Anthropic požadavky z adres v jeho seznamu na claude.com/crawling/bots.json. Pokud váš firewall povoluje ověřené crawlery podle IP, skuteční agenti mohou projít, zatímco váš test je zablokovaný, a možný je i opak. Seznam používejte k povolení Anthropic, ne k jeho blokování: Anthropic od blokování IP adres odrazuje, protože jeho botům brání i v načtení vašeho robots.txt.
Jak zjistím, zda Claude můj web skutečně navštěvuje?
Na to přímo odpoví vaše přístupové logy. Vyhledejte v nich tři tokeny a pak ověřte, že zdrojové adresy spadají do rozsahů, které Anthropic zveřejňuje, protože název user agenta může zkopírovat kdokoli:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' První příkaz předpokládá běžný formát combined log, kde pole 1 je adresa klienta a pole 9 stavový kód. Mnoho kódů 403 nebo 429 u agentů Anthropic potvrzuje problém s firewallem. Žádné návštěvy od Claude-SearchBot znamenají jen to, že ty stránky ještě neprošel, nebo že ho něco zastaví dřív.
Jak otestuji samotného Clauda s mou stránkou?
Otevřete chat a vložte URL jedné ze svých stránek s požadavkem jako „Shrň tuto stránku“. Podle centra nápovědy Anthropic může Claude se zapnutým vyhledáváním na webu otevřít odkazy, které mu dáte. Pokud je vyhledávání na webu vypnuté, zapněte ho v nabídce +; v novějším prostředí Clauda žádný přepínač není a Claude hledá, když to pomůže. V plánech Team a Enterprise musí vyhledávání na webu pro organizaci nejdřív povolit vlastník. Pokud Claude vaši stránku otevřít nedokáže, ale prohlížeč ano, vraťte se k testu firewallu.
Pak položte otázky, které kladou vaši zákazníci, aniž byste jmenovali svůj web, a otevřete citované zdroje. Anthropic uvádí, že Claude může pro lokalizované výsledky použít polohu odvozenou z vaší IP adresy, takže se odpovědi mohou lišit podle místa i mezi jednotlivými pokusy.
Vývojáři to mohou zopakovat přes Claude API. Nástroj pro vyhledávání na webu přijímá seznam allowed_domains, takže požadavek omezený na vaši doménu ukáže, zda vyhledávání Clauda pro danou otázku vrátí některou z vašich stránek:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Prázdné výsledky znamenají, že vyhledávání Clauda na té doméně pro danou otázku nic nenašlo. Anthropic účtuje vyhledávání přes API navíc k tokenům. Nástroj web fetch v API také hlásí, proč stránku nešlo přečíst: url_not_allowed zahrnuje blokace jako robots.txt a url_not_accessible znamená chybu HTTP. Odpovědi z API se mohou lišit od toho, co ukazují aplikace Claude.
Co když Claude mou stránku přečte, ale stejně ji necituje?
Nejdřív se ujistěte, že text, který potřebuje, je v HTML, které server posílá. Podle dokumentace API Anthropic jeho nástroj web fetch nepodporuje weby vykreslované JavaScriptem a Anthropic neuvádí, že by jeho crawlery spouštěly skripty. Stáhněte stránku přes curl a ve výstupu vyhledejte větu z hlavního obsahu. Pokud chybí, vyřeší to vykreslování na serveru nebo prerendering, pro Clauda i pro většinu dalších AI crawlerů.
Potom rozhoduje stránka sama. Odpověď na hlavní otázku stránky dejte do prvních vět, používejte nadpisy, které odpovídají otázkám, jaké lidé kladou, uveďte vydavatele a zobrazte data. Pak svou stránku porovnejte s tou, kterou Claude pro stejnou otázku cituje: citovaná stránka na tu konkrétní otázku často odpovídá přímočařeji.
Jak to kontroluje AISeeWhy?
Bezplatná kontrola AISeeWhy stáhne vaši stránku jako Claude-SearchBot, Claude-User, ClaudeBot a další AI a vyhledávací crawlery vedle skutečného prohlížeče, na každý použije váš robots.txt, rozpozná ověřovací stránky a ukáže, kolik textu dorazí bez JavaScriptu. Kontrola viditelnosti v AI v placených plánech klade vaše otázky přes Clauda s vyhledáváním na webu s vaším vlastním API klíčem a ukazuje, zda je vaše značka nebo doména zmíněna či citována.
Další kroky
- robots.txt tester a kontrola pro AI crawlery
- Kontrola IP adres AI crawlerů
- Podívejte se na ukázku plné zprávy
- Monitoring AI crawlerů
- Plány a ceny
Crawlery v tomto článku
Časté dotazy
Mohu zdarma zjistit, zda Claude vidí můj web?
Ano. Váš robots.txt, požadavek přes curl, log serveru a otázka v Claude nic nestojí. Bezplatná kontrola AISeeWhy testuje agenty Anthropic a 13 dalších crawlerů pro jednu stránku denně bez účtu.
Proč Claude nedokáže otevřít můj web, když vložím odkaz?
Obvyklé příčiny jsou firewall nebo ochrana proti botům, která agentům Anthropic odpovídá kódem 403 nebo ověřovací stránkou, pravidlo v robots.txt, které zakazuje Claude-User, nebo stránka, jejíž text se objeví až po spuštění JavaScriptu. Otestujte URL přes curl jako prohlížeč i s tokeny Clauda a v logech hledejte zablokované požadavky.
Zveřejňuje Anthropic řetězec user agenta, se kterým mohu testovat?
Stránka nápovědy Anthropic ke crawlerům uvádí tokeny ClaudeBot, Claude-SearchBot a Claude-User, ale ne úplné řetězce user agentů. Abyste skutečný provoz Anthropic odlišili od napodobitelů, porovnejte zdrojovou IP se seznamem na claude.com/crawling/bots.json.
Za jak dlouho se změna v robots.txt dostane ke Claudovi?
Anthropic žádnou dobu neuvádí. Podle RFC 9309 by crawlery neměly používat robots.txt z mezipaměti déle než 24 hodin, takže než výsledek posoudíte v logech nebo v odpovědích Clauda, počkejte aspoň den.
Dává Claude API stejné odpovědi jako aplikace Claude?
Ne nutně. Aplikace může použít vaši přibližnou polohu a vlastní nastavení, zatímco požadavek přes API používá nástroje a parametry, které pošlete. Výsledky z API berte jako opakovatelný test, ne jako kopii toho, co vidí každý uživatel.
Jak zjistím, zda Claude zmiňuje mou značku?
Položte Claudovi se zapnutým vyhledáváním na webu otázky, které kladou vaši zákazníci, a zapište si, zda jmenuje nebo cituje váš web a kteří konkurenti se objevují místo vás. Každou otázku opakujte několik týdnů, protože se odpovědi mění. Kontrola viditelnosti v AI od AISeeWhy to dělá každý týden přes Claude API s vaším klíčem, vedle až čtyř konkurentů.
Zdroje
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: seznam IP adres crawlerů (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: zpráva o přístupu AI crawlerů, 2026-11