Ali Claude vidi moje spletno mesto? Kako to preveriti
Claude lahko prebere vašo stran le, če vaš robots.txt dovoli Anthropicove agente in jim strežnik pošlje enak HTML, kot ga dobi brskalnik. Preverite, da robots.txt ne prepoveduje Claude-SearchBot ali Claude-User, da jim požarni zid ne odgovori s 403 ali s stranjo z izzivom in da je glavno besedilo v začetnem HTML. Nato preizkusite še sam Claude: v klepet prilepite URL in z vklopljenim spletnim iskanjem postavite vprašanja, ki jih postavljajo vaši kupci.
Če Clauda vprašate o svojem izdelku, on pa citira druga mesta, je prvo vprašanje, ali do vašega sploh pride. Na to obstaja preverljiv odgovor. Anthropic objavlja žetone svojih agentov za robots.txt in naslove IP, s katerih prihajajo, Claude pa pokaže vire, ki jih je uporabil. Zato lahko preverite korak za korakom: kaj piše v vašem robots.txt, kaj pošlje vaš strežnik, kaj zabeležijo vaši dnevniki in kaj Claude naredi s stranjo, ko mu jo daste.
Na tej strani
- 5-minutno preverjanje, korak za korakom
- Kako Claude bere spletna mesta?
- Kako prek robots.txt preverim, ali ima Claude dostop do mojega mesta?
- Kako preizkusim, kaj Claudovi agenti dobijo od mojega strežnika?
- Kako vidim, ali Claude moje mesto res obiskuje?
- Kako preizkusim sam Claude s svojo stranjo?
- Kaj, če Claude mojo stran prebere, a je še vedno ne citira?
- Kako to preveri AISeeWhy?
5-minutno preverjanje, korak za korakom
- Odprite svoj robots.txt in se prepričajte, da nobena skupina za
Claude-SearchBot,Claude-UseraliUser-agent: *ne prepoveduje strani.ClaudeBotje pomemben samo za učenje. - Zaženite brezplačno preverjanje strani na AISeeWhy ali pošljite eno zahtevo z user agentom
Claude-User: dobiti mora status 200 in isto besedilo kot brskalnik. - V dnevniku dostopov poiščite
Claude-SearchBotinClaude-Userter si oglejte statusne kode, ki so jih prejeli. - Prilepite svoj URL v Claude z vklopljenim spletnim iskanjem, prosite ga, naj povzame stran, nato postavite vprašanje, ki ga postavljajo vaši kupci, in preverite navedbe.
Če 1. ali 2. korak ne uspe, najprej popravite dostop; razdelki v nadaljevanju pokažejo, kako. Če Claude stran prebere, a je ne navede, delajte na vsebini.
Kako Claude bere spletna mesta?
Claude do spleta pride na dva načina. S spletnim iskanjem išče, ko vprašanje potrebuje sveže podatke, pregleda več virov in odgovori s citati. Anthropicov center za pomoč navaja, da vsak odgovor, ki uporabi spletno iskanje, vsebuje citate. Ko Claudu nekdo da določeno povezavo, lahko to stran odpre neposredno.
Anthropic za to dokumentira tri agente, vsakega z lastnim žetonom za robots.txt. Claude-SearchBot pregleduje splet za boljše rezultate iskanja v Claudu, Claude-User pridobi strani, ko jih potrebuje vprašanje uporabnika, ClaudeBot pa zbira vsebino, ki se lahko uporabi za učenje. Kaj natančno počne vsak od njih, podrobno opisuje naš ločeni vodnik o treh Anthropicovih pajkih. Za branje in citiranje sta pomembna prva dva.
Ena poštena omejitev: Anthropic ne objavlja, kateri iskalni indeks uporablja spletno iskanje v Claudu niti kako izbira vire. Navaja, da lahko blokiranje Claude-SearchBot zmanjša vašo vidnost v rezultatih iskanja, blokiranje Claude-User pa prepreči pridobivanje strani za vprašanja uporabnikov. Če dovolite oba, je citat mogoč, ni pa zagotovljen.
Kako prek robots.txt preverim, ali ima Claude dostop do mojega mesta?
Odprite https://yourdomain.com/robots.txt in poiščite skupine, ki navajajo Claude-SearchBot ali Claude-User. Če ni naveden nobeden, oba upoštevata skupino User-agent: *. Po RFC 9309 ujemanje žetonov ne razlikuje velikih in malih črk, Disallow: / v skupini, ki velja, pa temu agentu zapre celotno mesto.
Preverite tudi sam odgovor. Če robots.txt vrne napako strežnika, morajo pajki domnevati, da je prepovedano vse. 404 pomeni, da pravil ni. Ukaza spodaj pokažeta statusno kodo in vse skupine v datoteki:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic navaja, da morajo biti pravila v robots.txt na najvišji ravni vsake poddomene, zato blog.example.com potrebuje svojo datoteko. Takšne blokade niso redke. V naši raziskavi 1.000 najbolj priljubljenih domen je med 518 mesti, ki so stregla robots.txt, domačo stran za Claude-SearchBot prepovedalo 67 (12,9 %) in za Claude-User 68 (13,1 %), za pajka za učenje ClaudeBot pa 110 (21,2 %).
Kako preizkusim, kaj Claudovi agenti dobijo od mojega strežnika?
robots.txt je prošnja, ne nadzor dostopa. Požarni zid, CDN ali zaščita pred boti lahko Anthropicovim agentom odgovori s 403, 429 ali s stranjo z izzivom, medtem ko vaš brskalnik stran vidi normalno. Anthropic navaja, da njegovi boti ne poskušajo zaobiti CAPTCHA, zato se obisk na strani z izzivom konča.
Isti URL zahtevajte z uporabniškim agentom brskalnika in z vsakim Anthropicovim žetonom ter primerjajte statusno kodo in velikost:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropicova stran za pomoč navaja žetone, ne objavlja pa celotnih nizov uporabniškega agenta, zato so to testni nizi, ne Anthropicovi pravi. Pokažejo, kako z zahtevo ravnajo pravila, ki se ujemajo po imenu. 403, 429 ali 503 samo v vrsticah za Claude ali odgovor 200, ki je precej manjši kot za brskalnik, kaže na vaš požarni zid.
Vaš test prihaja z vašega lastnega naslova IP. Anthropic navaja, da so zahteve z naslovov na njegovem seznamu na claude.com/crawling/bots.json od Anthropica. Če vaš požarni zid preverjene pajke spušča po IP, lahko prave agente spusti, vaš test pa blokira, mogoče pa je tudi obratno. Seznam uporabite, da Anthropic dovolite, ne da ga blokirate: Anthropic odsvetuje blokiranje po IP, ker njegovim botom prepreči tudi branje vašega robots.txt.
Kako vidim, ali Claude moje mesto res obiskuje?
Odgovor dajo neposredno vaši dnevniki dostopa. V njih poiščite tri žetone, nato pa preverite, ali so izvorni naslovi v obsegih, ki jih objavlja Anthropic, ker lahko ime uporabniškega agenta kopira kdorkoli:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Prvi ukaz predvideva pogosto uporabljeno obliko combined, v kateri je polje 1 naslov odjemalca in polje 9 statusna koda. Veliko kod 403 ali 429 ob Anthropicovih agentih potrjuje težavo s požarnim zidom. Če Claude-SearchBot sploh ni obiskov, to pomeni le, da teh strani še ni pregledal ali da ga nekaj ustavi že prej.
Kako preizkusim sam Claude s svojo stranjo?
Odprite klepet in prilepite URL ene od svojih strani z zahtevo, kot je »Povzemi to stran«. Anthropicov center za pomoč navaja, da lahko Claude z vklopljenim spletnim iskanjem odpre povezave, ki mu jih date. Če je spletno iskanje izklopljeno, ga vklopite v meniju +; v Anthropicovi novejši izkušnji Claude stikala ni in Claude išče, ko to pomaga. V paketih Team in Enterprise mora lastnik spletno iskanje najprej omogočiti za organizacijo. Če Claude vaše strani ne more odpreti, brskalnik pa jo, se vrnite k testu požarnega zidu.
Nato postavite vprašanja, ki jih postavljajo vaši kupci, ne da bi omenili svoje mesto, in odprite citirane vire. Anthropic navaja, da lahko Claude za lokalizirane rezultate uporabi lokacijo, ugotovljeno iz vašega naslova IP, zato se odgovori lahko razlikujejo glede na kraj in med poskusi.
Razvijalci lahko to ponovijo prek Claude API. Orodje za spletno iskanje sprejme seznam allowed_domains, zato zahteva, omejena na vašo domeno, pokaže, ali Claudovo iskanje za vprašanje vrne katero od vaših strani:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Prazni rezultati iskanja pomenijo, da Claudovo iskanje na tej domeni za to vprašanje ni našlo ničesar. Anthropic iskanja prek API zaračuna poleg žetonov. Orodje web fetch v API tudi sporoči, zakaj strani ni bilo mogoče prebrati: url_not_allowed zajema blokade, kot je robots.txt, url_not_accessible pa pomeni napako HTTP. Odgovori prek API se lahko razlikujejo od tega, kar pokažejo aplikacije Claude.
Kaj, če Claude mojo stran prebere, a je še vedno ne citira?
Najprej se prepričajte, da je besedilo, ki ga potrebuje, v HTML, ki ga pošlje vaš strežnik. Anthropicova dokumentacija API navaja, da njegovo orodje web fetch ne podpira spletnih mest, ki se izrišejo z JavaScriptom, Anthropic pa ne navaja, da bi njegovi pajki izvajali skripte. Stran prenesite s curl in v izpisu poiščite stavek iz glavne vsebine. Če ga ni, to za Claude in za večino drugih pajkov UI reši izrisovanje na strežniku ali predhodno izrisovanje.
Potem odloča stran sama. Odgovor na glavno vprašanje strani postavite v prve stavke, uporabite naslove, ki se ujemajo z vprašanji ljudi, navedite izdajatelja in prikažite datume. Nato svojo stran primerjajte s stranjo, ki jo Claude citira za isto vprašanje: citirana stran na prav to vprašanje pogosto odgovori bolj neposredno.
Kako to preveri AISeeWhy?
Brezplačna analiza AISeeWhy vašo stran zahteva kot Claude-SearchBot, Claude-User, ClaudeBot ter drugi pajki UI in iskalnikov ob pravem brskalniku, za vsakega uporabi vaš robots.txt, prepozna strani z izzivom in pokaže, koliko besedila pride brez JavaScripta. Preverjanje vidnosti v UI v plačljivih paketih vaša vprašanja z vašim lastnim ključem API postavi prek Clauda s spletnim iskanjem in pokaže, ali sta vaša znamka ali domena omenjeni ali citirani.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali lahko brezplačno preverim, ali Claude vidi moje spletno mesto?
Da. Vaš robots.txt, zahteva curl, strežniški dnevnik in vprašanje v Claude ne stanejo nič. Brezplačno preverjanje AISeeWhy preizkusi Anthropicove agente in 13 drugih pajkov za eno stran na dan brez računa.
Zakaj Claude ne odpre mojega spletnega mesta, ko prilepim povezavo?
Običajni vzroki so požarni zid ali zaščita pred boti, ki Anthropicovim agentom odgovori s 403 ali s stranjo z izzivom, pravilo v robots.txt, ki prepoveduje Claude-User, ali stran, katere besedilo se pojavi šele po zagonu JavaScripta. URL preizkusite s curl kot brskalnik in z žetoni za Claude ter v dnevnikih preverite blokirane zahteve.
Ali Anthropic objavlja niz uporabniškega agenta, s katerim lahko testiram?
Anthropicova stran za pomoč o pajkih navaja žetone ClaudeBot, Claude-SearchBot in Claude-User, ne pa celotnih nizov uporabniškega agenta. Če želite pravi promet Anthropica ločiti od posnemovalcev, izvorni IP primerjajte s seznamom na claude.com/crawling/bots.json.
Koliko časa traja, da sprememba robots.txt doseže Claude?
Anthropic časa ne navaja. RFC 9309 pravi, da pajki predpomnjenega robots.txt ne bi smeli uporabljati dlje kot 24 ur, zato počakajte vsaj dan, preden rezultat ocenite v dnevnikih ali v Claudovih odgovorih.
Ali Claude API daje enake odgovore kot aplikacija Claude?
Ne nujno. Aplikacija lahko uporabi vašo približno lokacijo in lastne nastavitve, zahteva prek API pa uporabi orodja in parametre, ki jih pošljete. Rezultate iz API jemljite kot ponovljiv test, ne kot kopijo tega, kar vidi vsak uporabnik.
Kako izvem, ali Claude omenja mojo znamko?
Claudu z vklopljenim spletnim iskanjem postavite vprašanja, ki jih postavljajo vaši kupci, in zabeležite, ali vaše mesto omeni ali citira in kateri konkurenti se pojavijo namesto njega. Vsako vprašanje ponavljajte več tednov, ker se odgovori razlikujejo. Preverjanje vidnosti v UI v AISeeWhy to vsak teden opravi prek Claude API z vašim ključem, ob največ štirih konkurentih.
Viri
- Anthropic: Ali Anthropic pajka podatke s spleta in kako lahko lastniki spletnih mest pajka blokirajo?
- Anthropic: Enable and use web search
- Dokumentacija Claude Platform: orodje Web search
- Dokumentacija Claude Platform: orodje Web fetch
- Anthropic: seznam naslovov IP pajkov (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: poročilo o dostopu pajkov UI, 2026-11