Ar Claude mato mano svetainę? Kaip patikrinti
Claude gali perskaityti jūsų puslapį tik tada, jei jūsų robots.txt leidžia Anthropic agentus, o serveris jiems siunčia tą patį HTML, kurį gauna naršyklė. Patikrinkite, ar robots.txt nedraudžia Claude-SearchBot ar Claude-User, ar ugniasienė neatsako jiems 403 ar patikrinimo puslapiu ir ar pagrindinis tekstas yra pradiniame HTML. Tada išbandykite patį Claude: įklijuokite URL į pokalbį ir, įjungę paiešką internete, užduokite klausimus, kuriuos užduoda jūsų pirkėjai.
Jei paklausę Claude apie savo produktą matote, kad jis cituoja kitas svetaines, pirmas klausimas yra, ar jis apskritai pasiekia jūsiškę. Į tai galima atsakyti patikrinus. Anthropic skelbia savo agentų robots.txt žetonus ir IP adresus, iš kurių jie ateina, o Claude rodo šaltinius, kuriais rėmėsi. Todėl galite paeiliui patikrinti kiekvieną žingsnį: ką sako jūsų robots.txt, ką siunčia serveris, ką užfiksuoja žurnalai ir ką Claude daro su puslapiu, kai jį pateikiate.
Šiame puslapyje
- 5 minučių patikra žingsnis po žingsnio
- Kaip Claude skaito svetaines?
- Kaip per robots.txt patikrinti, ar Claude gali pasiekti mano svetainę?
- Kaip patikrinti, ką Claude agentai gauna iš mano serverio?
- Kaip pamatyti, ar Claude iš tikrųjų lankosi mano svetainėje?
- Kaip išbandyti patį Claude su savo puslapiu?
- Ką daryti, jei Claude gali perskaityti mano puslapį, bet jo necituoja?
- Kaip tai tikrina AISeeWhy?
5 minučių patikra žingsnis po žingsnio
- Atidarykite savo robots.txt ir įsitikinkite, kad jokia
Claude-SearchBot,Claude-UserarUser-agent: *grupė nedraudžia puslapio.ClaudeBotsvarbus tik mokymui. - Paleiskite nemokamą puslapio patikrą AISeeWhy arba išsiųskite vieną užklausą su
Claude-Usernaudotojo agentu: ji turi gauti būseną 200 ir tą patį tekstą, kurį gauna naršyklė. - Paieškokite savo prieigos žurnale
Claude-SearchBotirClaude-Userir pažiūrėkite, kokius būsenos kodus jie gavo. - Įklijuokite savo URL į Claude su įjungta paieška internete, paprašykite apibendrinti puslapį, tada užduokite klausimą, kurį užduoda jūsų pirkėjai, ir patikrinkite citatas.
Jei 1 ar 2 žingsnis nepavyksta, pirmiausia ištaisykite prieigą; toliau esantys skyriai parodo kaip. Jei Claude puslapį perskaito, bet jo necituoja, dirbkite su turiniu.
Kaip Claude skaito svetaines?
Claude internetą pasiekia dviem būdais. Naudodamas paiešką internete, jis ieško, kai klausimui reikia naujausios informacijos, peržiūri kelis šaltinius ir atsako su citatomis. Anthropic pagalbos centras teigia, kad kiekviename atsakyme, kuriame naudota paieška internete, yra citatos. Kai kas nors pateikia Claude konkrečią nuorodą, jis gali tą puslapį atidaryti tiesiogiai.
Anthropic tam aprašo tris agentus, kiekvienas turi savo robots.txt žetoną. Claude-SearchBot naršo, kad pagerintų Claude paieškos rezultatus, Claude-User atsisiunčia puslapius, kai jų reikia naudotojo klausimui, o ClaudeBot renka turinį, kuris gali būti naudojamas mokymui. Ką daro kiekvienas, išsamiai aprašyta mūsų atskirame vadove apie tris Anthropic robotus. Kad būtumėte skaitomi ir cituojami, tikrinti reikia pirmuosius du.
Vienas sąžiningas apribojimas: Anthropic neaprašo, kurį paieškos indeksą naudoja Claude paieška internete ir kaip ji renkasi šaltinius. Ji teigia, kad užblokavus Claude-SearchBot gali sumažėti jūsų matomumas paieškos rezultatuose, o užblokavus Claude-User puslapiai nebus atsisiunčiami naudotojų klausimams. Leidus abu citata tampa įmanoma, bet negarantuojama.
Kaip per robots.txt patikrinti, ar Claude gali pasiekti mano svetainę?
Atidarykite https://yourdomain.com/robots.txt ir ieškokite grupių, kuriose nurodytas Claude-SearchBot arba Claude-User. Jei nė vienas nenurodytas, abu laikosi User-agent: * grupės. Pagal RFC 9309 žetonai lyginami neatsižvelgiant į raidžių dydį, o Disallow: / taikomoje grupėje uždaro visą svetainę tam agentui.
Patikrinkite ir patį atsakymą. robots.txt, grąžinantis serverio klaidą, nurodo robotams laikyti, kad viskas uždrausta. 404 reiškia, kad taisyklių nėra. Dvi komandos parodo būseną ir kiekvieną failo grupę:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic teigia, kad taisyklės turi būti kiekvieno subdomeno šakniniame robots.txt, todėl blog.example.com reikia savo failo. Tokie draudimai nėra reti. Mūsų tyrime, apėmusiame 1 000 populiariausių domenų, iš 518 svetainių, pateikusių robots.txt, 67 (12,9 %) uždraudė pagrindinį puslapį Claude-SearchBot, 68 (13,1 %) – Claude-User, o 110 (21,2 %) – mokymo robotui ClaudeBot.
Kaip patikrinti, ką Claude agentai gauna iš mano serverio?
robots.txt yra prašymas, o ne prieigos kontrolė. Ugniasienė, CDN ar apsauga nuo robotų gali atsakyti Anthropic agentams 403, 429 ar patikrinimo puslapiu, nors jūsų naršyklė puslapį mato įprastai. Anthropic teigia, kad jos robotai nebando apeiti CAPTCHA, todėl patikrinimo puslapis vizitą užbaigia.
Užklauskite to paties URL su naršyklės user agent ir su kiekvienu Anthropic žetonu, tada palyginkite būseną ir dydį:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic pagalbos puslapyje nurodyti žetonai, bet ne visos user agent eilutės, todėl tai testinės eilutės, o ne tikrosios Anthropic. Jos parodo, kaip pavadinimu besiremiančios taisyklės elgiasi su užklausa. Jei tik Claude eilutės gauna 403, 429 ar 503 arba 200, bet daug mažesnį nei naršyklės, kaltininkas yra jūsų ugniasienė.
Jūsų testas siunčiamas iš jūsų pačių IP adreso. Anthropic teigia, kad užklausos iš adresų, esančių jos sąraše claude.com/crawling/bots.json, yra iš Anthropic. Jei jūsų ugniasienė patikrintus robotus leidžia pagal IP, tikri agentai gali praeiti, o jūsų testas būti blokuojamas, ir atvirkščiai. Sąrašą naudokite Anthropic leisti, o ne blokuoti: Anthropic nerekomenduoja blokuoti pagal IP, nes tada jos robotai negali perskaityti net jūsų robots.txt.
Kaip pamatyti, ar Claude iš tikrųjų lankosi mano svetainėje?
Į tai tiesiogiai atsako prieigos žurnalai. Ieškokite juose trijų žetonų, tada patikrinkite, ar šaltinio adresai patenka į Anthropic paskelbtus intervalus, nes user agent pavadinimą gali nukopijuoti bet kas:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Pirmoji komanda numato įprastą combined žurnalo formatą, kuriame 1 laukas yra kliento adresas, o 9 laukas – būsenos kodas. Daug 403 ar 429 kodų prie Anthropic agentų patvirtina ugniasienės problemą. Jei Claude-SearchBot visai nesilanko, tai reiškia tik tiek, kad jis dar nenaršė tų puslapių arba kažkas jį sustabdo anksčiau.
Kaip išbandyti patį Claude su savo puslapiu?
Atidarykite pokalbį ir įklijuokite vieno savo puslapio URL su prašymu, pvz., „Apibendrink šį puslapį“. Anthropic pagalbos centras teigia, kad įjungus paiešką internete Claude gali atidaryti jūsų pateiktas nuorodas. Jei paieška išjungta, įjunkite ją per meniu +; naujesnėje Anthropic Claude versijoje jungiklio nėra, ir Claude ieško, kai tai padeda. Team ir Enterprise planuose savininkas pirmiausia turi įjungti paiešką internete organizacijai. Jei Claude negali atidaryti puslapio, kurį atidaro naršyklė, grįžkite prie ugniasienės testo.
Tada užduokite klausimus, kuriuos užduoda jūsų pirkėjai, neminėdami savo svetainės, ir atidarykite cituojamus šaltinius. Anthropic teigia, kad vietiniams rezultatams Claude gali naudoti pagal jūsų IP adresą nustatytą vietą, todėl atsakymai gali skirtis pagal vietą ir tarp paleidimų.
Kūrėjai tai gali pakartoti per Claude API. Paieškos internete įrankis priima allowed_domains sąrašą, todėl užklausa, apribota jūsų domenu, parodo, ar Claude paieška klausimui grąžina bent vieną jūsų puslapį:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Tušti paieškos rezultatai reiškia, kad Claude paieška tam klausimui tame domene nieko nerado. Už API paieškas internete Anthropic ima mokestį papildomai prie žetonų. API puslapių atsisiuntimo (web fetch) įrankis taip pat praneša, kodėl puslapio nepavyko perskaityti: url_not_allowed apima tokius draudimus kaip robots.txt, o url_not_accessible reiškia HTTP klaidą. API atsakymai gali skirtis nuo to, ką rodo Claude programėlės.
Ką daryti, jei Claude gali perskaityti mano puslapį, bet jo necituoja?
Pirmiausia įsitikinkite, kad reikalingas tekstas yra HTML, kurį siunčia serveris. Anthropic API dokumentacijoje rašoma, kad jos puslapių atsisiuntimo įrankis nepalaiko svetainių, kurios atvaizduojamos JavaScript, o Anthropic neteigia, kad jos robotai vykdo skriptus. Atsisiųskite puslapį su curl ir išvestyje paieškokite sakinio iš pagrindinio turinio. Jei jo nėra, atvaizdavimas serveryje arba išankstinis atvaizdavimas tai sutvarko ir Claude, ir daugumai kitų DI robotų.
Po to lemia pats puslapis. Atsakymą į pagrindinį puslapio klausimą pateikite pirmuose sakiniuose, naudokite antraštes, atitinkančias žmonių klausimus, nurodykite leidėją ir rodykite datas. Tada palyginkite savo puslapį su tuo, kurį Claude cituoja tam pačiam klausimui: cituojamas puslapis dažnai tiesiau atsako būtent į tą klausimą.
Kaip tai tikrina AISeeWhy?
Nemokama AISeeWhy patikra atsisiunčia jūsų puslapį kaip Claude-SearchBot, Claude-User, ClaudeBot ir kiti DI bei paieškos robotai kartu su tikra naršykle, kiekvienam pritaiko jūsų robots.txt, atpažįsta patikrinimo puslapius ir parodo, kiek teksto atkeliauja be JavaScript. DI matomumo patikra bandomajame laikotarpyje ir mokamuose planuose užduoda jūsų klausimus per Claude su paieška internete, naudodama jūsų pačių API raktą, ir parodo, ar jūsų prekės ženklas ar domenas minimas arba cituojamas.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar galiu nemokamai patikrinti, ar Claude mato mano svetainę?
Taip. Jūsų robots.txt, curl užklausa, serverio žurnalas ir klausimas Claude nieko nekainuoja. Nemokama AISeeWhy patikra vienam puslapiui per dieną be paskyros tikrina Anthropic agentus ir 13 kitų robotų.
Kodėl Claude neatidaro mano svetainės, kai įklijuoju nuorodą?
Įprastos priežastys: ugniasienė ar apsauga nuo robotų, atsakanti Anthropic agentams 403 ar patikrinimo puslapiu, robots.txt taisyklė, draudžianti Claude-User, arba puslapis, kurio tekstas atsiranda tik paleidus JavaScript. Patikrinkite URL su curl kaip naršyklė ir su Claude žetonais, o žurnaluose ieškokite blokuotų užklausų.
Ar Anthropic skelbia user agent eilutę, kurią galėčiau naudoti testui?
Anthropic robotų pagalbos puslapyje išvardyti žetonai ClaudeBot, Claude-SearchBot ir Claude-User, bet ne visos user agent eilutės. Norėdami atskirti tikrą Anthropic srautą nuo apsimetėlių, palyginkite šaltinio IP su sąrašu claude.com/crawling/bots.json.
Per kiek laiko robots.txt pakeitimas pasiekia Claude?
Anthropic laiko nenurodo. RFC 9309 teigia, kad robotai neturėtų naudoti talpykloje laikomo robots.txt ilgiau nei 24 valandas, todėl prieš vertindami rezultatą žurnaluose ar Claude atsakymuose palaukite bent dieną.
Ar Claude API pateikia tuos pačius atsakymus kaip Claude programėlė?
Nebūtinai. Programėlė gali naudoti apytikslę jūsų vietą ir savo nustatymus, o API užklausa naudoja jūsų siunčiamus įrankius ir parametrus. API rezultatus laikykite pakartojamu testu, o ne kopija to, ką mato kiekvienas naudotojas.
Kaip sužinoti, ar Claude mini mano prekės ženklą?
Įjungę paiešką internete užduokite Claude klausimus, kuriuos užduoda jūsų pirkėjai, ir užsirašykite, ar jis mini ar cituoja jūsų svetainę ir kurie konkurentai pasirodo vietoj jūsų. Atsakymai kinta, todėl kiekvieną klausimą kartokite kelias savaites. AISeeWhy DI matomumo patikra tai daro kas savaitę per Claude API su jūsų raktu, šalia iki keturių konkurentų.
Šaltiniai
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: robotų IP adresų sąrašas (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: DI robotų prieigos ataskaita, 2026-11