Vai Claude redz manu vietni? Kā to pārbaudīt
Claude var nolasīt jūsu lapu tikai tad, ja jūsu robots.txt atļauj Anthropic aģentus un jūsu serveris tiem sūta to pašu HTML, ko saņem pārlūks. Pārbaudiet, vai robots.txt neaizliedz Claude-SearchBot vai Claude-User, vai ugunsmūris tiem neatbild ar 403 vai pārbaudes lapu un vai galvenais teksts ir sākotnējā HTML. Pēc tam pārbaudiet pašu Claude: ielīmējiet savu URL tērzēšanā un ar ieslēgtu tīmekļa meklēšanu uzdodiet jautājumus, ko uzdod jūsu pircēji.
Ja jautājat Claude par savu produktu un tas citē citas vietnes, pirmais jautājums ir, vai tas vispār var piekļūt jūsējai. Uz to var atbildēt ar pārbaudi. Anthropic publicē savu aģentu robots.txt marķierus un IP adreses, no kurām tie nāk, un Claude parāda izmantotos avotus. Tāpēc varat pārbaudīt katru soli pēc kārtas: ko saka jūsu robots.txt, ko sūta jūsu serveris, ko reģistrē jūsu žurnāli un ko Claude dara ar lapu, kad to tam iedodat.
Šajā lapā
- 5 minūšu pārbaude soli pa solim
- Kā Claude lasa vietnes?
- Kā pārbaudīt, vai Claude var piekļūt manai vietnei caur robots.txt?
- Kā pārbaudīt, ko Claude aģenti saņem no mana servera?
- Kā redzēt, vai Claude tiešām apmeklē manu vietni?
- Kā pārbaudīt pašu Claude ar savu lapu?
- Ko darīt, ja Claude var nolasīt manu lapu, bet to tomēr necitē?
- Kā AISeeWhy to pārbauda?
5 minūšu pārbaude soli pa solim
- Atveriet savu robots.txt un pārliecinieties, ka neviena
Claude-SearchBot,Claude-UservaiUser-agent: *grupa neaizliedz lapu.ClaudeBotir svarīga tikai apmācībai. - Palaidiet bezmaksas lapas pārbaudi AISeeWhy vai nosūtiet vienu pieprasījumu ar
Claude-Userlietotāja aģentu: tam jāsaņem statuss 200 un tas pats teksts, ko saņem pārlūks. - Meklējiet savā piekļuves žurnālā
Claude-SearchBotunClaude-Userun apskatiet, kādus statusa kodus tās saņēma. - Ielīmējiet savu URL Claude ar ieslēgtu tīmekļa meklēšanu, lūdziet apkopot lapu, tad uzdodiet jautājumu, ko uzdod jūsu pircēji, un pārbaudiet citātus.
Ja 1. vai 2. solis neizdodas, vispirms labojiet piekļuvi; tālāk esošās sadaļas parāda, kā. Ja Claude lapu nolasa, bet necitē, strādājiet pie satura.
Kā Claude lasa vietnes?
Claude piekļūst tīmeklim divos veidos. Ar tīmekļa meklēšanu tas meklē, kad jautājumam vajag aktuālu informāciju, izskata vairākus avotus un atbild ar citātiem. Anthropic palīdzības centrs norāda, ka katrā atbildē, kurā izmantota tīmekļa meklēšana, ir citāti. Kad kāds Claude iedod konkrētu saiti, tas var šo lapu atvērt tieši.
Anthropic šim nolūkam dokumentē trīs aģentus, katru ar savu robots.txt marķieri. Claude-SearchBot apstaigā vietnes, lai uzlabotu Claude meklēšanas rezultātus, Claude-User ielādē lapas, kad tās vajadzīgas lietotāja jautājumam, un ClaudeBot vāc saturu, ko var izmantot apmācībai. Mūsu atsevišķajā rakstā par trim Anthropic rāpuļprogrammām sīki aprakstīts, ko dara katra. Lai jūs nolasītu un citētu, jāpārbauda pirmās divas.
Godīgi par ierobežojumu: Anthropic nedokumentē, kuru meklēšanas indeksu izmanto Claude tīmekļa meklēšana un kā tā izvēlas avotus. Tā norāda, ka Claude-SearchBot bloķēšana var samazināt jūsu redzamību meklēšanas rezultātos, bet Claude-User bloķēšana neļauj ielādēt lapas lietotāju jautājumiem. Abu atļaušana padara citēšanu iespējamu, bet to negarantē.
Kā pārbaudīt, vai Claude var piekļūt manai vietnei caur robots.txt?
Atveriet https://yourdomain.com/robots.txt un meklējiet grupas, kas nosauc Claude-SearchBot vai Claude-User. Ja neviens nav nosaukts, abi ievēro grupu User-agent: *. Saskaņā ar RFC 9309 marķieru salīdzināšana nav reģistrjutīga, un Disallow: / tajā grupā, kas attiecas, aizver šim aģentam visu vietni.
Pārbaudiet arī pašu atbildi. Ja robots.txt atgriež servera kļūdu, rāpuļprogrammām jāpieņem, ka viss ir aizliegts. 404 nozīmē, ka kārtulu nav. Divas komandas parāda statusu un visas faila grupas:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic norāda, ka kārtulām jābūt robots.txt failā katra apakšdomēna augšējā līmenī, tāpēc blog.example.com vajag savu failu. Šādi bloķējumi nav reti. Mūsu pētījumā par 1000 populārākajiem domēniem 67 no 518 vietnēm, kas sniedza robots.txt (12,9%), aizliedza sākumlapu Claude-SearchBot un 68 (13,1%) — Claude-User, bet 110 (21,2%) to darīja apmācības rāpuļprogrammai ClaudeBot.
Kā pārbaudīt, ko Claude aģenti saņem no mana servera?
robots.txt ir lūgums, nevis piekļuves kontrole. Ugunsmūris, CDN vai aizsardzība pret robotiem var atbildēt Anthropic aģentiem ar 403, 429 vai pārbaudes lapu, kamēr jūsu pārlūks lapu redz normāli. Anthropic norāda, ka tās roboti nemēģinās apiet CAPTCHA, tāpēc pārbaudes lapa apmeklējumu izbeidz.
Pieprasiet to pašu URL ar pārlūka user-agent un ar katru Anthropic marķieri, tad salīdziniet statusu un izmēru:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic palīdzības lapa nosauc marķierus, bet nepublicē pilnas user-agent virknes, tāpēc šīs ir testa virknes, nevis Anthropic īstās. Tās parāda, kā pret pieprasījumu izturas kārtulas, kas salīdzina nosaukumu. 403, 429 vai 503 tikai Claude rindām vai 200, kas ir daudz mazāks par pārlūka atbildi, norāda uz jūsu ugunsmūri.
Jūsu tests nāk no jūsu IP adreses. Anthropic norāda, ka pieprasījumi no adresēm tās sarakstā claude.com/crawling/bots.json ir no Anthropic. Ja jūsu ugunsmūris verificētas rāpuļprogrammas atļauj pēc IP, īstie aģenti var tikt cauri, kamēr jūsu tests tiek bloķēts, un iespējams arī otrādi. Izmantojiet sarakstu, lai Anthropic atļautu, nevis bloķētu: Anthropic neiesaka bloķēt pēc IP, jo tad tās roboti nevar nolasīt arī jūsu robots.txt.
Kā redzēt, vai Claude tiešām apmeklē manu vietni?
Uz to tieši atbild jūsu piekļuves žurnāli. Meklējiet tajos trīs marķierus un pārbaudiet, vai avota adreses ietilpst Anthropic publicētajos diapazonos, jo user-agent nosaukumu var nokopēt jebkurš:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Pirmā komanda pieņem izplatīto combined žurnāla formātu, kurā 1. lauks ir klienta adrese un 9. lauks — statusa kods. Daudzi 403 vai 429 kodi pie Anthropic aģentiem apstiprina ugunsmūra problēmu. Ja Claude-SearchBot nav apmeklējis vispār, tas nozīmē tikai to, ka tas šīs lapas vēl nav apstaigājis vai ka kaut kas to aptur agrāk.
Kā pārbaudīt pašu Claude ar savu lapu?
Atveriet tērzēšanu un ielīmējiet kādas savas lapas URL ar lūgumu, piemēram, „Apkopo šo lapu”. Anthropic palīdzības centrs norāda, ka ar ieslēgtu tīmekļa meklēšanu Claude var atvērt jūsu norādītās saites. Ja tīmekļa meklēšana ir izslēgta, ieslēdziet to izvēlnē +; Anthropic jaunākajā Claude versijā slēdža nav un Claude meklē, kad tas palīdz. Team un Enterprise plānos īpašniekam vispirms jāieslēdz tīmekļa meklēšana organizācijai. Ja Claude nevar atvērt jūsu lapu, bet pārlūks var, atgriezieties pie ugunsmūra testa.
Pēc tam uzdodiet jautājumus, ko uzdod jūsu pircēji, nenosaucot savu vietni, un atveriet citētos avotus. Anthropic norāda, ka Claude lokalizētiem rezultātiem var izmantot atrašanās vietu, kas noteikta pēc jūsu IP adreses, tāpēc atbildes var atšķirties atkarībā no vietas un starp palaišanas reizēm.
Izstrādātāji to var atkārtot caur Claude API. Tīmekļa meklēšanas rīks pieņem sarakstu allowed_domains, tāpēc pieprasījums, kas ierobežots ar jūsu domēnu, parāda, vai Claude meklēšana uz jautājumu atgriež kādu no jūsu lapām:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Tukši meklēšanas rezultāti nozīmē, ka Claude meklēšana šajā domēnā uz šo jautājumu neko neatrada. Anthropic par API tīmekļa meklēšanām iekasē maksu papildus marķieriem. API tīmekļa ielādes rīks arī pasaka, kāpēc lapu nevarēja nolasīt: url_not_allowed aptver bloķējumus, piemēram, robots.txt, bet url_not_accessible nozīmē HTTP kļūdu. API atbildes var atšķirties no tā, ko rāda Claude lietotnes.
Ko darīt, ja Claude var nolasīt manu lapu, bet to tomēr necitē?
Vispirms pārliecinieties, ka vajadzīgais teksts ir HTML, ko sūta jūsu serveris. Anthropic API dokumentācija norāda, ka tās tīmekļa ielādes rīks neatbalsta vietnes, kas renderētas ar JavaScript, un Anthropic nesaka, ka tās rāpuļprogrammas izpilda skriptus. Ielādējiet lapu ar curl un meklējiet izvadē kādu teikumu no galvenā satura. Ja tā nav, renderēšana serverī vai iepriekšēja renderēšana to atrisina gan Claude, gan lielākajai daļai citu MI rāpuļprogrammu.
Pēc tam izšķir pati lapa. Ielieciet atbildi uz lapas galveno jautājumu tās pirmajos teikumos, izmantojiet virsrakstus, kas atbilst cilvēku jautājumiem, nosauciet izdevēju un parādiet datumus. Tad salīdziniet savu lapu ar to, ko Claude citē uz to pašu jautājumu: citētā lapa bieži uz tieši šo jautājumu atbild tiešāk.
Kā AISeeWhy to pārbauda?
Bezmaksas AISeeWhy pārbaude ielādē jūsu lapu kā Claude-SearchBot, Claude-User, ClaudeBot un citas MI un meklētāju rāpuļprogrammas blakus īstam pārlūkam, piemēro katrai jūsu robots.txt, atpazīst pārbaudes lapas un parāda, cik daudz teksta pienāk bez JavaScript. Pārbaude Redzamība MI maksas plānos uzdod jūsu jautājumus caur Claude ar tīmekļa meklēšanu, izmantojot jūsu pašu API atslēgu, un parāda, vai jūsu zīmols vai domēns tiek pieminēts vai citēts.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai varu bez maksas pārbaudīt, vai Claude redz manu vietni?
Jā. Jūsu robots.txt, curl pieprasījums, servera žurnāls un jautājums Claude neko nemaksā. AISeeWhy bezmaksas pārbaude vienai lapai dienā bez konta pārbauda Anthropic aģentus un 13 citas rāpuļprogrammas.
Kāpēc Claude nevar atvērt manu vietni, kad ielīmēju saiti?
Parastie cēloņi ir ugunsmūris vai aizsardzība pret robotiem, kas Anthropic aģentiem atbild ar 403 vai pārbaudes lapu, robots.txt kārtula, kas aizliedz Claude-User, vai lapa, kuras teksts parādās tikai pēc JavaScript izpildes. Pārbaudiet URL ar curl kā pārlūks un ar Claude marķieriem un meklējiet žurnālos bloķētus pieprasījumus.
Vai Anthropic publicē user-agent virkni, ar ko testēt?
Anthropic rāpuļprogrammu palīdzības lapā ir marķieri ClaudeBot, Claude-SearchBot un Claude-User, bet nav pilnu user-agent virkņu. Lai atšķirtu īstu Anthropic datplūsmu no atdarinātājiem, salīdziniet avota IP ar sarakstu claude.com/crawling/bots.json.
Cik ilgā laikā robots.txt izmaiņas sasniedz Claude?
Anthropic laiku nenorāda. RFC 9309 nosaka, ka rāpuļprogrammām nevajadzētu izmantot kešotu robots.txt ilgāk par 24 stundām, tāpēc pagaidiet vismaz dienu, pirms vērtējat rezultātu žurnālos vai Claude atbildēs.
Vai Claude API sniedz tās pašas atbildes, ko Claude lietotne?
Ne obligāti. Lietotne var izmantot jūsu aptuveno atrašanās vietu un savus iestatījumus, bet API pieprasījums izmanto rīkus un parametrus, ko nosūtāt jūs. Uztveriet API rezultātus kā atkārtojamu testu, nevis kā kopiju tam, ko redz katrs lietotājs.
Kā uzzināt, vai Claude piemin manu zīmolu?
Uzdodiet Claude ar ieslēgtu tīmekļa meklēšanu jautājumus, ko uzdod jūsu pircēji, un pierakstiet, vai tas nosauc vai citē jūsu vietni un kuri konkurenti parādās tās vietā. Atkārtojiet katru jautājumu vairāku nedēļu laikā, jo atbildes mainās. AISeeWhy pārbaude Redzamība MI to dara katru nedēļu caur Claude API ar jūsu atslēgu, blakus līdz četriem konkurentiem.
Avoti
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: rāpuļprogrammu IP adrešu saraksts (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: pārskats par MI rāpuļprogrammu piekļuvi, 2026-11