Kas Claude näeb minu veebisaiti? Kuidas seda kontrollida

Avaldatud · Uuendatud

Lühike vastus

Claude saab sinu lehte lugeda ainult siis, kui sinu robots.txt lubab Anthropicu agente ja sinu server saadab neile sama HTML-i, mille saab brauser. Kontrolli, et robots.txt ei keelaks Claude-SearchBot-i ega Claude-User-it, et tulemüür ei vastaks neile veaga 403 ega kontrollilehega ja et põhitekst oleks esialgses HTML-is. Seejärel testi Claude'i ennast: kleebi oma URL vestlusesse ja esita veebiotsingu sisselülitatult küsimusi, mida sinu ostjad küsivad.

Kui küsid Claude'ilt oma toote kohta ja ta viitab teistele saitidele, on esimene küsimus, kas ta üldse jõuab sinu saidini. Sellele saab vastuse testides. Anthropic avaldab oma agentide robots.txt tunnused ja IP-aadressid, kust need tulevad, ning Claude näitab kasutatud allikaid. Nii saad iga sammu järjest üle kontrollida: mida ütleb sinu robots.txt, mida saadab sinu server, mida salvestavad sinu logid ja mida Claude lehega teeb, kui sa selle talle annad.

Sellel lehel
  1. 5-minutiline kontroll samm-sammult
  2. Kuidas Claude veebisaite loeb?
  3. Kuidas kontrollida robots.txt-st, kas Claude pääseb minu veebisaidile?
  4. Kuidas testida, mida Claude'i agendid minu serverist saavad?
  5. Kuidas näha, kas Claude minu saiti tegelikult külastab?
  6. Kuidas testida Claude'i ennast oma lehega?
  7. Mis siis, kui Claude saab mu lehte lugeda, aga ei viita sellele?
  8. Kuidas AISeeWhy seda kontrollib?

5-minutiline kontroll samm-sammult

  1. Ava oma robots.txt ja veendu, et ükski grupp robotitele Claude-SearchBot, Claude-User või User-agent: * lehte ei keela. ClaudeBot on oluline ainult treenimise jaoks.
  2. Käivita lehe tasuta kontroll AISeeWhy's või saada üks päring Claude-User user agent'iga: see peab saama olekukoodi 200 ja sama teksti, mida saab brauser.
  3. Otsi oma juurdepääsulogist Claude-SearchBot ja Claude-User ning vaata, milliseid olekukoode need said.
  4. Kleebi oma URL Claude'i veebiotsingu sisselülitatult, palu tal lehest kokkuvõte teha, siis esita küsimus, mida sinu ostjad küsivad, ja kontrolli viiteid.

Kui samm 1 või 2 ebaõnnestub, paranda kõigepealt ligipääs; allpool olevad jaotised näitavad, kuidas. Kui Claude loeb lehte, kuid ei viita sellele, tegele sisuga.

Kuidas Claude veebisaite loeb?

Claude jõuab veebi kahel viisil. Veebiotsinguga otsib ta siis, kui küsimus vajab värsket teavet, vaatab läbi mitu allikat ja vastab viidetega. Anthropicu abikeskus ütleb, et iga veebiotsingut kasutav vastus sisaldab viiteid. Kui keegi annab Claude'ile konkreetse lingi, saab ta selle lehe otse avada.

Anthropic dokumenteerib selleks kolm agenti, igaühel oma robots.txt tunnus. Claude-SearchBot roomab Claude'i otsingutulemuste parandamiseks, Claude-User laadib lehti, kui kasutaja küsimus neid vajab, ja ClaudeBot kogub sisu, mida võidakse kasutada treenimiseks. Meie eraldi juhend Anthropicu kolme roboti kohta selgitab üksikasjalikult, mida igaüks teeb. Et sind loetaks ja sulle viidataks, tuleb kontrollida kaht esimest.

Üks aus piirang: Anthropic ei dokumenteeri, millist otsinguindeksit Claude'i veebiotsing kasutab ega kuidas see allikaid valib. Ta ütleb, et Claude-SearchBot-i blokeerimine võib vähendada sinu nähtavust otsingutulemustes ja Claude-User-i blokeerimine takistab lehtede laadimist kasutajate küsimuste jaoks. Mõlema lubamine teeb viite võimalikuks, kuid ei garanteeri seda.

Kuidas kontrollida robots.txt-st, kas Claude pääseb minu veebisaidile?

Ava https://yourdomain.com/robots.txt ja otsi rühmi, mis nimetavad Claude-SearchBot-i või Claude-User-it. Kui kumbagi ei nimetata, järgivad mõlemad rühma User-agent: *. RFC 9309 järgi ei sõltu tunnuste võrdlemine suur- ja väiketähtedest ning Disallow: / kehtivas rühmas sulgeb sellele agendile kogu saidi.

Kontrolli ka vastust ennast. Kui robots.txt tagastab serveri vea, peavad robotid eeldama, et kõik on keelatud. 404 tähendab, et reegleid pole. Kaks käsku näitavad olekukoodi ja kõiki faili rühmi:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic ütleb, et reeglid peavad olema iga alamdomeeni ülemise taseme robots.txt-s, nii et blog.example.com vajab oma faili. Need blokeeringud pole haruldased. Meie uuringus 1000 populaarseima domeeni kohta keelasid 518-st robots.txt-d serveerinud saidist 67 (12,9%) avalehe Claude-SearchBot-ile ja 68 (13,1%) Claude-User-ile, samal ajal kui treeningroboti ClaudeBot puhul tegi seda 110 (21,2%).

Kuidas testida, mida Claude'i agendid minu serverist saavad?

robots.txt on palve, mitte ligipääsu kontroll. Tulemüür, CDN või robotikaitse võib vastata Anthropicu agentidele veaga 403, 429 või kontrollilehega, samal ajal kui sinu enda brauser näeb lehte tavapäraselt. Anthropic ütleb, et tema robotid ei ürita CAPTCHA-sid mööda minna, nii et kontrollileht lõpetab külastuse.

Küsi sama URL-i brauseri user agent'iga ja iga Anthropicu tunnusega ning võrdle olekukoodi ja suurust:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropicu abileht nimetab tunnuseid, kuid ei avalda täielikke user agent'i stringe, nii et need on teststringid, mitte Anthropicu päris stringid. Need näitavad, kuidas nime järgi töötavad reeglid päringut kohtlevad. 403, 429 või 503 ainult Claude'i ridadel või 200, mis on brauseri omast palju väiksem, viitab sinu tulemüürile.

Sinu test tuleb sinu enda IP-aadressilt. Anthropic ütleb, et päringud tema loendis claude.com/crawling/bots.json olevatelt aadressidelt pärinevad Anthropicult. Kui sinu tulemüür lubab kontrollitud roboteid IP järgi, võivad päris agendid läbi pääseda, samal ajal kui sinu test blokeeritakse, ja võimalik on ka vastupidine. Kasuta loendit Anthropicu lubamiseks, mitte blokeerimiseks: Anthropic soovitab IP järgi blokeerimist vältida, sest see takistab tema robotitel ka sinu robots.txt-d lugemast.

Kuidas näha, kas Claude minu saiti tegelikult külastab?

Sinu juurdepääsulogid vastavad sellele otse. Otsi neist kolme tunnust ja kontrolli siis, et lähteaadressid jääksid Anthropicu avaldatud vahemikesse, sest user agent'i nime võib igaüks kopeerida:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Esimene käsk eeldab levinud combined-logivormingut, kus väli 1 on kliendi aadress ja väli 9 olekukood. Paljud 403- või 429-koodid Anthropicu agentide kõrval kinnitavad tulemüüri probleemi. Kui Claude-SearchBot-i külastusi pole üldse, tähendab see ainult, et ta pole neid lehti veel roomanud või et miski peatab ta varem.

Kuidas testida Claude'i ennast oma lehega?

Ava vestlus ja kleebi mõne oma lehe URL koos palvega nagu „Tee sellest lehest kokkuvõte“. Anthropicu abikeskus ütleb, et kui veebiotsing on sisse lülitatud, saab Claude avada sinu antud linke. Kui veebiotsing on välja lülitatud, lülita see sisse menüüst +; Anthropicu uuemas Claude'i kogemuses lülitit pole ja Claude otsib siis, kui sellest on abi. Team- ja Enterprise-paketis peab omanik esmalt veebiotsingu organisatsiooni jaoks lubama. Kui Claude ei saa sinu lehte avada, aga brauser saab, mine tagasi tulemüüri testi juurde.

Seejärel esita küsimusi, mida sinu ostjad küsivad, ilma oma saiti nimetamata, ja ava viidatud allikad. Anthropic ütleb, et Claude võib kohalike tulemuste jaoks kasutada sinu IP-aadressist tuletatud asukohta, nii et vastused võivad kohati ja korditi erineda.

Arendajad saavad seda korrata Claude API kaudu. Veebiotsingu tööriist võtab vastu loendi allowed_domains, nii et sinu domeeniga piiratud päring näitab, kas Claude'i otsing tagastab küsimusele mõne sinu lehe:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Tühjad otsingutulemused tähendavad, et Claude'i otsing ei leidnud sellest domeenist küsimuse kohta midagi. Anthropic võtab API veebiotsingute eest tasu lisaks tokenitele. API web fetch tööriist teatab ka, miks lehte ei saanud lugeda: url_not_allowed hõlmab blokeeringuid nagu robots.txt ja url_not_accessible tähendab HTTP-viga. API vastused võivad erineda sellest, mida näitavad Claude'i rakendused.

Mis siis, kui Claude saab mu lehte lugeda, aga ei viita sellele?

Kõigepealt veendu, et vajalik tekst on HTML-is, mille sinu server saadab. Anthropicu API dokumentatsioon ütleb, et tema web fetch tööriist ei toeta JavaScriptiga renderdatud veebisaite, ja Anthropic ei ütle, et tema robotid skripte käivitaksid. Laadi oma leht curl-iga ja otsi väljundist lauset oma põhisisust. Kui seda pole, lahendab serveripoolne renderdamine või eelrenderdamine selle nii Claude'i kui ka enamiku teiste AI-robotite jaoks.

Pärast seda otsustab leht ise. Pane vastus lehe põhiküsimusele selle esimestesse lausetesse, kasuta pealkirju, mis vastavad inimeste küsimustele, nimeta väljaandja ja näita kuupäevi. Seejärel võrdle oma lehte sellega, millele Claude sama küsimuse puhul viitab: viidatud leht vastab sellele täpsele küsimusele sageli otsesemalt.

Kuidas AISeeWhy seda kontrollib?

AISeeWhy tasuta kontroll laadib sinu lehe Claude-SearchBot-i, Claude-User-i, ClaudeBot-i ja teiste AI- ja otsingurobotitena päris brauseri kõrval, rakendab igaühele sinu robots.txt-d, tuvastab kontrollilehed ja näitab, kui palju teksti jõuab kohale ilma JavaScriptita. AI-nähtavuse kontroll, mis on prooviperioodil ja tasulistes pakettides, esitab sinu küsimused Claude'ile veebiotsinguga sinu enda API-võtmega ja näitab, kas sinu brändi või domeeni mainitakse või sellele viidatakse.

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas saan tasuta kontrollida, kas Claude näeb minu saiti?

Jah. Sinu robots.txt, curl-päring, serverilogi ja küsimus Claude'ile ei maksa midagi. AISeeWhy tasuta kontroll testib Anthropicu agente ja 13 muud robotit ühe lehe kohta päevas ilma kontota.

Miks Claude ei saa mu veebisaiti avada, kui ma lingi kleebin?

Tavalised põhjused on tulemüür või robotikaitse, mis vastab Anthropicu agentidele veaga 403 või kontrollilehega, robots.txt reegel, mis keelab Claude-User-i, või leht, mille tekst ilmub alles pärast JavaScripti käivitamist. Testi URL-i curl-iga brauserina ja Claude'i tunnustega ning otsi logidest blokeeritud päringuid.

Kas Anthropic avaldab user agent'i stringi, millega testida?

Anthropicu robotite abileht loetleb tunnused ClaudeBot, Claude-SearchBot ja Claude-User, kuid mitte täielikke user agent'i stringe. Et eristada Anthropicu päris liiklust jäljendajatest, võrdle lähte-IP-d loendiga aadressil claude.com/crawling/bots.json.

Kui kiiresti jõuab robots.txt muudatus Claude'ini?

Anthropic aega ei nimeta. RFC 9309 ütleb, et robotid ei tohiks vahemällu salvestatud robots.txt-d kasutada kauem kui 24 tundi, nii et oota vähemalt päev, enne kui tulemust logides või Claude'i vastustes hindad.

Kas Claude API annab samad vastused kui Claude'i rakendus?

Mitte tingimata. Rakendus võib kasutada sinu ligikaudset asukohta ja oma seadeid, API-päring aga kasutab tööriistu ja parameetreid, mida sina saadad. Käsitle API tulemusi korratava testina, mitte koopiana sellest, mida iga kasutaja näeb.

Kuidas teada, kas Claude mainib minu brändi?

Esita Claude'ile veebiotsinguga küsimusi, mida sinu ostjad küsivad, ja pane kirja, kas ta nimetab sinu saiti või viitab sellele ja millised konkurendid ilmuvad selle asemel. Korda iga küsimust mitme nädala jooksul, sest vastused erinevad. AISeeWhy AI-nähtavuse kontroll teeb seda iga nädal Claude API kaudu sinu võtmega, kuni nelja konkurendi kõrval.

Allikad

Veel artikleid