Je, Claude inaweza kuona tovuti yangu? Jinsi ya kukagua

Imechapishwa · Imesasishwa

Jibu fupi

Claude inaweza kusoma ukurasa wako tu ikiwa robots.txt yako inaruhusu mawakala wa Anthropic na seva yako inawatumia HTML ileile ambayo kivinjari kinapata. Hakikisha robots.txt haizuii Claude-SearchBot wala Claude-User, firewall yako haiwajibu kwa 403 au ukurasa wa changamoto, na maandishi makuu yako kwenye HTML ya awali. Kisha jaribu Claude yenyewe: bandika URL yako kwenye mazungumzo na uulize maswali ya wanunuzi wako huku utafutaji wa wavuti ukiwa umewashwa.

Ukiiuliza Claude kuhusu bidhaa yako na ikanukuu tovuti nyingine, swali la kwanza ni kama inaweza kufikia tovuti yako kabisa. Swali hilo lina jibu linaloweza kujaribiwa. Anthropic huchapisha tokeni za robots.txt za mawakala wake na anwani za IP wanazotoka, na Claude huonyesha vyanzo ilivyotumia. Kwa hivyo unaweza kukagua kila hatua kwa mpangilio: robots.txt yako inasema nini, seva yako inatuma nini, kumbukumbu zako zinarekodi nini, na Claude hufanya nini na ukurasa unapoipa.

Kwenye ukurasa huu
  1. Ukaguzi wa dakika 5, hatua kwa hatua
  2. Claude husomaje tovuti?
  3. Nitakaguaje kupitia robots.txt kama Claude inaweza kufikia tovuti yangu?
  4. Nitajaribuje kile ambacho mawakala wa Claude wanapokea kutoka seva yangu?
  5. Nitaonaje kama Claude inatembelea tovuti yangu kweli?
  6. Nitaijaribuje Claude yenyewe kwa ukurasa wangu?
  7. Je, ikiwa Claude inaweza kusoma ukurasa wangu lakini bado haiunukuu?
  8. AISeeWhy hukagua hili vipi?

Ukaguzi wa dakika 5, hatua kwa hatua

  1. Fungua robots.txt yako na uhakikishe kwamba hakuna kundi la Claude-SearchBot, Claude-User au User-agent: * linalokataza ukurasa. ClaudeBot ni muhimu kwa mafunzo pekee.
  2. Fanya ukaguzi wa bure wa ukurasa kwenye AISeeWhy au tuma ombi moja kwa user agent ya Claude-User: lazima lipate hali 200 na maandishi yale yale ambayo kivinjari kinapata.
  3. Tafuta Claude-SearchBot na Claude-User katika kumbukumbu yako ya ufikiaji na uangalie misimbo ya hali waliyopokea.
  4. Bandika URL yako kwenye Claude, utafutaji wa wavuti ukiwa umewashwa, iombe itoe muhtasari wa ukurasa, kisha uliza swali ambalo wanunuzi wako huuliza na ukague manukuu.

Ikiwa hatua ya 1 au 2 itashindwa, rekebisha ufikiaji kwanza; sehemu zilizo hapa chini zinaonyesha jinsi. Ikiwa Claude inasoma ukurasa lakini haiunukuu, fanyia kazi maudhui.

Claude husomaje tovuti?

Claude hufikia wavuti kwa njia mbili. Kwa utafutaji wa wavuti, hutafuta swali linapohitaji taarifa za sasa, hupitia vyanzo kadhaa na hujibu kwa manukuu. Kituo cha usaidizi cha Anthropic kinasema kila jibu linalotumia utafutaji wa wavuti linajumuisha manukuu. Mtu anapoipa Claude kiungo mahususi, inaweza kufungua ukurasa huo moja kwa moja.

Anthropic inaeleza mawakala watatu kwa kazi hii, kila mmoja akiwa na tokeni yake ya robots.txt. Claude-SearchBot hupitia tovuti ili kuboresha matokeo ya utafutaji ya Claude, Claude-User hupakua kurasa swali la mtumiaji linapozihitaji, na ClaudeBot hukusanya maudhui yanayoweza kutumika kwa mafunzo. Mwongozo wetu tofauti kuhusu crawler tatu za Anthropic unaeleza kwa kina kazi ya kila moja. Ili usomwe na kunukuliwa, wawili wa kwanza ndio wa kukagua.

Kikomo kimoja cha kweli: Anthropic haielezi ni faharasa gani ya utafutaji ambayo utafutaji wa wavuti wa Claude hutumia wala jinsi inavyochagua vyanzo. Inasema kuzuia Claude-SearchBot kunaweza kupunguza mwonekano wako katika matokeo ya utafutaji, na kuzuia Claude-User kunazuia upakuaji kwa maswali ya watumiaji. Kuwaruhusu wote wawili kunafanya nukuu iwezekane; hakuihakikishi.

Nitakaguaje kupitia robots.txt kama Claude inaweza kufikia tovuti yangu?

Fungua https://yourdomain.com/robots.txt na utafute vikundi vinavyotaja Claude-SearchBot au Claude-User. Ikiwa hakuna kati yao anayetajwa, wote wawili hufuata kikundi cha User-agent: *. Kwa mujibu wa RFC 9309, ulinganishaji wa tokeni hauzingatii herufi kubwa na ndogo, na Disallow: / katika kikundi kinachotumika hufunga tovuti nzima kwa wakala huyo.

Kagua pia jibu lenyewe. robots.txt inayorudisha hitilafu ya seva inaziambia crawler zichukulie kuwa kila kitu kimezuiwa. 404 inamaanisha hakuna sheria. Amri mbili zinaonyesha hali na kila kikundi katika faili:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic inasema sheria lazima ziwe kwenye robots.txt iliyo katika ngazi ya juu ya kila kikoa kidogo, kwa hivyo blog.example.com inahitaji faili yake. Vizuizi hivi si nadra. Katika utafiti wetu wa vikoa 1,000 maarufu zaidi, kati ya tovuti 518 zilizotoa robots.txt, 67 (12.9%) zilizuia ukurasa wa nyumbani kwa Claude-SearchBot na 68 (13.1%) kwa Claude-User, huku 110 (21.2%) zikifanya hivyo kwa crawler ya mafunzo ClaudeBot.

Nitajaribuje kile ambacho mawakala wa Claude wanapokea kutoka seva yangu?

robots.txt ni ombi, si udhibiti wa ufikiaji. Firewall, CDN au kinga dhidi ya boti inaweza kuwajibu mawakala wa Anthropic kwa 403, 429 au ukurasa wa changamoto huku kivinjari chako kikiona ukurasa kama kawaida. Anthropic inasema boti zake hazitajaribu kukwepa CAPTCHA, kwa hivyo ukurasa wa changamoto humaliza ziara.

Omba URL ileile kwa user agent ya kivinjari na kwa kila tokeni ya Anthropic, kisha linganisha hali na ukubwa:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Ukurasa wa usaidizi wa Anthropic unataja tokeni lakini hauchapishi mifuatano kamili ya user agent, kwa hivyo hii ni mifuatano ya majaribio, si ile halisi ya Anthropic. Inaonyesha jinsi sheria zinazolinganisha jina zinavyolichukulia ombi. 403, 429 au 503 kwa mistari ya Claude pekee, au 200 iliyo ndogo sana kuliko ya kivinjari, inaashiria firewall yako.

Jaribio lako linatoka kwenye anwani yako ya IP. Anthropic inasema maombi kutoka anwani zilizo kwenye orodha yake katika claude.com/crawling/bots.json yanatoka Anthropic. Ikiwa firewall yako inaruhusu crawler zilizothibitishwa kwa IP, mawakala halisi wanaweza kupita huku jaribio lako likizuiwa, na kinyume chake pia kinawezekana. Tumia orodha hiyo kuruhusu Anthropic, si kuizuia: Anthropic inashauri dhidi ya kuzuia kwa IP kwa sababu hilo pia huzuia boti zake kusoma robots.txt yako.

Nitaonaje kama Claude inatembelea tovuti yangu kweli?

Kumbukumbu zako za ufikiaji zinajibu hili moja kwa moja. Zitafute kwa tokeni hizo tatu, kisha hakikisha anwani za chanzo ziko ndani ya masafa yaliyochapishwa na Anthropic, kwa sababu mtu yeyote anaweza kunakili jina la user agent:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Amri ya kwanza inachukulia muundo wa kawaida wa kumbukumbu wa combined, ambapo sehemu ya 1 ni anwani ya mteja na sehemu ya 9 ni msimbo wa hali. Misimbo mingi ya 403 au 429 kando ya mawakala wa Anthropic inathibitisha tatizo la firewall. Kukosekana kabisa kwa ziara za Claude-SearchBot kunamaanisha tu kwamba bado haijapitia kurasa hizo, au kwamba kitu fulani mapema kinaizuia.

Nitaijaribuje Claude yenyewe kwa ukurasa wangu?

Fungua mazungumzo na ubandike URL ya mojawapo ya kurasa zako pamoja na ombi kama "Fupisha ukurasa huu". Kituo cha usaidizi cha Anthropic kinasema utafutaji wa wavuti ukiwa umewashwa, Claude inaweza kufungua viungo unavyoipa. Ikiwa utafutaji wa wavuti umezimwa, uwashe kutoka menyu ya +; katika toleo jipya la Claude la Anthropic hakuna swichi na Claude hutafuta inapohitajika. Kwenye mipango ya Team na Enterprise, mmiliki lazima kwanza awashe utafutaji wa wavuti kwa shirika. Ikiwa Claude haiwezi kufungua ukurasa wako lakini kivinjari kinaweza, rudi kwenye jaribio la firewall.

Kisha uliza maswali ambayo wanunuzi wako huuliza, bila kutaja tovuti yako, na ufungue vyanzo vilivyonukuliwa. Anthropic inasema Claude inaweza kutumia eneo linalokisiwa kutoka anwani yako ya IP kwa matokeo ya eneo husika, kwa hivyo majibu yanaweza kutofautiana kwa mahali na kati ya majaribio.

Wasanidi programu wanaweza kurudia hili kupitia Claude API. Zana ya utafutaji wa wavuti inapokea orodha ya allowed_domains, kwa hivyo ombi lililowekewa kikomo kwa kikoa chako linaonyesha kama utafutaji wa Claude unarudisha ukurasa wako wowote kwa swali fulani:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Matokeo matupu ya utafutaji yanamaanisha utafutaji wa Claude haukupata chochote kwenye kikoa hicho kwa swali hilo. Anthropic hutoza ada kwa utafutaji wa wavuti kupitia API pamoja na tokeni. Zana ya API ya kupakua wavuti pia inaripoti kwa nini ukurasa haukuweza kusomwa: url_not_allowed inahusu vizuizi kama robots.txt, na url_not_accessible inamaanisha hitilafu ya HTTP. Majibu kupitia API yanaweza kutofautiana na kile programu za Claude zinaonyesha.

Je, ikiwa Claude inaweza kusoma ukurasa wangu lakini bado haiunukuu?

Kwanza hakikisha maandishi inayoyahitaji yako kwenye HTML ambayo seva yako inatuma. Nyaraka za API za Anthropic zinasema zana yake ya kupakua wavuti haiauni tovuti zinazochorwa kwa JavaScript, na Anthropic haisemi kwamba crawler zake huendesha skripti. Pakua ukurasa wako kwa curl na utafute katika matokeo sentensi kutoka maudhui yako makuu. Ikiwa haipo, uchoraji upande wa seva (server-side rendering) au uchoraji wa awali (prerendering) hurekebisha hili kwa Claude na kwa crawler nyingi nyingine za AI.

Baada ya hapo, ukurasa wenyewe ndio huamua. Weka jibu la swali kuu la ukurasa katika sentensi zake za kwanza, tumia vichwa vinavyolingana na maswali ambayo watu huuliza, taja mchapishaji na uonyeshe tarehe. Kisha linganisha ukurasa wako na ule ambao Claude inanukuu kwa swali hilohilo: mara nyingi ukurasa ulionukuliwa hujibu swali hilo hasa kwa njia ya moja kwa moja zaidi.

AISeeWhy hukagua hili vipi?

Ukaguzi wa bure wa AISeeWhy hupakua ukurasa wako kama Claude-SearchBot, Claude-User, ClaudeBot na crawler nyingine za AI na za utafutaji kando ya kivinjari halisi, hutumia robots.txt yako kwa kila moja, hutambua kurasa za changamoto na huonyesha ni maandishi kiasi gani yanafika bila JavaScript. Ukaguzi wa Mwonekano kwenye AI, katika majaribio na mipango ya kulipia, huuliza maswali yako kupitia Claude ikiwa na utafutaji wa wavuti kwa ufunguo wako mwenyewe wa API na huonyesha kama chapa au kikoa chako kinatajwa au kunukuliwa.

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, naweza kukagua bure kama Claude inaweza kuona tovuti yangu?

Ndiyo. robots.txt yako, ombi la curl, kumbukumbu ya seva yako na swali kwenye Claude havigharimu chochote. Ukaguzi wa bure wa AISeeWhy unajaribu mawakala wa Anthropic na crawler nyingine 13 kwa ukurasa mmoja kwa siku bila akaunti.

Kwa nini Claude haiwezi kufungua tovuti yangu ninapobandika kiungo?

Sababu za kawaida ni firewall au kinga dhidi ya boti inayowajibu mawakala wa Anthropic kwa 403 au ukurasa wa changamoto, sheria ya robots.txt inayozuia Claude-User, au ukurasa ambao maandishi yake huonekana tu baada ya JavaScript kuendeshwa. Jaribu URL kwa curl kama kivinjari na kwa tokeni za Claude, na utafute maombi yaliyozuiwa katika kumbukumbu zako.

Je, Anthropic huchapisha mfuatano wa user agent ninaoweza kujaribu nao?

Ukurasa wa usaidizi wa Anthropic kuhusu crawler unaorodhesha tokeni ClaudeBot, Claude-SearchBot na Claude-User lakini hakuna mifuatano kamili ya user agent. Ili kutofautisha trafiki halisi ya Anthropic na waigaji, linganisha IP ya chanzo na orodha iliyo katika claude.com/crawling/bots.json.

Mabadiliko ya robots.txt huchukua muda gani kufikia Claude?

Anthropic haitoi muda. RFC 9309 inasema crawler hazipaswi kutumia robots.txt iliyohifadhiwa kwa zaidi ya saa 24, kwa hivyo subiri angalau siku moja kabla ya kutathmini matokeo katika kumbukumbu zako au katika majibu ya Claude.

Je, Claude API inatoa majibu yaleyale kama programu ya Claude?

Si lazima. Programu inaweza kutumia eneo lako la takriban na mipangilio yake yenyewe, huku ombi la API likitumia zana na vigezo unavyotuma. Chukulia matokeo ya API kama jaribio linaloweza kurudiwa, si nakala ya kile kila mtumiaji anaona.

Nitajuaje kama Claude inataja chapa yangu?

Uliza Claude, utafutaji wa wavuti ukiwa umewashwa, maswali ambayo wanunuzi wako huuliza, na uandike kama inataja au kunukuu tovuti yako na washindani gani wanaonekana badala yako. Rudia kila swali kwa wiki kadhaa, kwa sababu majibu hutofautiana. Ukaguzi wa Mwonekano kwenye AI wa AISeeWhy hufanya hivi kila wiki kupitia Claude API kwa ufunguo wako, kando ya hadi washindani wanne.

Vyanzo

Makala zaidi