Nakikita ba ng Claude ang website ko? Paano ito suriin

Inilathala · In-update

Maikling sagot

Mababasa lang ng Claude ang pahina mo kung pinapayagan ng robots.txt mo ang mga agent ng Anthropic at ipinapadala sa kanila ng server mo ang parehong HTML na nakukuha ng browser. Tiyaking hindi dini-disallow ng robots.txt ang Claude-SearchBot o Claude-User, na hindi sila sinasagot ng firewall mo ng 403 o challenge page, at na nasa unang HTML ang pangunahing text. Pagkatapos, subukan ang Claude mismo: i-paste ang URL mo sa isang chat at itanong ang mga tanong ng mga buyer mo nang naka-on ang web search.

Kung tatanungin mo ang Claude tungkol sa produkto mo at ibang site ang sinisipi nito, ang unang tanong ay kung naaabot man lang nito ang site mo. May sagot dito na masusubukan. Inilalathala ng Anthropic ang mga robots.txt token ng mga agent nito at ang mga IP address na pinanggagalingan nila, at ipinapakita ng Claude ang mga source na ginamit nito. Kaya masusuri mo ang bawat hakbang nang sunud-sunod: ano ang sinasabi ng robots.txt mo, ano ang ipinapadala ng server mo, ano ang itinatala ng mga log mo, at ano ang ginagawa ng Claude sa pahinang ibinigay mo.

Sa pahinang ito
  1. Ang 5-minutong check, hakbang-hakbang
  2. Paano binabasa ng Claude ang mga website?
  3. Paano ko susuriin sa robots.txt kung naa-access ng Claude ang website ko?
  4. Paano ko susubukan kung ano ang natatanggap ng mga agent ng Claude mula sa server ko?
  5. Paano ko makikita kung talagang bumibisita ang Claude sa site ko?
  6. Paano ko susubukan ang Claude mismo gamit ang pahina ko?
  7. Paano kung nababasa ng Claude ang pahina ko pero hindi pa rin ito sinisipi?
  8. Paano ito sinusuri ng AISeeWhy?

Ang 5-minutong check, hakbang-hakbang

  1. Buksan ang robots.txt mo at tiyaking walang grupo para sa Claude-SearchBot, Claude-User o User-agent: * na nagdi-disallow sa pahina. Para sa training lang mahalaga ang ClaudeBot.
  2. Magpatakbo ng libreng pagsusuri ng pahina sa AISeeWhy o magpadala ng isang request gamit ang user agent na Claude-User: dapat itong makakuha ng status 200 at ng parehong text na nakukuha ng browser.
  3. Hanapin ang Claude-SearchBot at Claude-User sa access log mo at tingnan ang mga status code na natanggap nila.
  4. I-paste ang URL mo sa Claude nang naka-on ang web search, hilinging ibuod nito ang pahina, pagkatapos ay itanong ang isang tanong ng mga buyer mo at suriin ang mga pagsipi.

Kung pumalya ang hakbang 1 o 2, unahing ayusin ang access; ipinapakita ng mga seksyon sa ibaba kung paano. Kung binabasa ng Claude ang pahina pero hindi ito sinisipi, pagtuunan ang content.

Paano binabasa ng Claude ang mga website?

Dalawang paraan ang pag-abot ng Claude sa web. Sa web search, naghahanap ito kapag kailangan ng tanong ang bagong impormasyon, sinusuri ang ilang source at sumasagot nang may mga citation. Ayon sa help center ng Anthropic, may mga citation ang bawat sagot na gumagamit ng web search. Kapag binigyan ng isang tao ang Claude ng partikular na link, kaya nitong buksan nang direkta ang pahinang iyon.

Tatlong agent ang dinodokumento ng Anthropic para dito, at may sariling robots.txt token ang bawat isa. Nagku-crawl ang Claude-SearchBot para pagandahin ang mga search result ng Claude, kinukuha ng Claude-User ang mga pahina kapag kailangan ito ng tanong ng user, at nangongolekta ang ClaudeBot ng content na puwedeng gamitin sa training. Ipinapaliwanag nang detalyado ng hiwalay naming gabay tungkol sa tatlong crawler ng Anthropic ang ginagawa ng bawat isa. Para mabasa at masipi, ang unang dalawa ang dapat suriin.

Isang tapat na limitasyon: hindi dinodokumento ng Anthropic kung aling search index ang ginagamit ng web search ng Claude o kung paano ito pumipili ng mga source. Sinasabi nitong puwedeng bumaba ang visibility mo sa mga search result kapag bina-block ang Claude-SearchBot, at napipigilan ang pagkuha ng pahina para sa mga tanong ng user kapag bina-block ang Claude-User. Kapag pinayagan ang dalawa, posible ang citation; hindi ito garantisado.

Paano ko susuriin sa robots.txt kung naa-access ng Claude ang website ko?

Buksan ang https://yourdomain.com/robots.txt at hanapin ang mga grupong nagbabanggit sa Claude-SearchBot o Claude-User. Kung wala sa dalawa ang nabanggit, pareho silang susunod sa grupong User-agent: *. Hindi case-sensitive ang pagtutugma ng token ayon sa RFC 9309, at isinasara ng Disallow: / sa grupong naaangkop ang buong site sa agent na iyon.

Suriin din ang mismong response. Ang robots.txt na nagbabalik ng server error ay nagsasabi sa mga crawler na ituring na disallowed ang lahat. Ang 404 ay nangangahulugang walang rule. Ipinapakita ng dalawang command ang status at bawat grupo sa file:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Sabi ng Anthropic, dapat nasa robots.txt sa top level ng bawat subdomain ang mga rule, kaya kailangan ng blog.example.com ng sarili nitong file. Hindi bihira ang mga block na ito. Sa pag-aaral namin sa 1,000 pinakasikat na domain, sa 518 site na may robots.txt, 67 (12.9%) ang nag-disallow ng home page para sa Claude-SearchBot at 68 (13.1%) para sa Claude-User, habang 110 (21.2%) ang gumawa nito para sa training crawler na ClaudeBot.

Paano ko susubukan kung ano ang natatanggap ng mga agent ng Claude mula sa server ko?

Ang robots.txt ay kahilingan, hindi access control. Puwedeng sagutin ng firewall, CDN o bot protection ang mga agent ng Anthropic ng 403, 429 o challenge page habang normal na nakikita ng sarili mong browser ang pahina. Sabi ng Anthropic, hindi susubukang lampasan ng mga bot nito ang mga CAPTCHA, kaya tapos na ang pagbisita kapag may challenge page.

I-request ang parehong URL gamit ang browser user agent at ang bawat token ng Anthropic, saka ikumpara ang status at laki:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Pinapangalanan ng help page ng Anthropic ang mga token pero hindi nito inilalathala ang buong user agent string, kaya mga test string ito, hindi ang tunay na string ng Anthropic. Ipinapakita nito kung paano tinatrato ng mga rule na tumutugma sa pangalan ang request. Ang 403, 429 o 503 sa mga linya ng Claude lang, o 200 na mas maliit nang husto kaysa sa browser, ay tumuturo sa firewall mo.

Galing sa sarili mong IP address ang test mo. Sabi ng Anthropic, galing sa Anthropic ang mga request mula sa mga address sa listahan nito sa claude.com/crawling/bots.json. Kung pinapayagan ng firewall mo ang mga verified crawler ayon sa IP, puwedeng makalusot ang mga tunay na agent habang naba-block ang test mo, at posible rin ang kabaligtaran. Gamitin ang listahan para payagan ang Anthropic, hindi para i-block ito: hindi inirerekomenda ng Anthropic ang IP blocking dahil napipigilan din nito ang mga bot nito na basahin ang robots.txt mo.

Paano ko makikita kung talagang bumibisita ang Claude sa site ko?

Direktang sinasagot ito ng mga access log mo. Hanapin sa mga ito ang tatlong token, saka tiyaking pasok ang mga source address sa mga range na inilathala ng Anthropic, dahil kahit sino ay puwedeng kopyahin ang pangalan ng isang user agent:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Inaasahan ng unang command ang karaniwang combined log format, kung saan field 1 ang address ng client at field 9 ang status code. Kinukumpirma ng maraming 403 o 429 sa tabi ng mga agent ng Anthropic ang problema sa firewall. Kung walang anumang pagbisita mula sa Claude-SearchBot, ibig sabihin lang ay hindi pa nito nako-crawl ang mga pahinang iyon, o may humaharang dito sa mas naunang hakbang.

Paano ko susubukan ang Claude mismo gamit ang pahina ko?

Magbukas ng chat at i-paste ang URL ng isa sa mga pahina mo kasama ang request gaya ng "I-summarize ang pahinang ito". Sabi ng help center ng Anthropic, kapag naka-on ang web search, kayang buksan ng Claude ang mga link na ibinibigay mo. Kung naka-off ang web search, i-on ito mula sa menu na +; sa mas bagong Claude experience ng Anthropic, walang toggle at naghahanap ang Claude kapag nakakatulong ito. Sa mga Team at Enterprise plan, kailangan munang i-enable ng owner ang web search para sa organisasyon. Kung hindi mabuksan ng Claude ang pahina mo pero kaya ng browser, bumalik sa firewall test.

Pagkatapos, itanong ang mga tanong ng mga buyer mo nang hindi binabanggit ang site mo, at buksan ang mga sinipiing source. Sabi ng Anthropic, puwedeng gamitin ng Claude ang lokasyong hinuha mula sa IP address mo para sa mga lokal na resulta, kaya puwedeng mag-iba ang mga sagot ayon sa lugar at sa bawat run.

Kayang ulitin ito ng mga developer sa pamamagitan ng Claude API. Tumatanggap ang web search tool ng listahang allowed_domains, kaya ipinapakita ng request na limitado sa domain mo kung may ibinabalik ang search ng Claude na alinman sa mga pahina mo para sa isang tanong:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Kapag walang laman ang mga search result, walang nahanap ang search ng Claude sa domain na iyon para sa tanong. Naniningil ang Anthropic para sa mga web search sa API bukod pa sa mga token. Iniuulat din ng web fetch tool ng API kung bakit hindi mabasa ang isang pahina: saklaw ng url_not_allowed ang mga block gaya ng robots.txt, at ang url_not_accessible ay nangangahulugang HTTP error. Puwedeng iba ang mga sagot ng API sa ipinapakita ng mga Claude app.

Paano kung nababasa ng Claude ang pahina ko pero hindi pa rin ito sinisipi?

Tiyakin muna na nasa HTML na ipinapadala ng server mo ang text na kailangan nito. Sabi ng API documentation ng Anthropic, hindi sinusuportahan ng web fetch tool nito ang mga website na nire-render gamit ang JavaScript, at hindi sinasabi ng Anthropic na nagre-render ng script ang mga crawler nito. Kunin ang pahina mo gamit ang curl at hanapin sa output ang isang pangungusap mula sa pangunahing content mo. Kung wala ito, inaayos ito ng server-side rendering o prerendering para sa Claude at sa karamihan ng iba pang AI crawler.

Pagkatapos noon, ang pahina na mismo ang nagpapasya. Ilagay sa mga unang pangungusap ang sagot sa pangunahing tanong ng pahina, gumamit ng mga heading na tugma sa mga tanong ng mga tao, pangalanan ang publisher at ipakita ang mga petsa. Saka ikumpara ang pahina mo sa pahinang sinisipi ng Claude para sa parehong tanong: kadalasan, mas direktang sinasagot ng sinipiing pahina ang mismong tanong na iyon.

Paano ito sinusuri ng AISeeWhy?

Kinukuha ng libreng pagsusuri ng AISeeWhy ang pahina mo bilang Claude-SearchBot, Claude-User, ClaudeBot at iba pang AI at search crawler katabi ng totoong browser, inilalapat ang robots.txt mo sa bawat isa, nakikilala ang mga challenge page at ipinapakita kung gaano karaming text ang dumarating nang walang JavaScript. Ang AI visibility check, sa trial at sa mga bayad na plan, ay nagtatanong ng mga tanong mo sa Claude nang naka-on ang web search gamit ang sarili mong API key at ipinapakita kung nababanggit o nasisipi ang brand o domain mo.

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Maaari ko bang suriin nang libre kung nakikita ng Claude ang site ko?

Oo. Walang bayad ang robots.txt mo, ang isang curl request, ang server log mo at ang isang tanong sa Claude. Sinusubok ng libreng pagsusuri ng AISeeWhy ang mga agent ng Anthropic at 13 pang crawler para sa isang pahina bawat araw nang walang account.

Bakit hindi mabuksan ng Claude ang website ko kapag pina-paste ko ang link?

Ang mga karaniwang dahilan ay firewall o bot protection na sumasagot sa mga agent ng Anthropic ng 403 o challenge page, rule sa robots.txt na nagdi-disallow sa Claude-User, o pahinang lumalabas lang ang text pagkatapos tumakbo ng JavaScript. Subukan ang URL gamit ang curl bilang browser at gamit ang mga token ng Claude, at tingnan sa mga log mo ang mga na-block na request.

May inilalathala bang user agent string ang Anthropic na puwede kong gamitin sa test?

Inililista ng crawler help page ng Anthropic ang mga token na ClaudeBot, Claude-SearchBot at Claude-User pero walang buong user agent string. Para makilala ang tunay na traffic ng Anthropic mula sa mga nanggagaya, ikumpara ang source IP sa listahan sa claude.com/crawling/bots.json.

Gaano katagal bago umabot sa Claude ang pagbabago sa robots.txt?

Walang ibinibigay na oras ang Anthropic. Sabi ng RFC 9309, hindi dapat gumamit ang mga crawler ng naka-cache na robots.txt nang higit sa 24 oras, kaya maghintay nang kahit isang araw bago husgahan ang resulta sa mga log mo o sa mga sagot ng Claude.

Pareho ba ang mga sagot ng Claude API at ng Claude app?

Hindi palagi. Puwedeng gamitin ng app ang tinatayang lokasyon mo at ang sarili nitong mga setting, habang ginagamit ng API request ang mga tool at parameter na ipinapadala mo. Ituring ang mga resulta ng API bilang test na mauulit, hindi kopya ng nakikita ng bawat user.

Paano ko malalaman kung binabanggit ng Claude ang brand ko?

Itanong sa Claude, nang naka-on ang web search, ang mga tanong ng mga buyer mo, at itala kung pinapangalanan o sinisipi nito ang site mo at aling mga kakumpitensya ang lumalabas sa halip. Ulitin ang bawat tanong sa loob ng ilang linggo, dahil nag-iiba ang mga sagot. Ginagawa ito linggu-linggo ng AI visibility check ng AISeeWhy sa pamamagitan ng Claude API gamit ang key mo, katabi ng hanggang apat na kakumpitensya.

Mga pinagmulan

Iba pang artikulo