Mga crawler ng Anthropic: ClaudeBot, Claude-SearchBot at Claude-User
Tatlong agent ang pinapatakbo ng Anthropic: nangongolekta ang ClaudeBot ng content na maaaring gamitin sa pag-train ng mga model nito, nagka-crawl ang Claude-SearchBot para pahusayin ang mga resulta ng search ng Claude, at kumukuha ang Claude-User ng mga pahina kapag kailangan ng tanong ng user ng Claude. May sariling robots.txt token ang bawat isa, at sinasabi ng Anthropic na sinusunod ng tatlo ang robots.txt. Hindi pinipigilan ng pag-block sa ClaudeBot lang ang search o ang mga pagkuha ng user.
Inilalarawan ng Anthropic ang mga crawler nito sa iisang help page, at kahawig ng ibang AI vendor ang istruktura: isang agent para sa training, isa para sa search at isa para sa mga live na pagkuha para sa user. Kung gusto mong mahanap at masipi ng Claude ang mga pahina mo, ang huling dalawa ang pinakamahalaga.
Sa pahinang ito
- Ano ang ginagawa ng ClaudeBot?
- Ano ang ginagawa ng Claude-SearchBot?
- Ano ang ginagawa ng Claude-User?
- Paano ako magsusulat ng mga rule sa robots.txt para sa Claude?
- Paano ikinukumpara ang setup ng Anthropic sa OpenAI at Perplexity?
- Dapat ko bang i-block ang Anthropic ayon sa IP address?
- Bakit hindi pa rin mababasa ng Claude ang pahina ko?
Ano ang ginagawa ng ClaudeBot?
Nangongolekta ang ClaudeBot ng web content na maaaring makaambag sa pag-train ng mga generative AI model ng Anthropic. Ayon sa Anthropic, ang pag-disallow dito ay nagsasabing dapat ialis sa mga training dataset ang magiging content ng site mo.
Sinasabi rin ng Anthropic na sinusunod nito ang isang machine-readable na no-AI-training signal na batay sa isang IETF draft, at na nangingibabaw sa pangkalahatang setting na iyon ang mga rule sa robots.txt na nagbabanggit sa ClaudeBot. Gaya ng ibang training crawler, pagpili sa patakaran ang pag-block dito.
Ano ang ginagawa ng Claude-SearchBot?
Nagka-crawl ang Claude-SearchBot sa web para pahusayin ang relevance at katumpakan ng mga resulta ng search sa Claude. Sinasabi ng Anthropic na pinipigilan ng pag-block dito na ma-index ang content mo para sa search, na maaaring magpababa ng visibility at katumpakan mo sa mga resulta ng search ng user.
Ito ang agent na dapat payagan kung gusto mong malaman ng mga search feature ng Claude ang mga pahina mo bago pa may magtanong tungkol sa kanila. Dahil search crawler ito, nakikinabang ito sa parehong mga bagay na nakakatulong sa anumang search crawler: isang sitemap na nakalista sa robots.txt, malinis na mga internal na link, at mga pahinang ibinabalik ang content nila sa unang sagot.
Ano ang ginagawa ng Claude-User?
Binubuksan ng Claude-User ang isang website kapag nagtanong ang user ng Claude ng isang bagay na nangangailangan nito, halimbawa kapag may nagbahagi ng URL o humiling sa Claude na maghanap ng isang bagay. Sinasabi ng Anthropic na pinipigilan ng pag-block dito ang pagkuha bilang tugon sa mga tanong ng user, na maaaring magpababa ng visibility mo sa web search na pinangungunahan ng user.
Pansinin ang pagkakaiba sa ilang ibang vendor. Sinasabi ng Anthropic na sinusunod ng mga bot nito ang mga direktiba sa robots.txt, at inilalarawan nito ang pag-block sa Claude-User sa pamamagitan ng robots.txt. Sa kabilang banda, sinasabi ng OpenAI at Perplexity na maaaring hindi sundin ng mga fetcher nila na hinihiling ng user ang robots.txt.
Paano ako magsusulat ng mga rule sa robots.txt para sa Claude?
May sariling token ang bawat agent, at ayon sa RFC 9309, pinapalitan ng grupong nagbabanggit sa isang crawler ang grupong * para sa crawler na iyon. Karaniwang pagpili ang payagan ang search at ang mga pagkuha ng user at mag-opt out sa training:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Sinusuportahan din ng Anthropic ang Crawl-delay bilang hindi standard na extension, halimbawa Crawl-delay: 1 sa ilalim ng User-agent: ClaudeBot, kung gusto mong pabagalin ang crawling sa halip na i-block ito. Dapat nasa robots.txt sa top-level directory ng bawat host ang mga rule, kaya idagdag ang mga ito sa bawat subdomain na gusto mong saklawin.
Paano ikinukumpara ang setup ng Anthropic sa OpenAI at Perplexity?
Pareho ang pattern na sinusunod ng tatlong vendor na may magkakaibang pangalan, kaya madaling unawain ang pinagsamang robots.txt. Ang pangunahing pagkakaiba ay kung paano tinatrato ng bawat isa ang robots.txt para sa mga live na pagkuha sa kahilingan ng user.
- Search crawler:
Claude-SearchBotpara sa Anthropic,OAI-SearchBotpara sa OpenAI,PerplexityBotpara sa Perplexity. - Training crawler:
ClaudeBotpara sa Anthropic,GPTBotpara sa OpenAI. Sinasabi ng Perplexity na hindi ginagamit angPerplexityBotpara mag-crawl ng content para sa mga AI foundation model. - Mga pagkuha ng user:
Claude-User,ChatGPT-UseratPerplexity-User. Sinasabi ng Anthropic na sinusunod ng mga bot nito ang robots.txt; sinasabi ng OpenAI na maaaring hindi nalalapat ang robots.txt saChatGPT-User; sinasabi ng Perplexity na karaniwang hindi ito pinapansin ngPerplexity-User.
Kung isang robots.txt ang isusulat mo para sa tatlo, ilagay ang mga search at user token sa isang grupo at ang mga training token sa isa pa. Pinapanatili nitong madaling basahin ang patakaran at malinaw kung anong pagpili ang ginawa mo para sa bawat layunin.
Dapat ko bang i-block ang Anthropic ayon sa IP address?
Hindi ito ipinapayo ng Anthropic. Sinasabi ng dokumentasyon nito na maaaring hindi gumana nang tama o hindi patuloy na magagarantiya ng opt-out ang pag-block sa mga IP address, dahil pinipigilan din nito ang crawler na basahin ang robots.txt mo. Gamitin ang robots.txt para isaad ang patakaran mo.
Inilalathala nga ng Anthropic ang mga IP address ng crawler nito sa claude.com/crawling/bots.json. Ang kapaki-pakinabang na paggamit sa listahang iyon ay kabaligtaran ng pag-block: hayaang beripikahin ng firewall mo na talagang galing sa Anthropic ang request na nagpapakilalang Claude-SearchBot o Claude-User, at papasukin ito.
Bakit hindi pa rin mababasa ng Claude ang pahina ko?
Kahit maluwag ang robots.txt, puwedeng sagutin ng firewall o CDN mo ang mga agent ng Anthropic ng 403 o challenge page. Sinasabi ng Anthropic na iginagalang ng mga bot nito ang mga anti-circumvention technology at hindi nito susubukang lampasan ang mga CAPTCHA, kaya tinatapos lang ng challenge page ang pagbisita. Ang mga pahinang lumalabas lang ang text pagkatapos tumakbo ang JavaScript ay puwede ring dumating nang halos walang laman.
Nire-request ng AISeeWhy ang pahina mo bilang ClaudeBot, Claude-SearchBot at Claude-User katabi ng isang browser at sinusuri ang mga rule ng robots.txt mo para sa bawat isa, para makita mo kung ang patakarang isinulat mo ang talagang ipinapatupad ng server mo.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Inaalis ba ng pag-block sa ClaudeBot ang site ko sa mga sagot ng Claude?
Hindi nang mag-isa. Gumagamit ang search indexing at ang mga pagkuhang hiniling ng user ng Claude-SearchBot at Claude-User, na may sarili nilang mga robots.txt token.
Sinusunod ba ng Claude-User ang robots.txt?
Sinasabi ng Anthropic na sinusunod ng mga bot nito ang robots.txt at inilalarawan nito ang pag-block sa Claude-User doon, na ang epekto ay hindi makukuha ng Claude ang mga pahina mo para sa mga tanong ng user.
Lulutasin ba ng mga crawler ng Anthropic ang isang CAPTCHA?
Hindi. Sinasabi ng Anthropic na iginagalang ng mga bot nito ang mga anti-circumvention technology at hindi nito susubukang lampasan ang mga CAPTCHA.
Puwede ko bang pabagalin ang ClaudeBot sa halip na i-block ito?
Oo. Sinusuportahan ng Anthropic ang Crawl-delay bilang hindi standard na extension, halimbawa Crawl-delay: 1 sa grupong ClaudeBot ng robots.txt mo.
Paano ko mabeberipika na talagang galing sa Anthropic ang isang request?
Ihambing ang pinagmulang IP sa listahang inilalathala ng Anthropic sa claude.com/crawling/bots.json. Kayang kopyahin ng kahit sino ang user agent lang.
Mga pinagmulan
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- RFC 9309: Robots Exclusion Protocol