ClaudeBot

Anthropic · AI training

Ang ClaudeBot ang crawler ng Anthropic para sa web content na maaaring gamitin sa training ng mga generative AI model nito. Ang pag-disallow dito sa robots.txt ay senyales na dapat hindi isama sa training ang magiging content ng site mo. Hindi napipigilan ng pag-block dito lang ang Claude-SearchBot o Claude-User, na nagsisilbi sa search at mga live na sagot.

Paano ito papayagan

User-agent: ClaudeBot
Allow: /

Paano ito iba-block

User-agent: ClaudeBot
Disallow: /

Ano ang ginagawa nito

Sinasabi ng Anthropic na nangongolekta ang ClaudeBot ng web content na maaaring makatulong sa training ng mga model nito, para mapahusay ang pagiging kapaki-pakinabang at kaligtasan ng mga ito. Ang pag-disallow sa ClaudeBot ay senyales na dapat hindi isama sa mga training dataset ang mga magiging materyal ng site mo.

Sinusuportahan din ng Anthropic ang hindi pamantayang directive na Crawl-delay, kaya puwede mong pabagalin ang ClaudeBot sa halip na i-block ito. Nauuna ang mga rule sa robots.txt na nagpapangalan sa ClaudeBot kaysa sa pangkalahatang no-AI-training na senyales ng Anthropic. Kada host ang saklaw ng mga rule sa robots.txt, kaya idagdag ang mga ito sa bawat subdomain na gusto mong saklawin.

Sa pag-aaral namin noong 2026-11, 21.2% ng mga sikat na site na may robots.txt ang nag-block dito. →

Token sa robots.txt

ClaudeBot

Paano beripikahin ang totoong pagbisita

Inilalathala ng Anthropic ang mga IP address ng mga crawler nito sa claude.com/crawling/bots.json at sinasabing galing sa Anthropic ang crawler na nasa listahang iyon ang IP. Itugma ang source IP sa listahan sa halip na magtiwala sa user agent. Hindi inirerekomenda ng Anthropic ang pag-block ng IP para mag-opt out, dahil pinipigilan din nito ang crawler na basahin ang robots.txt.

Tingnan kung pinapapasok ito ng site mo →

Mga crawler ng Anthropic: ClaudeBot, Claude-SearchBot at Claude-User →