Claude-SearchBot
Kino-crawl ng Claude-SearchBot ang web para mapahusay ang kaugnayan at katumpakan ng mga resulta ng paghahanap sa Claude. Sinasabi ng Anthropic na pinipigilan ng pag-block dito na ma-index ang content mo para sa search, na maaaring magpababa ng visibility at katumpakan mo sa mga resulta ng paghahanap ng user. Payagan ito kung gusto mong mahanap at banggitin ng Claude ang mga pahina mo.
Paano ito papayagan
User-agent: Claude-SearchBot
Allow: / Paano ito iba-block
User-agent: Claude-SearchBot
Disallow: / Ano ang ginagawa nito
Ginagamit ng Anthropic ang Claude-SearchBot para galugarin ang web at pahusayin ang kalidad ng mga resulta ng paghahanap para sa mga user ng Claude. Hiwalay ito sa ClaudeBot, ang training crawler, kaya puwede mong payagan ang search habang nag-o-opt out sa training.
Sinasabi ng Anthropic na pinipigilan ng pag-disable sa Claude-SearchBot ang pag-index ng content mo para sa search optimization, na maaaring magpababa ng visibility at katumpakan ng site mo sa mga resulta ng paghahanap ng user. Sinusunod ng mga bot ng Anthropic ang robots.txt at iginagalang ang mga hakbang laban sa pag-iwas, kaya tinatapos ng CAPTCHA o challenge page ang pagbisita.
Sa pag-aaral namin noong 2026-11, 12.9% ng mga sikat na site na may robots.txt ang nag-block dito. →
Token sa robots.txt
Claude-SearchBot
Paano beripikahin ang totoong pagbisita
Inilalathala ng Anthropic ang mga IP address ng mga crawler nito sa claude.com/crawling/bots.json at sinasabing galing sa Anthropic ang crawler na nasa listahang iyon ang IP. Itugma ang source IP sa listahan sa halip na magtiwala sa user agent. Hindi inirerekomenda ng Anthropic ang pag-block ng IP para mag-opt out, dahil pinipigilan din nito ang crawler na basahin ang robots.txt.
Tingnan kung pinapapasok ito ng site mo →
Mga crawler ng Anthropic: ClaudeBot, Claude-SearchBot at Claude-User →