Claude-SearchBot

Anthropic · ЖИ іздеу

Claude-SearchBot Claude-тағы іздеу нәтижелерінің өзектілігі мен дәлдігін жақсарту үшін интернетті краулингтен өткізеді. Anthropic-тің айтуынша, оны бұғаттау мазмұныңыздың іздеу үшін индекстелуіне жол бермейді, бұл пайдаланушылардың іздеу нәтижелерінде көрінуіңіз бен дәлдікті төмендетуі мүмкін. Claude беттеріңізді тауып, оларға сілтеме бергенін қаласаңыз, оған рұқсат беріңіз.

Оны қалай өткізуге болады

User-agent: Claude-SearchBot
Allow: /

Оны қалай бұғаттауға болады

User-agent: Claude-SearchBot
Disallow: /

Ол не істейді

Anthropic Claude-SearchBot-ты интернетті шолу және Claude пайдаланушылары үшін іздеу нәтижелерінің сапасын жақсарту үшін пайдаланады. Ол оқыту краулері ClaudeBot-тан бөлек, сондықтан оқытудан бас тартып, іздеуге рұқсат беруге болады.

Anthropic-тің айтуынша, Claude-SearchBot-ты өшіру мазмұныңыздың іздеуді оңтайландыру үшін индекстелуіне жол бермейді, бұл сайтыңыздың пайдаланушылардың іздеу нәтижелерінде көрінуі мен дәлдігін төмендетуі мүмкін. Anthropic боттары robots.txt-ті сақтайды және айналып өтуге қарсы шараларды құрметтейді, сондықтан CAPTCHA немесе тексеру беті кіруді аяқтайды.

2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 12.9% бөлігі оны бұғаттаған. →

robots.txt токені

Claude-SearchBot

Нақты кірулерді қалай тексеруге болады

Anthropic өз краулерлерінің IP мекенжайларын claude.com/crawling/bots.json мекенжайында жариялайды және IP мекенжайы сол тізімде бар краулер Anthropic-тен келетінін айтады. User agent-ке сенудің орнына бастапқы IP-ді тізіммен салыстырыңыз. Anthropic бас тарту үшін IP бұғаттауды пайдаланбауға кеңес береді, себебі ол краулерге robots.txt-ті оқуға да мүмкіндік бермейді.

Сайтыңыз оны өткізетінін тексеріңіз →

Anthropic краулерлері: ClaudeBot, Claude-SearchBot және Claude-User →