Claude-User
Claude-User Claude пайдаланушысы соны қажет ететін сұрақ қойғанда, мысалы, бөлісілген сілтемені оқу үшін веб-сайтқа кіреді. Anthropic-тің айтуынша, оның боттары robots.txt-ті сақтайды, ал Claude-User-ді бұғаттау пайдаланушы сұрауларына жауап ретінде мазмұныңыздың алынуына жол бермейді, бұл пайдаланушы бағыттайтын веб-іздеуде көрінуіңізді төмендетуі мүмкін.
Оны қалай өткізуге болады
User-agent: Claude-User
Allow: / Оны қалай бұғаттауға болады
User-agent: Claude-User
Disallow: / Ол не істейді
Anthropic Claude-User-ді Claude пайдаланушыларына қолдау көрсету үшін пайдаланады: біреу Claude-қа сұрақ қойғанда, ол жауап беру үшін веб-сайтқа кіруі мүмкін. Бұл — жалпы краулинг емес, пайдаланушы атынан жасалатын жеке жүктеулер.
Пайдаланушы сұраған жүктеу құралдары robots.txt-ті ұстанбауы мүмкін дейтін OpenAI мен Perplexity-ден айырмашылығы, Anthropic оның боттары robots.txt директиваларын сақтайтынын мәлімдейді және Claude-User-ді сол жерде бұғаттауды сипаттайды. Бұл пайдаланушылар беттеріңіз туралы сұрағанда Claude-тың оларды алуына жол бермейді.
2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 13.1% бөлігі оны бұғаттаған. →
robots.txt токені
Claude-User
Нақты кірулерді қалай тексеруге болады
Anthropic өз краулерлерінің IP мекенжайларын claude.com/crawling/bots.json мекенжайында жариялайды және IP мекенжайы сол тізімде бар краулер Anthropic-тен келетінін айтады. User agent-ке сенудің орнына бастапқы IP-ді тізіммен салыстырыңыз. Anthropic бас тарту үшін IP бұғаттауды пайдаланбауға кеңес береді, себебі ол краулерге robots.txt-ті оқуға да мүмкіндік бермейді.
Сайтыңыз оны өткізетінін тексеріңіз →
Anthropic краулерлері: ClaudeBot, Claude-SearchBot және Claude-User →