Anthropic краулерлері: ClaudeBot, Claude-SearchBot және Claude-User

Жарияланды

Қысқа жауап

Anthropic үш агентті іске қосады: ClaudeBot модельдерін оқытуға пайдаланылуы мүмкін мазмұнды жинайды, Claude-SearchBot Claude іздеу нәтижелерін жақсарту үшін краулинг жасайды, ал Claude-User Claude пайдаланушысының сұрағына қажет болғанда беттерді алады. Әрқайсысының өз robots.txt токені бар, және Anthropic үшеуі де robots.txt-ті сақтайтынын айтады. Тек ClaudeBot бұғаттау іздеуді немесе пайдаланушы сұрауларын тоқтатпайды.

Anthropic өз краулерлерін бір анықтама бетінде құжаттайды, және құрылымы басқа ЖИ жеткізушілеріне ұқсас: бір агент оқытуға, бір агент іздеуге және бір агент пайдаланушы атынан тікелей сұрауларға арналған. Claude беттеріңізді тауып, олардан дәйексөз келтіре алғанын қаласаңыз, соңғы екеуі ең маңызды.

Осы бетте
  1. ClaudeBot не істейді?
  2. Claude-SearchBot не істейді?
  3. Claude-User не істейді?
  4. Claude үшін robots.txt ережелерін қалай жазуға болады?
  5. Anthropic баптауы OpenAI мен Perplexity-мен салыстырғанда қандай?
  6. Anthropic-ті IP мекенжайы бойынша бұғаттау керек пе?
  7. Неге Claude бетімді бәрібір оқи алмауы мүмкін?

ClaudeBot не істейді?

ClaudeBot Anthropic-тің генеративтік ЖИ модельдерін оқытуға үлес қосуы мүмкін веб-мазмұнды жинайды. Anthropic бойынша оған тыйым салу сайтыңыздың болашақ мазмұнын оқыту деректер жиынтығынан шығару керектігін білдіреді.

Anthropic сондай-ақ IETF жобасына негізделген, машина оқитын «ЖИ оқытуына жоқ» сигналын сақтайтынын және robots.txt-те ClaudeBot агентін атайтын ережелер сол жалпы баптаудан басым болатынын айтады. Басқа оқыту краулерлері сияқты, оны бұғаттау — саясат таңдауы.

Claude-SearchBot не істейді?

Claude-SearchBot Claude-тағы іздеу нәтижелерінің релеванттылығы мен дәлдігін жақсарту үшін вебті краулинг жасайды. Anthropic оны бұғаттау мазмұныңыздың іздеу үшін индекстелуіне жол бермейтінін айтады, бұл пайдаланушылардың іздеу нәтижелеріндегі көрінуіңіз бен дәлдікті төмендетуі мүмкін.

Claude-дың іздеу функциялары беттеріңіз туралы ешкім сұрамай тұрып білгенін қаласаңыз, дәл осы агентті өткізу керек. Ол іздеу краулері болғандықтан, оған кез келген іздеу краулеріне пайдалы нәрселер пайдалы: robots.txt-те көрсетілген sitemap, таза ішкі сілтемелер және мазмұнын бірінші жауапта қайтаратын беттер.

Claude-User не істейді?

Claude-User Claude пайдаланушысы соны қажет ететін сұрақ қойғанда сайтқа кіреді, мысалы біреу URL бөліскенде немесе Claude-ден бірдеңе іздеуді сұрағанда. Anthropic оны бұғаттау пайдаланушы сұрауларына жауап ретінде беттерді алуға жол бермейтінін айтады, бұл пайдаланушы бағыттаған веб-іздеудегі көрінуіңізді азайтуы мүмкін.

Кейбір басқа жеткізушілерден айырмашылығына назар аударыңыз. Anthropic өз боттары robots.txt директиваларын сақтайтынын айтады және Claude-User агентін robots.txt арқылы бұғаттауды сипаттайды. Ал OpenAI мен Perplexity өздерінің пайдаланушы сұраған агенттері robots.txt-ті сақтамауы мүмкін екенін айтады.

Claude үшін robots.txt ережелерін қалай жазуға болады?

Әр агенттің өз токені бар, ал RFC 9309 бойынша краулерді атайтын топ сол краулер үшін * тобын алмастырады. Жиі таңдау — іздеу мен пайдаланушы сұрауларын өткізіп, оқытудан бас тарту:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic стандартты емес кеңейтім ретінде Crawl-delay директивасын да қолдайды, мысалы краулингті бұғаттаудың орнына баяулатқыңыз келсе, User-agent: ClaudeBot астында Crawl-delay: 1. Ережелер әр хосттың жоғарғы деңгейлі каталогындағы robots.txt файлында тұруы керек, сондықтан оларды қамтығыңыз келетін әр субдоменге қосыңыз.

Anthropic баптауы OpenAI мен Perplexity-мен салыстырғанда қандай?

Үш жеткізуші атаулары әртүрлі болғанымен бір үлгіні ұстанады, сондықтан ортақ robots.txt туралы ойлау оңай. Басты айырмашылық — әрқайсысы пайдаланушы сұрауы бойынша тікелей кірулер үшін robots.txt-ке қалай қарайтыны.

Үшеуіне бір robots.txt жазсаңыз, іздеу және пайдаланушы токендерін бір топқа, ал оқыту токендерін басқа топқа қойыңыз. Сонда саясат оқуға оңай болады және әр мақсат үшін қандай таңдау жасағаныңыз айқын көрінеді.

Anthropic-ті IP мекенжайы бойынша бұғаттау керек пе?

Anthropic мұны ұсынбайды. Оның құжаттамасында IP мекенжайларын бұғаттау дұрыс жұмыс істемеуі немесе бас тартуға тұрақты кепілдік бермеуі мүмкін делінген, себебі ол краулердің robots.txt файлыңызды оқуын да тоқтатады. Саясатыңызды көрсету үшін robots.txt пайдаланыңыз.

Anthropic краулерлерінің IP мекенжайларын claude.com/crawling/bots.json мекенжайында жариялайды. Бұл тізімді пайдаланудың пайдалы жолы бұғаттауға керісінше: файрволыңыз өзін Claude-SearchBot немесе Claude-User деп атайтын сұраудың шынымен Anthropic-тен келгенін растап, оны өткізсін.

Неге Claude бетімді бәрібір оқи алмауы мүмкін?

robots.txt рұқсат етсе де, файрвол немесе CDN Anthropic агенттеріне 403 немесе тексеру бетімен жауап бере алады. Anthropic өз боттары айналып өтуге қарсы технологияларды құрметтейтінін және CAPTCHA-ны айналып өтуге тырыспайтынын айтады, сондықтан тексеру беті кіруді жай ғана аяқтайды. Мәтіні тек JavaScript іске қосылғаннан кейін пайда болатын беттер де бос дерлік келуі мүмкін.

AISeeWhy бетіңізді браузермен қатар ClaudeBot, Claude-SearchBot және Claude-User ретінде сұрайды және әрқайсысы үшін robots.txt ережелеріңізді тексереді, сондықтан сіз жазған саясат серверіңіз іс жүзінде қолданатын саясат па, соны көре аласыз.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

ClaudeBot-ты бұғаттау сайтымды Claude жауаптарынан алып тастай ма?

Өз алдына жоқ. Іздеу үшін индекстеу мен пайдаланушы сұраған кірулер өз robots.txt токендері бар Claude-SearchBot пен Claude-User агенттерін пайдаланады.

Claude-User robots.txt-ті сақтай ма?

Anthropic өз боттары robots.txt-ті сақтайтынын айтады және онда Claude-User агентін бұғаттауды сипаттайды, нәтижесінде Claude пайдаланушы сұрақтары үшін беттеріңізді ала алмайды.

Anthropic краулерлері CAPTCHA шеше ме?

Жоқ. Anthropic өз боттары айналып өтуге қарсы технологияларды құрметтейтінін және CAPTCHA-ны айналып өтуге тырыспайтынын айтады.

ClaudeBot-ты бұғаттаудың орнына баяулатуға бола ма?

Иә. Anthropic стандартты емес кеңейтім ретінде Crawl-delay қолдайды, мысалы robots.txt-тегі ClaudeBot тобында Crawl-delay: 1.

Сұраудың шынымен Anthropic-тен келгенін қалай растауға болады?

Бастапқы IP-ді Anthropic claude.com/crawling/bots.json мекенжайында жариялайтын тізіммен салыстырыңыз. User agent-ті кез келген адам көшіре алады.

Дереккөздер

Басқа мақалалар