Claude сайтымды көре ме? Қалай тексеруге болады

Жарияланды · Жаңартылды

Қысқа жауап

Claude бетіңізді robots.txt Anthropic агенттеріне рұқсат етсе және серверіңіз оларға браузер алатын HTML-ді жіберсе ғана оқи алады. robots.txt Claude-SearchBot немесе Claude-User агентіне тыйым салмайтынын, файрвол оларға 403 немесе тексеру бетімен жауап бермейтінін және негізгі мәтін бастапқы HTML-де бар екенін тексеріңіз. Содан кейін Claude-тың өзін сынаңыз: веб-іздеуді қосып, URL-ді чатқа қойыңыз да, сатып алушыларыңыз қоятын сұрақтарды қойыңыз.

Claude-тан өніміңіз туралы сұрасаңыз да, ол басқа сайттарға сілтеме берсе, алғашқы сұрақ — ол сайтыңызға мүлде жете ала ма. Бұл сұрақтың тексерілетін жауабы бар. Anthropic өз агенттерінің robots.txt токендерін және олар келетін IP мекенжайларын жариялайды, ал Claude пайдаланған дереккөздерін көрсетеді. Сондықтан әр қадамды ретімен тексеруге болады: robots.txt не дейді, сервер не жібереді, журналдар нені тіркейді және бетті өзіңіз бергенде Claude онымен не істейді.

Осы бетте
  1. 5 минуттық тексеру, қадам бойынша
  2. Claude веб-сайттарды қалай оқиды?
  3. Claude сайтыма кіре ала ма, robots.txt арқылы қалай тексеремін?
  4. Claude агенттері серверімнен не алатынын қалай тексеремін?
  5. Claude сайтыма шынымен кіре ме, қалай көремін?
  6. Claude-тың өзін бетіммен қалай сынаймын?
  7. Claude бетімді оқи алса да, оған сілтеме бермесе ше?
  8. AISeeWhy мұны қалай тексереді?

5 минуттық тексеру, қадам бойынша

  1. robots.txt файлыңызды ашып, Claude-SearchBot, Claude-User немесе User-agent: * үшін ешбір топ бетке тыйым салмайтынына көз жеткізіңіз. ClaudeBot тек оқыту үшін маңызды.
  2. AISeeWhy-да беттің тегін тексеруін іске қосыңыз немесе Claude-User user agent-імен бір сұрау жіберіңіз: ол 200 мәртебесін және браузер алатын мәтінді алуы керек.
  3. Access log-ыңыздан Claude-SearchBot пен Claude-User іздеп, олар алған мәртебе кодтарын қараңыз.
  4. Веб-іздеу қосулы Claude-қа URL-іңізді қойып, бетті қысқаша мазмұндауды сұраңыз, содан кейін сатып алушыларыңыз қоятын сұрақты қойып, сілтемелерді тексеріңіз.

1-қадам немесе 2-қадам өтпесе, алдымен қолжетімділікті түзетіңіз; төмендегі бөлімдер қалай істеу керегін көрсетеді. Claude бетті оқыса да, оған сілтеме бермесе, мазмұнмен жұмыс істеңіз.

Claude веб-сайттарды қалай оқиды?

Claude интернетке екі жолмен шығады. Веб-іздеу кезінде ол сұраққа өзекті ақпарат керек болғанда іздейді, бірнеше дереккөзді қарап шығады және сілтемелері бар жауап береді. Anthropic анықтама орталығының айтуынша, веб-іздеуді пайдаланатын әр жауапта сілтемелер болады. Біреу Claude-қа нақты сілтеме берсе, ол сол бетті тікелей аша алады.

Anthropic бұл үшін үш агентті құжаттайды, әрқайсысының өз robots.txt токені бар. Claude-SearchBot Claude іздеу нәтижелерін жақсарту үшін беттерді жинайды, Claude-User пайдаланушы сұрағына қажет болғанда беттерді алады, ал ClaudeBot оқытуға пайдаланылуы мүмкін мазмұнды жинайды. Әрқайсысы не істейтінін Anthropic-тің үш краулері туралы жеке нұсқаулығымыз толық сипаттайды. Оқылу және сілтеме алу үшін алғашқы екеуін тексеру керек.

Бір шынайы шектеу бар: Anthropic Claude веб-іздеуі қай іздеу индексін пайдаланатынын және дереккөздерді қалай таңдайтынын құжаттамайды. Оның айтуынша, Claude-SearchBot агентін бұғаттау іздеу нәтижелеріндегі көрінуіңізді азайтуы мүмкін, ал Claude-User агентін бұғаттау пайдаланушы сұрақтары үшін бетті алуға мүмкіндік бермейді. Екеуіне рұқсат беру сілтемені мүмкін етеді, бірақ оған кепілдік бермейді.

Claude сайтыма кіре ала ма, robots.txt арқылы қалай тексеремін?

https://yourdomain.com/robots.txt ашып, Claude-SearchBot немесе Claude-User аталған топтарды іздеңіз. Екеуі де аталмаса, екеуі де User-agent: * тобын орындайды. RFC 9309 бойынша токендерді салыстыру регистрге тәуелді емес, ал қолданылатын топтағы Disallow: / бүкіл сайтты сол агент үшін жабады.

Жауаптың өзін де тексеріңіз. Сервер қатесін қайтаратын robots.txt краулерлерге бәріне тыйым салынған деп есептеуді айтады. 404 ережелер жоқ дегенді білдіреді. Екі пәрмен күйді және файлдағы барлық топты көрсетеді:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic ережелер әр субдоменнің жоғарғы деңгейіндегі robots.txt-те болуы керек дейді, сондықтан blog.example.com үшін жеке файл қажет. Мұндай бұғаттаулар сирек емес. Ең танымал 1000 доменді зерттеуімізде robots.txt қайтарған 518 сайттың 67-сі (12,9%) басты бетке Claude-SearchBot үшін, 68-і (13,1%) Claude-User үшін тыйым салған, ал оқыту краулері ClaudeBot үшін бұны 110 сайт (21,2%) жасаған.

Claude агенттері серверімнен не алатынын қалай тексеремін?

robots.txt — қолжетімділікті басқару емес, өтініш қана. Файрвол, CDN немесе бот қорғанысы Anthropic агенттеріне 403, 429 немесе тексеру бетімен жауап беруі мүмкін, ал сіздің браузеріңіз бетті қалыпты көреді. Anthropic оның боттары CAPTCHA-ны айналып өтуге тырыспайтынын айтады, сондықтан тексеру беті сапарды аяқтайды.

Бір URL-ді браузердің user agent-імен және Anthropic-тің әр токенімен сұрап, күй мен өлшемді салыстырыңыз:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropic анықтама беті токендерді атайды, бірақ толық user agent жолдарын жарияламайды, сондықтан бұлар Anthropic-тің нақты жолдары емес, тест жолдары. Олар атауды тексеретін ережелердің сұрауды қалай өңдейтінін көрсетеді. Тек Claude жолдарына келген 403, 429 немесе 503, не браузерге қарағанда әлдеқайда кіші 200 жауабы файрволға меңзейді.

Тестіңіз өз IP мекенжайыңыздан жіберіледі. Anthropic claude.com/crawling/bots.json тізіміндегі мекенжайлардан келген сұраулар Anthropic-тен екенін айтады. Егер файрволыңыз расталған краулерлерді IP бойынша өткізсе, нақты агенттер өтіп, тестіңіз бұғатталуы мүмкін, керісінше де болуы мүмкін. Тізімді Anthropic-ті бұғаттау үшін емес, рұқсат беру үшін пайдаланыңыз: Anthropic IP бойынша бұғаттауға кеңес бермейді, өйткені бұл оның боттарына robots.txt файлыңызды оқуға да кедергі келтіреді.

Claude сайтыма шынымен кіре ме, қалай көремін?

Бұған кіру журналдары тікелей жауап береді. Олардан үш токенді іздеңіз, содан кейін бастапқы мекенжайлар Anthropic жариялаған ауқымдарға кіре ме, тексеріңіз, өйткені user agent атауын кез келген адам көшіре алады:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Бірінші пәрмен кең таралған combined журнал пішімін болжайды, онда 1-өріс клиент мекенжайы, ал 9-өріс күй коды. Anthropic агенттерінің жанындағы көп 403 немесе 429 коды файрвол мәселесін растайды. Claude-SearchBot мүлде келмесе, бұл оның әлі ол беттерді жинамағанын немесе оны бір нәрсе ертерек тоқтататынын ғана білдіреді.

Claude-тың өзін бетіммен қалай сынаймын?

Чат ашып, беттеріңіздің бірінің URL-ін «Осы бетті қысқаша баянда» сияқты өтінішпен қойыңыз. Anthropic анықтама орталығының айтуынша, веб-іздеу қосулы болса, Claude сіз берген сілтемелерді аша алады. Веб-іздеу өшірулі болса, оны + мәзірінен қосыңыз; Anthropic-тің жаңа Claude интерфейсінде қосқыш жоқ және Claude пайдалы болғанда өзі іздейді. Team және Enterprise тарифтерінде алдымен иесі ұйым үшін веб-іздеуді қосуы керек. Браузер бетіңізді ашса, ал Claude аша алмаса, файрвол тестіне оралыңыз.

Содан кейін сайтыңызды атамай, сатып алушыларыңыз қоятын сұрақтарды қойып, сілтеме берілген дереккөздерді ашыңыз. Anthropic Claude жергілікті нәтижелер үшін IP мекенжайыңыздан анықталған орынды пайдалануы мүмкін екенін айтады, сондықтан жауаптар орынға және іске қосуға қарай өзгеруі мүмкін.

Әзірлеушілер мұны Claude API арқылы қайталай алады. Веб-іздеу құралы allowed_domains тізімін қабылдайды, сондықтан доменіңізбен шектелген сұрау Claude іздеуі сұрақ бойынша беттеріңіздің бірін қайтара ма, соны көрсетеді:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Бос іздеу нәтижелері Claude іздеуі бұл сұрақ бойынша сол доменнен ештеңе таппағанын білдіреді. Anthropic API арқылы веб-іздеу үшін токендерден бөлек ақы алады. API-дің web fetch құралы бетті неге оқи алмағанын да хабарлайды: url_not_allowed robots.txt сияқты бұғаттауларды қамтиды, ал url_not_accessible HTTP қатесін білдіреді. API жауаптары Claude қолданбалары көрсететіннен өзгеше болуы мүмкін.

Claude бетімді оқи алса да, оған сілтеме бермесе ше?

Алдымен қажетті мәтін сервер жіберетін HTML-де бар екеніне көз жеткізіңіз. Anthropic API құжаттамасында оның web fetch құралы JavaScript арқылы көрсетілетін сайттарды қолдамайтыны айтылған, ал Anthropic өз краулерлері скрипттерді орындайды деп айтпайды. Бетті curl арқылы алып, нәтижеден негізгі мазмұндағы бір сөйлемді іздеңіз. Ол жоқ болса, серверлік рендеринг немесе пререндеринг мұны Claude үшін де, басқа ЖИ краулерлерінің көбі үшін де түзетеді.

Одан кейін бәрін беттің өзі шешеді. Беттің негізгі сұрағына жауапты алғашқы сөйлемдерге қойыңыз, адамдар қоятын сұрақтарға сәйкес тақырыптарды пайдаланыңыз, баспагерді атаңыз және күндерді көрсетіңіз. Содан кейін бетіңізді Claude дәл сол сұрақ бойынша сілтеме беретін бетпен салыстырыңыз: сілтеме берілген бет көбіне дәл сол сұраққа тікелей жауап береді.

AISeeWhy мұны қалай тексереді?

Тегін AISeeWhy тексеруі бетіңізді нақты браузермен қатар Claude-SearchBot, Claude-User, ClaudeBot және басқа ЖИ және іздеу краулерлері ретінде сұрайды, әрқайсысына robots.txt файлыңызды қолданады, тексеру беттерін таниды және JavaScript-сіз қанша мәтін келетінін көрсетеді. Сынақ кезеңі мен ақылы тарифтердегі ЖИ-дегі көрінім тексеруі сұрақтарыңызды сіздің өз API кілтіңізбен веб-іздеуі қосулы Claude арқылы қояды және брендіңіз немесе доменіңіз аталды ма, дереккөз ретінде көрсетілді ме, соны көрсетеді.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Claude сайтымды көре ме, соны тегін тексере аламын ба?

Иә. robots.txt файлыңыз, curl сұрауы, сервер журналыңыз және Claude-тағы сұрақ тегін. AISeeWhy-дің тегін тексеруі аккаунтсыз, күніне бір бет үшін Anthropic агенттерін және тағы 13 краулерді тексереді.

Сілтемені қойғанда Claude неге сайтымды аша алмайды?

Әдеттегі себептер: Anthropic агенттеріне 403 немесе тексеру бетімен жауап беретін файрвол не бот қорғанысы, Claude-User агентіне тыйым салатын robots.txt ережесі немесе мәтіні тек JavaScript іске қосылғаннан кейін пайда болатын бет. URL-ді curl арқылы браузер ретінде және Claude токендерімен тексеріп, журналдардан бұғатталған сұрауларды қараңыз.

Anthropic тестке жарайтын user agent жолын жариялай ма?

Anthropic краулерлер туралы анықтама беті ClaudeBot, Claude-SearchBot және Claude-User токендерін тізеді, бірақ толық user agent жолдарын бермейді. Anthropic-тің нақты трафигін еліктеушілерден ажырату үшін бастапқы IP-ді claude.com/crawling/bots.json тізімімен салыстырыңыз.

robots.txt өзгерісі Claude-қа қанша уақытта жетеді?

Anthropic мерзімін айтпайды. RFC 9309 краулерлер кэштегі robots.txt-ті 24 сағаттан артық пайдаланбауы керек дейді, сондықтан нәтижені журналдардан немесе Claude жауаптарынан бағаламас бұрын кемінде бір күн күтіңіз.

Claude API Claude қолданбасымен бірдей жауап бере ме?

Міндетті емес. Қолданба шамамен орныңызды және өз баптауларын пайдалануы мүмкін, ал API сұрауы сіз жіберген құралдар мен параметрлерді пайдаланады. API нәтижелерін әр пайдаланушы көретіннің көшірмесі емес, қайталанатын тест ретінде қарастырыңыз.

Claude брендімді атай ма, қалай білемін?

Веб-іздеуі қосулы Claude-қа сатып алушыларыңыз қоятын сұрақтарды қойып, ол сайтыңызды атай ма не оған сілтеме бере ме және оның орнына қай бәсекелестер шығатынын жазыңыз. Жауаптар өзгеретіндіктен, әр сұрақты бірнеше апта бойы қайталаңыз. AISeeWhy-дің ЖИ-дегі көрінім тексеруі мұны сіздің кілтіңізбен Claude API арқылы апта сайын төрт бәсекелеске дейін қатар жасайды.

Дереккөздер

Басқа мақалалар