Сайт ЖИ краулерлерін бұғаттай ма, қалай тексеруге болады

Кез келген мекенжайды енгізіп, сайттың GPTBot, ClaudeBot, PerplexityBot және басқа ЖИ краулерлерін бұғаттайтынын тексеріңіз: robots.txt-те, файрволда немесе екеуінде де.

Тегін · Тіркелусіз · Нәтиже 30 секундта

Қай краулерлер бұғатталған

Оқыту, іздеу және пайдаланушы краулерлері бөлек көрсетіледі, өйткені GPTBot краулерін бұғаттау OAI-SearchBot краулерін бұғаттамайды, ал ClaudeBot краулерін бұғаттау Claude-SearchBot краулерін бұғаттамайды.

Шешуші жол

Әр краулер үшін robots.txt RFC 9309 ережелерімен оқылады: оның атауы көрсетілген топ немесе қосалқы нұсқа ретінде User-agent: *, және басым түсетін ереже.

Файрвол бас тартулары

Бет 14 краулер ретінде және қарапайым браузер ретінде сұралады. Бұғаттаулар мен тексеру беттері белгіленеді, жауап берген файрвол аталады.

Әр нәтижеге түзету

Әр нәтижеге енгізілетін өзгеріс беріледі. Тегін тексеру ұпайыңызды және бірінші нәтижені көрсетеді; толық есеп — $29, бір реттік төлем.

Қысқа жауап

Сайт ЖИ краулерлерін екі жерде бұғаттай алады: краулерлерден кірмеуді сұрайтын robots.txt-те және оларға шын мәнінде бас тартатын серверде немесе файрволда. robots.txt-тен әр краулердің токеніне арналған ережелерді, олар болмаса User-agent: * ережелерін табыңыз, сосын бетті краулер атынан жүктеп, браузермен салыстырыңыз. Браузер кеңейтімі robots.txt бөлігін 16 ЖИ краулері үшін бір шертумен орындайды.

Қолмен тексеру: 3 қадам

  1. Краулерді таңдаңыз

    Әр ЖИ компаниясы бөлек краулерлерді іске қосады. Оқыту: GPTBot, ClaudeBot. Іздеу: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Адамның сұрауымен: ChatGPT-User, Claude-User, Perplexity-User.

  2. Оған арналған robots.txt-ті оқыңыз

    https://example.com/robots.txt ашып, краулердің атауы көрсетілген топты табыңыз. Ондай топ болмаса, User-agent: * тобы қолданылады; екеуі де болмаса, бәріне рұқсат.

  3. Бетті краулер ретінде жүктеңіз

    Бетті краулердің user agent атымен сұрап, статусы мен көлемін браузердікімен салыстырыңыз. 403, тексеру беті немесе әлдеқайда кіші 200 файрвол бас тартатынын білдіреді.

Жиі қойылатын сұрақтар

robots.txt жоқ сайт ЖИ краулерлеріне ашық па?

Иә, robots.txt тұрғысынан. robots.txt үшін 404 ережелер жоқ дегенді білдіреді, сондықтан кез келген краулер кез келген бетті жүктей алады. Бірақ файрвол бәрібір краулерлерді бұғаттай алады.

Кеңейтім файрвол бұғаттауларын көрсете ме?

Жоқ. Ол robots.txt-ті браузеріңізден оқиды, бұл сайттың краулерлерден не сұрайтынын көрсетеді. Файрвол мен бот қорғанысының бұғаттауларын көру үшін краулер атынан жіберілген сұрау керек, мұны aiseewhy.com сайтындағы толық тексеру жасайды.

Өзімдікі емес сайтты тексере аламын ба?

Иә. robots.txt жария, ал кеңейтім сайт жариялайтын robots.txt және llms.txt файлдарын ғана оқиды, яғни кез келген краулер оқитын файлдарды.

Толық нұсқаулықты оқу

Өз сайтыңызды өзгерістен кейін тексеріп жатсаңыз да, басқа біреудің сайтына сенім артпас бұрын қарап жатсаңыз да, «бұл сайт ЖИ краулерлерін бұғаттай ма?» деген сұрақтың нақты жауабы бар. Ол қай краулерді меңзеп тұрғаныңызға байланысты, себебі ЖИ компаниялары оқыту, іздеу және тікелей кірулер үшін бөлек краулерлер қолданады, ал сайт әрқайсысына әртүрлі қарауы мүмкін. Бұл нұсқаулықта ең жылдамынан ең толығына дейін үш тексеру көрсетілген.

Сайт ЖИ краулерлерін қай жерде бұғаттай алады?

Үш қабат бар, және бетті пайдалану үшін краулер олардың бәрінен өтуі керек.

  • robots.txt: тәртіпті краулерлер бірдеңе жүктемес бұрын оқитын ережелердің жария файлы. Бұл құлып емес, өтініш қана.
  • Сервер, CDN немесе файрвол: шын мәнінде не қайтарылатынын осы шешеді. Бот қорғанысының ережесі robots.txt рұқсат етсе де, краулерге 403, 429 немесе тексеру бетімен жауап беруі мүмкін.
  • Беттің өзі: негізгі мәтін JavaScript орындалғаннан кейін ғана пайда болса, бастапқы HTML-ді оқитын краулер ешнәрсе бұғаттамаса да, бос дерлік бет алады.

Жылдам тексерулердің көбі тек бірінші қабатқа қарайды. Қалған екеуін есте ұстасаңыз, бұл жақсы бастама.

Бір ЖИ краулері үшін robots.txt-ті қалай оқу керек?

Браузерде https://example.com/robots.txt ашып, краулерге қатысты топты табыңыз. Топ бір немесе бірнеше User-agent жолынан басталады. Краулер өз токені аталған топты пайдаланады, мысалы GPTBot; сәйкестендіру регистрге тәуелсіз. Ешбір топ оны атамаса, ол User-agent: * тобын пайдаланады. Екеуі де болмаса, бәріне рұқсат етілген.

Топ ішінде ең ұзын сәйкес жолы бар ереже жеңеді, ал Allow пен Disallow ұзындығы бірдей болса, Allow жеңеді. Сондықтан төмендегі файл GPTBot үшін бүкіл сайтты жабады, бірақ қалған барлық краулерді өткізеді:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Файлдың қалай жауап беретініне де қараңыз. RFC 9309 бойынша 404 ережелер жоқ дегенді білдіреді, яғни бәріне рұқсат етілген. Сервер қатесі (5xx) немесе мүлде жауаптың болмауы краулер бүкіл сайтты тыйым салынған деп санауы керек дегенді білдіреді. HTML бетін қайтаратын robots.txt мекенжайы — жиі қате: краулерлер онда жарамды ережелер таппайды.

Барлық ЖИ краулерін бірден қалай тексеруге болады?

Сізге бірден көп краулер маңызды болғанда, файлды қолмен оқу баяу болады. Әр ЖИ компаниясында әртүрлі міндеті бар бірнеше краулер бар:

  • Оқыту краулерлері модельдерді оқытуға контент жинайды: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, сондай-ақ тек robots.txt-те кездесетін Google-Extended және Applebot-Extended токендері.
  • Іздеу краулерлері ЖИ жауаптары сілтеме бере алуы үшін беттерді индекстейді: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Пайдаланушы краулерлері адам ассистенттен сұрағанда бетті жүктейді: ChatGPT-User, Claude-User, Perplexity-User.

Chrome-ға арналған тегін «ЖИ краулерлерін тексеру» кеңейтімі мұны бір шертумен жасайды. Кез келген бетті ашып, белгішені басыңыз, сонда ол сайттың robots.txt файлын оқып, 16 краулердің әрқайсысы үшін бетке рұқсат бар-жоғын және оны қай жол шешетінін көрсетеді. Сондай-ақ Content-Signal баптауларын, сайтта llms.txt бар-жоғын және robots.txt-те көрсетілген сайт карталарын көрсетеді. Ол браузеріңізде жұмыс істейді, тіркелгіні қажет етпейді және өзіңіз басқан сайтты ғана оқиды.

Chrome болмаса, aiseewhy.com сайтындағы тегін robots.txt тексерушісі қойылған URL үшін дәл сондай жауап береді.

Файрвол оларды өткізетінін қалай тексеруге болады?

robots.txt сайттың не сұрайтынын көрсетеді. Краулердің шын мәнінде не алатынын көру үшін бетті екі рет сұраңыз, бір рет браузер ретінде, бір рет краулердің user agent-імен, сосын статус коды мен жауап көлемін салыстырыңыз:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Браузер 200 алып, ал краулер 403, 429 немесе 503 не әлдеқайда кіші бет алса, файрвол немесе бот қорғанысы краулерге басқаша қарайды. Кез келген сырттан тексерудің бір шектеуі бар: сұрау ЖИ компаниясының емес, сіздің желіңізден жіберіледі. Краулерлерге олардың жарияланған IP мекенжайлары бойынша сенетін файрвол нағыз краулерге басқаша қарауы мүмкін, сондықтан соңғы сөз сервер журналдарыңызда.

aiseewhy.com сайтындағы толық тексеру бетті нағыз браузермен қатар барлық 16 краулер атынан жүктейді, краулерді бұғаттайтын файрволды немесе ережені атайды және әрқайсысы алған мәтінді салыстырады.

Қандай нәтижеге ұмтылу керек?

Бұл не қалайтыныңызға байланысты. ChatGPT іздеуінде, Claude және Perplexity-де сілтеме алғыңыз келсе, іздеу және пайдаланушы краулерлеріне robots.txt-те рұқсат берілуі және олар серверден нағыз бетті алуы керек. Контентіңіздің оқытуға пайдаланылғанын қаламасаңыз, тек оқыту токендерін бұғаттаңыз. Бұл — бөлек шешімдер: GPTBot бұғаттау OAI-SearchBot краулерін бұғаттамайды, ал ClaudeBot бұғаттау Claude-SearchBot краулерін бұғаттамайды.

Көп сайт оларды шатастырады. Ең танымал 1000 доменге арналған 2026 жылғы қарашадағы есебімізде оқыту краулерін бұғаттайтын сайттардың 63%-ы кемінде бір ЖИ іздеу немесе пайдаланушы краулерін де бұғаттайды, сондықтан олардың беттері сол ЖИ жауаптарына енбейді.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Дереккөздер

Басқа мақалалар

Жарияланды