OAI-SearchBot бұғатталған
Осы краулердің user agent атымен жіберілген сұрау қабылданбады: ол 4xx немесе 5xx статусын, Cloudflare cf-mitigated header-ін немесе тексеру бетін алды, ал қалыпты браузер сұрауы бетті алды. User agent-ке сәйкес келетін файрвол, CDN немесе бот ережесін тауып, краулерді өткізіңіз.
Бұл нені білдіреді
OAI-SearchBot user agent атымен жіберілген сұрау 403 статусын немесе тексеру бетін алды, ал браузер бетті алды. Тексеру расталмаған IP-ден жасалды: бұл файрволыңыз осы user agent-ке қалай қарайтынын көрсетеді; расталған IP мекенжайларынан келетін нақты краулерге басқаша қарауы мүмкін.
Бұл ЖИ іздеу үшін неге маңызды
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot және Perplexity-User сияқты іздеу және пайдаланушы краулерлері жауаптар мен олардың астындағы сілтемелерді құру үшін беттерді алады. Егер олар 403 немесе тексеру бетін алса, бет қаншалықты жақсы болса да, одан дәйексөз келтіру немесе оған сілтеме беру мүмкін емес. Сондықтан AISeeWhy бұл краулерлердің бұғатталуын P1 деп бағалайды.
Оқыту краулерлері (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 деп бағаланады: оларды бұғаттау — қате емес, саясат таңдауы. Сынақ сұрауы расталмаған IP-ден жіберіледі, сондықтан ол ережелеріңіздің user agent-ке қалай қарайтынын көрсетеді; жарияланған IP ауқымдарынан келетін нақты краулерге басқаша қарауы мүмкін.
Қалай түзетуге болады
- Қай краулер бұғатталғанын, ол қандай статус алғанын және аудит анықтаған WAF-ты көру үшін мәселені ашыңыз. AISeeWhy есебі дәлелдерді және қоюға дайын түзетуді көрсетеді; нәтижені растау үшін кейін «Қайта тексеру» батырмасын басыңыз.
- Cloudflare-де бұғатталған сұрауды Security → Events бөлімінен қараңыз, содан кейін краулерге сәйкес келетін WAF custom rule қосыңыз (verified bots немесе оның user agent токені бойынша), әрекеті — қалған custom rules, Super Bot Fight Mode және rate limiting үшін Skip. AI Crawl Control бөлімінде краулерге Allow мәнін орнатыңыз.
- Vercel, Akamai, Imperva, Sucuri немесе AWS WAF жүйесінде іске қосылған bot management немесе managed rule ережесін тауып, краулер үшін ерекшелік қосыңыз; оны тек user agent бойынша емес, жеткізушінің жарияланған IP ауқымдары немесе reverse DNS арқылы растаған дұрыс.
- nginx немесе Apache конфигурациясынан краулерді атайтын
deny,return 403немесеRewriteCond %{HTTP_USER_AGENT}жолдарын іздеңіз, ал WordPress-те «bad bots» бұғаттайтын қауіпсіздік плагиндерін тексеріңіз. - Әр краулер бойынша жеке шешім қабылдаңыз: беттерге дәйексөз ретінде сілтеме берілуі үшін іздеу және пайдаланушы краулерлерін өткізу керек, ал саясатыңыз сондай болса, оқыту краулерлері бұғатталған күйінде қала алады.
Мысал
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Түзетуді қалай растауға болады
Өзгерістен кейін есептегі "Қайта тексеру" батырмасын басыңыз: ол не түзетілгенін және баға қалай өзгергенін көрсетеді.
Байланысты нұсқаулықтар
- Cloudflare AI Crawl Control есебін қалай оқып, қай ЖИ краулерлері өтетінін көруге болады
- Cloudflare ЖИ краулерлерін бұғаттап тұр ма? Қалай анықтап, түзетуге болады
- ChatGPT сайтымды көре ме? Қалай тексеруге болады
- Бетті жарияламас бұрын жасалатын 12 AEO тексеруі (2027)
- SEO 2.0: ЖИ іздеуі мен ассистенттер SEO-ны қалай өзгертті, қабат бойынша