OAI-SearchBot ռոբոտն արգելափակված է
Այս ռոբոտի user agent-ով ուղարկված հարցումը մերժվել է. այն ստացել է 4xx կամ 5xx կարգավիճակ, Cloudflare-ի cf-mitigated վերնագիր կամ ստուգման (challenge) էջ, մինչդեռ սովորական բրաուզերի հարցումը ստացել է էջը։ Գտեք ֆայրվոլի, CDN-ի կամ ռոբոտների կանոնը, որը համընկնում է user agent-ի հետ, և թույլ տվեք ռոբոտին անցնել։
Ինչ է դա նշանակում
OAI-SearchBot user agent-ով հարցումը ստացել է 403 կարգավիճակ կամ ստուգման (challenge) էջ, մինչդեռ բրաուզերը ստացել է էջը։ Ստուգված է չհաստատված IP-ից. սա ցույց է տալիս, թե ինչպես է ձեր ֆայրվոլը վերաբերվում այս user agent-ին. իրական ռոբոտին իր հաստատված IP-ներից կարող են այլ կերպ վերաբերվել։
Ինչու է սա կարևոր AI որոնման համար
Որոնողական և օգտատիրոջ ռոբոտները, ինչպիսիք են OAI-SearchBot-ը, ChatGPT-User-ը, Claude-SearchBot-ը, Claude-User-ը, PerplexityBot-ը և Perplexity-User-ը, բեռնում են էջերը՝ պատասխաններ և դրանց տակի հղումները կազմելու համար։ Եթե նրանք ստանում են 403 կամ ստուգման (challenge) էջ, էջը հնարավոր չէ մեջբերել կամ հղել, որքան էլ այն լավը լինի։ Ահա թե ինչու AISeeWhy-ն այս ռոբոտների արգելափակումը գնահատում է P1։
Ուսուցման ռոբոտները (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) գնահատվում են P3. դրանց արգելափակումը քաղաքականության ընտրություն է, ոչ թե սխալ։ Ստուգումն աշխատում է չհաստատված IP-ից, ուստի ցույց է տալիս, թե ինչպես են ձեր կանոնները վերաբերվում user agent-ին. իրական ռոբոտին, որը գալիս է իր հրապարակված IP տիրույթներից, կարող են այլ կերպ վերաբերվել։
Ինչպես ուղղել
- Բացեք բացահայտումը՝ տեսնելու, թե որ ռոբոտն է արգելափակվել, ինչ կարգավիճակ է ստացել և որ WAF-ն է հայտնաբերել աուդիտը։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
- Cloudflare-ում ստուգեք Security → Events բաժինը արգելափակված հարցման համար, ապա ավելացրեք WAF-ի հատուկ կանոն, որը համընկնում է ռոբոտի հետ (verified bots կամ նրա user agent նշանը)՝ Skip գործողությամբ մնացած հատուկ կանոնների, Super Bot Fight Mode-ի և rate limiting-ի համար։ AI Crawl Control-ում ռոբոտի համար ընտրեք Allow։
- Vercel-ում, Akamai-ում, Imperva-ում, Sucuri-ում կամ AWS WAF-ում գտեք ռոբոտների կառավարման կամ managed կանոնը, որն աշխատել է, և ավելացրեք բացառություն ռոբոտի համար՝ ցանկալի է հաստատված ընկերության հրապարակած IP տիրույթներով կամ հակադարձ DNS-ով, ոչ թե միայն user agent-ով։
- nginx-ում կամ Apache-ում կոնֆիգուրացիայում փնտրեք
deny,return 403կամRewriteCond %{HTTP_USER_AGENT}տողեր, որոնք անվանում են ռոբոտին, իսկ WordPress-ում ստուգեք անվտանգության պլագինները, որոնք արգելափակում են «վատ ռոբոտներին»։ - Որոշեք յուրաքանչյուր ռոբոտի համար առանձին. որոնողական և օգտատիրոջ ռոբոտներին թույլատրելն է, որ ապահովում է էջերի մեջբերումը, իսկ ուսուցման ռոբոտները կարող են արգելափակված մնալ, եթե դա է ձեր քաղաքականությունը։
Օրինակ
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Ինչպես համոզվել, որ ուղղումն աշխատել է
Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։
Առնչվող ուղեցույցներ
- Ինչպես կարդալ Cloudflare-ի AI Crawl Control հաշվետվությունը և տեսնել, թե որ AI ռոբոտներն են ներս մտնում
- Արդյո՞ք Cloudflare-ն արգելափակում է AI ռոբոտներին։ Ինչպես պարզել և ուղղել
- Տեսնո՞ւմ է արդյոք ChatGPT-ն իմ կայքը։ Ինչպես ստուգել
- 12 AEO ստուգում, որոնք պետք է անել էջը հրապարակելուց առաջ (2027)
- SEO 2.0. ինչպես AI որոնումն ու օգնականները փոխեցին SEO-ն, շերտ առ շերտ