OAI-SearchBot ռոբոտն արգելափակված է

Կարճ պատասխան

Այս ռոբոտի user agent-ով ուղարկված հարցումը մերժվել է. այն ստացել է 4xx կամ 5xx կարգավիճակ, Cloudflare-ի cf-mitigated վերնագիր կամ ստուգման (challenge) էջ, մինչդեռ սովորական բրաուզերի հարցումը ստացել է էջը։ Գտեք ֆայրվոլի, CDN-ի կամ ռոբոտների կանոնը, որը համընկնում է user agent-ի հետ, և թույլ տվեք ռոբոտին անցնել։

access.blocked · Առաջնահերթություն: P1–P3՝ ըստ ռոբոտի տեսակի

Ինչ է դա նշանակում

OAI-SearchBot user agent-ով հարցումը ստացել է 403 կարգավիճակ կամ ստուգման (challenge) էջ, մինչդեռ բրաուզերը ստացել է էջը։ Ստուգված է չհաստատված IP-ից. սա ցույց է տալիս, թե ինչպես է ձեր ֆայրվոլը վերաբերվում այս user agent-ին. իրական ռոբոտին իր հաստատված IP-ներից կարող են այլ կերպ վերաբերվել։

Ինչու է սա կարևոր AI որոնման համար

Որոնողական և օգտատիրոջ ռոբոտները, ինչպիսիք են OAI-SearchBot-ը, ChatGPT-User-ը, Claude-SearchBot-ը, Claude-User-ը, PerplexityBot-ը և Perplexity-User-ը, բեռնում են էջերը՝ պատասխաններ և դրանց տակի հղումները կազմելու համար։ Եթե նրանք ստանում են 403 կամ ստուգման (challenge) էջ, էջը հնարավոր չէ մեջբերել կամ հղել, որքան էլ այն լավը լինի։ Ահա թե ինչու AISeeWhy-ն այս ռոբոտների արգելափակումը գնահատում է P1։

Ուսուցման ռոբոտները (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) գնահատվում են P3. դրանց արգելափակումը քաղաքականության ընտրություն է, ոչ թե սխալ։ Ստուգումն աշխատում է չհաստատված IP-ից, ուստի ցույց է տալիս, թե ինչպես են ձեր կանոնները վերաբերվում user agent-ին. իրական ռոբոտին, որը գալիս է իր հրապարակված IP տիրույթներից, կարող են այլ կերպ վերաբերվել։

Ինչպես ուղղել

  1. Բացեք բացահայտումը՝ տեսնելու, թե որ ռոբոտն է արգելափակվել, ինչ կարգավիճակ է ստացել և որ WAF-ն է հայտնաբերել աուդիտը։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
  2. Cloudflare-ում ստուգեք Security → Events բաժինը արգելափակված հարցման համար, ապա ավելացրեք WAF-ի հատուկ կանոն, որը համընկնում է ռոբոտի հետ (verified bots կամ նրա user agent նշանը)՝ Skip գործողությամբ մնացած հատուկ կանոնների, Super Bot Fight Mode-ի և rate limiting-ի համար։ AI Crawl Control-ում ռոբոտի համար ընտրեք Allow։
  3. Vercel-ում, Akamai-ում, Imperva-ում, Sucuri-ում կամ AWS WAF-ում գտեք ռոբոտների կառավարման կամ managed կանոնը, որն աշխատել է, և ավելացրեք բացառություն ռոբոտի համար՝ ցանկալի է հաստատված ընկերության հրապարակած IP տիրույթներով կամ հակադարձ DNS-ով, ոչ թե միայն user agent-ով։
  4. nginx-ում կամ Apache-ում կոնֆիգուրացիայում փնտրեք deny, return 403 կամ RewriteCond %{HTTP_USER_AGENT} տողեր, որոնք անվանում են ռոբոտին, իսկ WordPress-ում ստուգեք անվտանգության պլագինները, որոնք արգելափակում են «վատ ռոբոտներին»։
  5. Որոշեք յուրաքանչյուր ռոբոտի համար առանձին. որոնողական և օգտատիրոջ ռոբոտներին թույլատրելն է, որ ապահովում է էջերի մեջբերումը, իսկ ուսուցման ռոբոտները կարող են արգելափակված մնալ, եթե դա է ձեր քաղաքականությունը։

Օրինակ

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Ինչպես համոզվել, որ ուղղումն աշխատել է

Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։

Ստուգել իմ էջը →

Առնչվող ուղեցույցներ

Բոլոր բացահայտումները և ինչպես է հաշվարկվում գնահատականը