OAI-SearchBot బ్లాక్ అయింది

చిన్న జవాబు

ఈ క్రాలర్ యూజర్ ఏజెంట్‌తో పంపిన అభ్యర్థన తిరస్కరించబడింది: దానికి 4xx లేదా 5xx స్టేటస్, Cloudflare cf-mitigated హెడర్ లేదా ఛాలెంజ్ పేజీ వచ్చింది, సాధారణ బ్రౌజర్ అభ్యర్థనకు మాత్రం పేజీ అందింది. ఆ యూజర్ ఏజెంట్‌కు సరిపోలే ఫైర్‌వాల్, CDN లేదా బాట్ నియమాన్ని కనుగొని క్రాలర్‌ను అనుమతించండి.

access.blocked · ప్రాధాన్యత: P1–P3, క్రాలర్ రకాన్ని బట్టి

దీని అర్థం ఏమిటి

OAI-SearchBot యూజర్ ఏజెంట్‌తో పంపిన అభ్యర్థనకు స్టేటస్ 403 లేదా ఛాలెంజ్ పేజీ వచ్చింది, బ్రౌజర్‌కు మాత్రం పేజీ అందింది. ధృవీకరించని IP నుంచి పరీక్షించాం: మీ ఫైర్‌వాల్ ఈ యూజర్ ఏజెంట్‌ను ఎలా చూస్తుందో ఇది చూపిస్తుంది; ధృవీకరించిన IPల నుంచి వచ్చే అసలు క్రాలర్‌ను వేరేలా చూడవచ్చు.

AI సెర్చ్‌కు ఇది ఎందుకు ముఖ్యం

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User వంటి సెర్చ్, యూజర్ క్రాలర్‌లు జవాబులను, వాటి కింద ఉండే లింక్‌లను తయారు చేయడానికి పేజీలను తెచ్చుకుంటాయి. వాటికి 403 లేదా ఛాలెంజ్ పేజీ వస్తే, పేజీ ఎంత బాగున్నా దాన్ని ఉటంకించలేరు, లింక్ ఇవ్వలేరు. అందుకే ఈ క్రాలర్‌లను బ్లాక్ చేయడాన్ని AISeeWhy P1గా రేట్ చేస్తుంది.

ట్రైనింగ్ క్రాలర్‌లు (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3గా రేట్ అవుతాయి: వాటిని బ్లాక్ చేయడం విధానపరమైన నిర్ణయం, తప్పు కాదు. పరీక్ష అభ్యర్థన ధృవీకరించని IP నుంచి వెళ్తుంది, కాబట్టి మీ నియమాలు యూజర్ ఏజెంట్‌ను ఎలా చూస్తాయో అది చూపిస్తుంది; ప్రచురించిన IP పరిధుల నుంచి వచ్చే అసలు క్రాలర్‌ను అవి వేరేలా చూడవచ్చు.

దీన్ని ఎలా సరిచేయాలి

  1. ఏ క్రాలర్ బ్లాక్ అయిందో, దానికి ఏ స్టేటస్ వచ్చిందో, ఆడిట్ ఏ WAFను గుర్తించిందో చూడటానికి అంశాన్ని తెరవండి. AISeeWhy రిపోర్ట్ ఆధారాలను, అతికించడానికి సిద్ధమైన పరిష్కారాన్ని చూపిస్తుంది; ఆ తర్వాత ఫలితాన్ని నిర్ధారించడానికి "మళ్లీ తనిఖీ చేయండి" నడపండి.
  2. Cloudflareలో బ్లాక్ అయిన అభ్యర్థన కోసం Security → Events చూడండి, తర్వాత క్రాలర్‌కు (verified bots లేదా దాని యూజర్ ఏజెంట్ టోకెన్) సరిపోలే WAF custom rule జోడించి, మిగిలిన custom rules, Super Bot Fight Mode, rate limiting కోసం Skip చర్యను ఎంచుకోండి. AI Crawl Controlలో క్రాలర్‌ను Allowగా సెట్ చేయండి.
  3. Vercel, Akamai, Imperva, Sucuri లేదా AWS WAFలో, అమలైన బాట్ మేనేజ్‌మెంట్ లేదా managed ruleను కనుగొని క్రాలర్‌కు మినహాయింపు జోడించండి; వీలైతే కేవలం యూజర్ ఏజెంట్ ద్వారా కాకుండా, సంస్థ ప్రచురించిన IP పరిధులు లేదా reverse DNS ద్వారా ధృవీకరించండి.
  4. nginx లేదా Apacheలో, క్రాలర్ పేరు ఉన్న deny, return 403 లేదా RewriteCond %{HTTP_USER_AGENT} లైన్‌ల కోసం కాన్ఫిగ్‌లో వెతకండి; WordPressలో "bad bots"ను బ్లాక్ చేసే సెక్యూరిటీ ప్లగిన్‌లను చూడండి.
  5. ప్రతి క్రాలర్‌కు విడిగా నిర్ణయించండి: సెర్చ్, యూజర్ క్రాలర్‌లను అనుమతిస్తేనే పేజీలు ఉటంకించబడతాయి; అది మీ విధానమైతే ట్రైనింగ్ క్రాలర్‌లు బ్లాక్‌లోనే ఉండవచ్చు.

ఉదాహరణ

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

పరిష్కారాన్ని ఎలా నిర్ధారించాలి

మార్పు తర్వాత రిపోర్ట్‌లో "మళ్లీ తనిఖీ చేయండి" నొక్కండి: ఏమి సరిచేయబడిందో, స్కోర్ ఎలా మారిందో అది చూపిస్తుంది.

నా పేజీని తనిఖీ చేయండి →

సంబంధిత గైడ్‌లు

అన్ని అంశాలు, స్కోర్ ఎలా పనిచేస్తుంది