OAI-SearchBot બ્લૉક છે
આ ક્રૉલરના યુઝર એજન્ટ સાથે મોકલેલી વિનંતી નકારાઈ: તેને 4xx કે 5xx સ્ટેટસ, Cloudflareનું cf-mitigated હેડર કે ચેલેન્જ પેજ મળ્યું, જ્યારે સામાન્ય બ્રાઉઝરની વિનંતીને પેજ મળ્યું. યુઝર એજન્ટ સાથે મેળ ખાતો ફાયરવૉલ, CDN કે બૉટ નિયમ શોધો અને ક્રૉલરને પસાર થવા દો.
તેનો અર્થ
OAI-SearchBot યુઝર એજન્ટવાળી વિનંતીને સ્ટેટસ 403 કે ચેલેન્જ પેજ મળ્યું, જ્યારે બ્રાઉઝરને પેજ મળ્યું. ચકાસણી વગરના IP પરથી ચકાસ્યું: આ બતાવે છે કે તમારું ફાયરવૉલ આ યુઝર એજન્ટ સાથે કેવું વર્તન કરે છે; તેના ચકાસાયેલા IP પરથી આવતા સાચા ક્રૉલર સાથે અલગ વર્તન થઈ શકે છે.
AI સર્ચ માટે તે કેમ મહત્ત્વનું છે
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot અને Perplexity-User જેવા સર્ચ અને યુઝર ક્રૉલર જવાબો અને તેની નીચેની લિંક બનાવવા પેજ મેળવે છે. જો તેમને 403 કે ચેલેન્જ પેજ મળે, તો પેજ ગમે તેટલું સારું હોય, તે ટાંકી કે લિંક કરી શકાતું નથી. તેથી જ AISeeWhy આ ક્રૉલરના બ્લૉકને P1 ગણે છે.
ટ્રેનિંગ ક્રૉલર (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 ગણાય છે: તેમને બ્લૉક કરવા એ નીતિની પસંદગી છે, ભૂલ નથી. તપાસ ચકાસણી વગરના IP પરથી ચાલે છે, તેથી તે બતાવે છે કે તમારા નિયમો યુઝર એજન્ટ સાથે કેવું વર્તન કરે છે; તેની પ્રકાશિત IP રેન્જ પરથી આવતા સાચા ક્રૉલર સાથે અલગ વર્તન થઈ શકે છે.
તેને કેવી રીતે સુધારવું
- કયો ક્રૉલર બ્લૉક થયો, તેને કયું સ્ટેટસ મળ્યું અને ઑડિટે કયું WAF શોધ્યું તે જોવા તારણ ખોલો. AISeeWhy રિપોર્ટ પુરાવો અને પેસ્ટ કરવા તૈયાર સુધારો બતાવે છે; પરિણામની ખાતરી કરવા પછી "ફરી તપાસો" ચલાવો.
- Cloudflare પર, બ્લૉક થયેલી વિનંતી માટે Security → Events જુઓ, પછી ક્રૉલર સાથે મેળ ખાતો WAF custom rule (verified bots કે તેનું યુઝર એજન્ટ ટોકન) ઉમેરો, જેની ક્રિયા બાકીના custom rules, Super Bot Fight Mode અને rate limiting માટે Skip હોય. AI Crawl Controlમાં ક્રૉલરને Allow પર સેટ કરો.
- Vercel, Akamai, Imperva, Sucuri કે AWS WAF પર, લાગુ પડેલો bot management કે managed rule શોધો અને ક્રૉલર માટે અપવાદ ઉમેરો, શક્ય હોય તો ફક્ત યુઝર એજન્ટને બદલે સંચાલકની પ્રકાશિત IP રેન્જ કે reverse DNSથી ચકાસીને.
- nginx કે Apache પર, configમાં ક્રૉલરનું નામ ધરાવતી
deny,return 403કેRewriteCond %{HTTP_USER_AGENT}લાઇન શોધો, અને WordPressમાં "bad bots"ને બ્લૉક કરતાં security plugin તપાસો. - દરેક ક્રૉલર માટે અલગ નક્કી કરો: સર્ચ અને યુઝર ક્રૉલરને આવવા દેવાથી જ પેજ ટંકાય છે, જ્યારે તમારી નીતિ હોય તો ટ્રેનિંગ ક્રૉલર બ્લૉક રહી શકે છે.
ઉદાહરણ
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting સુધારાની ખાતરી કેવી રીતે કરવી
ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.
સંબંધિત માર્ગદર્શિકાઓ
- Cloudflareનો AI Crawl Control રિપોર્ટ કેવી રીતે વાંચવો અને કયા AI ક્રૉલર અંદર આવે છે તે કેવી રીતે જોવું
- શું Cloudflare AI ક્રૉલરને બ્લૉક કરે છે? કેવી રીતે જાણવું અને સુધારવું
- શું ChatGPT મારી વેબસાઇટ જોઈ શકે છે? કેવી રીતે તપાસવું
- પેજ પ્રકાશિત કરતાં પહેલાં કરવાની 12 AEO તપાસ (2027)
- SEO 2.0: AI સર્ચ અને આસિસ્ટન્ટે SEO કેવી રીતે બદલ્યું, સ્તર દર સ્તર