OAI-SearchBot തടയപ്പെട്ടിരിക്കുന്നു

ചെറിയ ഉത്തരം

ഈ ക്രോളറിന്റെ യൂസർ ഏജന്റ് ഉപയോഗിച്ച് അയച്ച അഭ്യർത്ഥന നിരസിക്കപ്പെട്ടു: അതിന് 4xx അല്ലെങ്കിൽ 5xx സ്റ്റാറ്റസ്, Cloudflare cf-mitigated ഹെഡർ അല്ലെങ്കിൽ ഒരു ചലഞ്ച് പേജ് ലഭിച്ചു, അതേസമയം ഒരു സാധാരണ ബ്രൗസർ അഭ്യർത്ഥനയ്ക്ക് പേജ് ലഭിച്ചു. യൂസർ ഏജന്റുമായി പൊരുത്തപ്പെടുന്ന ഫയർവാൾ, CDN അല്ലെങ്കിൽ ബോട്ട് നിയമം കണ്ടെത്തി ക്രോളറിനെ കടത്തിവിടുക.

access.blocked · മുൻഗണന: P1–P3, ക്രോളർ തരം അനുസരിച്ച്

ഇതിന്റെ അർത്ഥം

OAI-SearchBot യൂസർ ഏജന്റുള്ള അഭ്യർത്ഥനയ്ക്ക് സ്റ്റാറ്റസ് 403 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് ലഭിച്ചു, അതേസമയം ബ്രൗസറിന് പേജ് ലഭിച്ചു. സ്ഥിരീകരിക്കാത്ത IP-യിൽ നിന്നാണ് പരിശോധിച്ചത്: നിങ്ങളുടെ ഫയർവാൾ ഈ യൂസർ ഏജന്റിനെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നുവെന്ന് ഇത് കാണിക്കുന്നു; സ്ഥിരീകരിച്ച IP-കളിൽ നിന്നുള്ള യഥാർത്ഥ ക്രോളറിനോട് വ്യത്യസ്തമായി പെരുമാറിയേക്കാം.

AI സെർച്ചിന് ഇത് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User പോലുള്ള സെർച്ച്, ഉപയോക്തൃ ക്രോളറുകൾ ഉത്തരങ്ങളും അവയ്ക്ക് താഴെയുള്ള ലിങ്കുകളും തയ്യാറാക്കാൻ പേജുകൾ എടുക്കുന്നു. അവയ്ക്ക് 403 അല്ലെങ്കിൽ ഒരു ചലഞ്ച് പേജ് ലഭിച്ചാൽ, പേജ് എത്ര നല്ലതായാലും ഉദ്ധരിക്കാനോ ലിങ്ക് ചെയ്യാനോ കഴിയില്ല. അതുകൊണ്ടാണ് ഈ ക്രോളറുകളെ തടയുന്നതിന് AISeeWhy P1 റേറ്റിംഗ് നൽകുന്നത്.

പരിശീലന ക്രോളറുകൾക്ക് (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 റേറ്റിംഗാണ്: അവയെ തടയുന്നത് നയപരമായ തീരുമാനമാണ്, പിശകല്ല. പരിശോധന സ്ഥിരീകരിക്കാത്ത ഒരു IP-യിൽ നിന്നാണ് നടക്കുന്നത്, അതിനാൽ നിങ്ങളുടെ നിയമങ്ങൾ യൂസർ ഏജന്റിനെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നുവെന്ന് അത് കാണിക്കുന്നു; പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളിൽ നിന്ന് വരുന്ന യഥാർത്ഥ ക്രോളറിനോട് വ്യത്യസ്തമായി പെരുമാറിയേക്കാം.

ഇത് എങ്ങനെ പരിഹരിക്കാം

  1. ഏത് ക്രോളറാണ് തടയപ്പെട്ടത്, അതിന് ലഭിച്ച സ്റ്റാറ്റസ്, ഓഡിറ്റ് കണ്ടെത്തിയ WAF എന്നിവ കാണാൻ കണ്ടെത്തൽ തുറക്കുക. AISeeWhy റിപ്പോർട്ട് തെളിവും പകർത്തി ഒട്ടിക്കാവുന്ന പരിഹാരവും കാണിക്കുന്നു; ഫലം ഉറപ്പാക്കാൻ ശേഷം “വീണ്ടും പരിശോധിക്കുക” പ്രവർത്തിപ്പിക്കുക.
  2. Cloudflare-ൽ, തടയപ്പെട്ട അഭ്യർത്ഥനയ്ക്കായി Security → Events പരിശോധിക്കുക, തുടർന്ന് ക്രോളറുമായി (verified bots അല്ലെങ്കിൽ അതിന്റെ യൂസർ ഏജന്റ് ടോക്കൺ) പൊരുത്തപ്പെടുന്ന ഒരു WAF കസ്റ്റം നിയമം ചേർക്കുക, ശേഷിക്കുന്ന കസ്റ്റം നിയമങ്ങൾ, Super Bot Fight Mode, റേറ്റ് ലിമിറ്റിംഗ് എന്നിവയ്ക്ക് Skip എന്ന പ്രവർത്തനം നൽകുക. AI Crawl Control-ൽ ക്രോളറിനെ Allow ആക്കുക.
  3. Vercel, Akamai, Imperva, Sucuri അല്ലെങ്കിൽ AWS WAF-ൽ, പ്രവർത്തിച്ച ബോട്ട് മാനേജ്‌മെന്റ് അല്ലെങ്കിൽ മാനേജ്ഡ് നിയമം കണ്ടെത്തി ക്രോളറിന് ഒരു ഒഴിവ് ചേർക്കുക; യൂസർ ഏജന്റ് മാത്രം നോക്കാതെ, കമ്പനി പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളോ റിവേഴ്സ് DNS-ഓ ഉപയോഗിച്ച് സ്ഥിരീകരിക്കുന്നതാണ് ഉത്തമം.
  4. nginx-ലോ Apache-ലോ, ക്രോളറിന്റെ പേര് പറയുന്ന deny, return 403 അല്ലെങ്കിൽ RewriteCond %{HTTP_USER_AGENT} വരികൾക്കായി കോൺഫിഗ് തിരയുക; WordPress-ൽ “മോശം ബോട്ടുകളെ” തടയുന്ന സുരക്ഷാ പ്ലഗിനുകൾ പരിശോധിക്കുക.
  5. ഓരോ ക്രോളറിനും വെവ്വേറെ തീരുമാനിക്കുക: സെർച്ച്, ഉപയോക്തൃ ക്രോളറുകളെ അനുവദിക്കുന്നതാണ് പേജുകൾ ഉദ്ധരിക്കപ്പെടാൻ സഹായിക്കുന്നത്; അതാണ് നിങ്ങളുടെ നയമെങ്കിൽ പരിശീലന ക്രോളറുകളെ തടഞ്ഞുതന്നെ നിർത്താം.

ഉദാഹരണം

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

പരിഹാരം എങ്ങനെ സ്ഥിരീകരിക്കാം

മാറ്റം വരുത്തിയശേഷം റിപ്പോർട്ടിൽ "വീണ്ടും പരിശോധിക്കുക" അമർത്തുക: എന്ത് പരിഹരിച്ചുവെന്നും സ്കോർ എങ്ങനെ മാറിയെന്നും അത് കാണിക്കും.

എന്റെ പേജ് പരിശോധിക്കുക →

ബന്ധപ്പെട്ട ഗൈഡുകൾ

എല്ലാ കണ്ടെത്തലുകളും സ്കോർ എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതും