OAI-SearchBot தடுக்கப்பட்டுள்ளது
இந்தக் கிராலரின் user agent-உடன் அனுப்பப்பட்ட கோரிக்கை மறுக்கப்பட்டது: அதற்கு 4xx அல்லது 5xx நிலை, Cloudflare cf-mitigated header அல்லது challenge பக்கம் கிடைத்தது, அதே நேரம் சாதாரண உலாவிக் கோரிக்கைக்குப் பக்கம் கிடைத்தது. அந்த user agent-உடன் பொருந்தும் ஃபயர்வால், CDN அல்லது பாட் விதியைக் கண்டறிந்து கிராலரை உள்ளே விடுங்கள்.
இதன் பொருள் என்ன
OAI-SearchBot user agent-உடன் அனுப்பிய கோரிக்கைக்கு நிலை 403 அல்லது சவால் பக்கம் கிடைத்தது, உலாவிக்கோ பக்கம் கிடைத்தது. சரிபார்க்கப்படாத IP-இலிருந்து சோதிக்கப்பட்டது: இந்த user agent-ஐ உங்கள் ஃபயர்வால் எப்படிக் கையாள்கிறது என்பதை இது காட்டுகிறது; சரிபார்க்கப்பட்ட IP-களிலிருந்து வரும் உண்மையான கிராலர் வேறுவிதமாகக் கையாளப்படலாம்.
AI தேடலுக்கு இது ஏன் முக்கியம்
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User போன்ற தேடல் மற்றும் பயனர் கிராலர்கள் பதில்களையும் அவற்றின் கீழ் உள்ள இணைப்புகளையும் உருவாக்கப் பக்கங்களைப் பெறுகின்றன. அவற்றுக்கு 403 அல்லது challenge பக்கம் கிடைத்தால், பக்கம் எவ்வளவு நன்றாக இருந்தாலும் அதை மேற்கோள் காட்டவோ இணைக்கவோ முடியாது. அதனால்தான் இந்தக் கிராலர்களின் தடுப்பை AISeeWhy P1 என மதிப்பிடுகிறது.
பயிற்சி கிராலர்கள் (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 என மதிப்பிடப்படுகின்றன: அவற்றைத் தடுப்பது கொள்கைத் தேர்வு, பிழை அல்ல. சோதனைக் கோரிக்கை சரிபார்க்கப்படாத IP-இலிருந்து இயங்குகிறது, எனவே உங்கள் விதிகள் user agent-ஐ எப்படிக் கையாளுகின்றன என்பதை அது காட்டுகிறது; வெளியிடப்பட்ட IP வரம்புகளிலிருந்து வரும் உண்மையான கிராலர் வேறு விதமாகக் கையாளப்படலாம்.
இதை எப்படிச் சரிசெய்வது
- எந்தக் கிராலர் தடுக்கப்பட்டது, அதற்குக் கிடைத்த நிலை, தணிக்கை கண்டறிந்த WAF ஆகியவற்றைப் பார்க்கக் கண்டறிதலைத் திறங்கள். AISeeWhy அறிக்கை சான்றையும் ஒட்டத் தயாரான திருத்தத்தையும் காட்டுகிறது; முடிவை உறுதிசெய்ய பிறகு "மீண்டும் சரிபார்" என்பதை இயக்குங்கள்.
- Cloudflare-இல், தடுக்கப்பட்ட கோரிக்கைக்கு Security → Events-ஐப் பாருங்கள், பிறகு கிராலருடன் பொருந்தும் (verified bots அல்லது அதன் user agent டோக்கன்) ஒரு WAF custom rule-ஐச் சேர்த்து, மீதமுள்ள custom rules, Super Bot Fight Mode, rate limiting ஆகியவற்றுக்கு Skip செயலை அமைக்கவும். AI Crawl Control-இல் கிராலரை Allow என அமைக்கவும்.
- Vercel, Akamai, Imperva, Sucuri அல்லது AWS WAF-இல், செயல்பட்ட bot management அல்லது managed rule-ஐக் கண்டறிந்து கிராலருக்கு ஒரு விதிவிலக்கைச் சேர்க்கவும்; முடிந்தால் user agent-ஐ மட்டும் வைத்து அல்லாமல், நிறுவனம் வெளியிடும் IP வரம்புகள் அல்லது reverse DNS மூலம் சரிபார்க்கவும்.
- nginx அல்லது Apache-இல், கிராலரின் பெயரைக் குறிப்பிடும்
deny,return 403அல்லதுRewriteCond %{HTTP_USER_AGENT}வரிகளை config-இல் தேடுங்கள்; WordPress-இல் "bad bots"-ஐத் தடுக்கும் பாதுகாப்பு plugin-களைச் சரிபாருங்கள். - ஒவ்வொரு கிராலருக்கும் தனியாக முடிவு செய்யுங்கள்: தேடல் மற்றும் பயனர் கிராலர்களை அனுமதிப்பதே பக்கங்கள் மேற்கோள் காட்டப்பட வழிவகுக்கிறது; உங்கள் கொள்கை அதுவெனில் பயிற்சி கிராலர்கள் தடுக்கப்பட்டே இருக்கலாம்.
எடுத்துக்காட்டு
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting திருத்தத்தை எப்படி உறுதிசெய்வது
மாற்றத்துக்குப் பின், அறிக்கையில் "மீண்டும் சரிபார்" என்பதை அழுத்துங்கள்: எது சரிசெய்யப்பட்டது, மதிப்பெண் எப்படி மாறியது என்று அது பட்டியலிடும்.
தொடர்புடைய வழிகாட்டிகள்
- Cloudflare-இன் AI Crawl Control அறிக்கையைப் படித்து, எந்த AI கிராலர்கள் உள்ளே வருகின்றன என்று பார்ப்பது எப்படி
- Cloudflare AI கிராலர்களைத் தடுக்கிறதா? கண்டறிந்து சரிசெய்வது எப்படி
- ChatGPT என் இணையதளத்தைப் பார்க்க முடியுமா? எப்படிச் சரிபார்ப்பது
- பக்கத்தை வெளியிடும் முன் செய்ய வேண்டிய 12 AEO சரிபார்ப்புகள் (2027)
- SEO 2.0: AI தேடலும் உதவியாளர்களும் SEO-வை எப்படி மாற்றின, அடுக்கு அடுக்காக