Cloudflare AI கிராலர்களைத் தடுக்கிறதா? கண்டறிந்து சரிசெய்வது எப்படி

Cloudflare அல்லது வேறு ஃபயர்வால் AI கிராலர்களுக்குத் தடையுடன் பதிலளிக்கிறதா என்பதை சுமார் 30 விநாடிகளில் பாருங்கள்; சரியானவற்றை அனுமதிக்கும் விதியையும் பெறுங்கள்.

இலவசம் · பதிவு தேவையில்லை · 30 வினாடிகளில் முடிவு

403, 429 மற்றும் challenge பக்கங்கள்

உங்கள் உலாவிக்கு உண்மையான பக்கம் கிடைக்கும்போது, கிராலர்களுக்குத் தடை அல்லது Just a moment... பக்கம் கிடைக்கலாம். பக்கம் இரு வழிகளிலும் கோரப்பட்டு, வேறுபாடு குறிக்கப்படும்.

robots.txt மற்றும் ஃபயர்வால்

robots.txt ஒரு கிராலரை அனுமதித்தும் சர்வர் மறுத்தால், அறிக்கை அந்த முரண்பாட்டைக் காட்டும்; எந்த அமைப்பை மாற்ற வேண்டும் என்பது உங்களுக்குத் தெரியும்.

ஃபயர்வால் பெயருடன்

பதிலளித்த CDN அல்லது ஃபயர்வால், Cloudflare உட்பட, பெயரிடப்படும்; எங்கே பார்க்க வேண்டும் என்று நீங்கள் ஊகிக்க வேண்டியதில்லை.

பயன்படுத்த வேண்டிய விதி

ஒவ்வொரு கண்டுபிடிப்புடனும் Cloudflare விதி அல்லது allowlist படி போன்ற தீர்வு வரும். இலவச சோதனை உங்கள் மதிப்பெண்ணையும் முதல் கண்டுபிடிப்பையும் காட்டும்; முழு அறிக்கை $29, ஒருமுறை மட்டும்.

சுருக்கமான பதில்

robots.txt கிராலரை அனுமதித்தாலும், உலாவிகளுக்கு உண்மையான பக்கம் கிடைக்கும்போதே Cloudflare மற்றும் பிற ஃபயர்வால்கள் AI கிராலர்களுக்கு 403, 429 அல்லது "Just a moment..." challenge பக்கத்துடன் பதிலளிக்கலாம். கிராலரின் user agent-உடன் பக்கத்தைக் கோரிச் சரிபார்த்து, பிறகு AI Crawl Control-இல் அல்லது WAF skip rule மூலம் AI தேடல் கிராலர்களை அனுமதியுங்கள்.

3 படிகளில் கண்டறிந்து சரிசெய்யுங்கள்

  1. பக்கத்தை இரண்டு முறை கோருங்கள்

    ஒருமுறை உலாவி user agent-உடன், ஒருமுறை கிராலரின் user agent-உடன். கிராலருக்கு மட்டும் 403, 429 அல்லது 503, Just a moment... பக்கம், அல்லது மிகக் குறுகிய 200 என்றால் ஃபயர்வால் தடை.

  2. தேடல் கிராலர்களை அனுமதியுங்கள்

    Cloudflare-இல் AI Crawl Control-ஐத் திறந்து, Crawlers பட்டியலுக்குச் சென்று, நீங்கள் விரும்பும் கிராலர்களுக்கு, எ.கா. OAI-SearchBot, Action பத்தியில் Allow என அமையுங்கள்.

  3. தேவைப்பட்டால் மற்ற பாதுகாப்புகளைத் தவிருங்கள்

    WAF custom rule, Super Bot Fight Mode அல்லது rate limiting இன்னும் அவற்றைத் தடுத்தால், verified bots-க்கு அந்த அம்சங்களைத் தவிர்க்கும் விதியை முதலில் வைத்துச் சேருங்கள். user agent பொருத்தத்தைவிட verified bot புலம் அல்லது வழங்குநர் வெளியிட்ட IP வரம்புகளை விரும்புங்கள்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

Cloudflare-இல் எந்த AI கிராலர்கள் தடுக்கப்பட்டுள்ளன என்று எங்கே பார்க்கலாம்?

Cloudflare dashboard-இல் AI Crawl Control-ஐத் திறங்கள். அதன் கிராலர் பட்டியல் உங்கள் domain-இல் Cloudflare பார்த்த ஒவ்வொரு AI கிராலரையும், அது எத்தனை கோரிக்கைகள் செய்தது, அதன் செயல் Allow-ஆ Block-ஆ என்பதைக் காட்டுகிறது; அங்கேயே செயலை மாற்றலாம். Bot Fight Mode போன்ற பிற அம்சங்கள் நீங்கள் அனுமதித்த கிராலரை இன்னும் தடுக்கலாம், எனவே கிராலரின் user agent-ஐப் பயன்படுத்தும் கோரிக்கை மூலம் முடிவை உறுதிசெய்யுங்கள்.

Cloudflare இயல்பாக AI கிராலர்களைத் தடுக்கிறதா?

அது உங்கள் கணக்கு, plan, உங்கள் zone-இன் அமைப்புகளைப் பொறுத்தது; Cloudflare காலப்போக்கில் இந்த விருப்பங்களை மாற்றியுள்ளது. ஊகிக்காமல், AI Crawl Control-ஐயும் உங்கள் பாட் அமைப்புகளையும் சரிபார்த்து, கிராலரின் user agent-உடன் சோதியுங்கள்.

என் தளம் உலாவியில் வேலை செய்கிறது, கிராலர்களுக்கு ஏன் வேலை செய்யவில்லை?

ஃபயர்வால்கள் ஒவ்வொரு கோரிக்கையையும் மதிப்பிடுகின்றன. உலாவி JavaScript challenges-ஐக் கடந்து cookies-ஐ வைத்திருக்கிறது; கிராலர் அப்படிச் செய்வதில்லை, எனவே நீங்கள் ஒருபோதும் பார்க்காத challenge பக்கமோ 403-ஓ அதற்குக் கிடைக்கலாம்.

WAF வழியாக AI கிராலர்களை அனுமதிப்பது பாதுகாப்பானதா?

நிறுவனத்தின் IP வரம்புகள் அல்லது Cloudflare-இன் verified bot signal மூலம் சரிபார்த்தால், பெயரிடப்பட்ட கிராலரை அனுமதிப்பது குறைந்த ஆபத்துடையது. User agent-ஐ மட்டும் நம்பும் விதிகள் அதை நகலெடுக்கும் யாரையும் உள்ளே விடுகின்றன.

Cloudflare மின்னஞ்சல் மறைப்பு அம்சம் AI கிராலர்களைப் பாதிக்குமா?

அது மின்னஞ்சல் முகவரிகளை ஒரு script மட்டுமே decode செய்யக்கூடிய இணைப்பாக மாற்றுகிறது; எனவே கிராலர்கள் முகவரிக்குப் பதிலாக ஒரு placeholder-ஐப் பார்க்கின்றன. உங்கள் தொடர்பு மின்னஞ்சல் படிக்கக்கூடியதாக இருக்க வேண்டுமெனில், Scrape Shield-இன் கீழ் Email Address Obfuscation-ஐ அணைத்து, முகவரியைச் சாதாரண உரையாகக் காட்டுங்கள்.

முழு வழிகாட்டியைப் படியுங்கள்

பாட் பாதுகாப்பு scrapers-ஐயும் துஷ்பிரயோகத்தையும் நிறுத்தவே உள்ளது, அதை அது நன்றாகவே செய்கிறது. சிக்கல் என்னவென்றால், AI தேடல் கிராலர்களும் பாட்களே. பல ஆண்டுகளுக்கு முன் இயக்கப்பட்ட ஒரு பாதுகாப்பு அமைப்பு, ஒரு rate limit, அல்லது தெரியாத user agents-க்கு எதிரான பரந்த விதி, உங்கள் சொந்த வருகைகள் முற்றிலும் இயல்பாகத் தெரியும்போதே, உங்களை மேற்கோள் காட்டும் கிராலர்களை அமைதியாக வெளியே வைத்திருக்கலாம்.

ஃபயர்வால் ஏன் AI கிராலர்களைத் தடுக்கும்?

ஃபயர்வால்கள் ஒவ்வொரு கோரிக்கையையும் மதிப்பிடுகின்றன. கிராலர் JavaScript challenges-ஐ இயக்குவதில்லை, உலாவி போல cookies-ஐ வைத்திருப்பதில்லை, பெரும்பாலும் தொடர்ச்சியாகப் பல பக்கங்களைக் கோருகிறது; எனவே பாட் பாதுகாப்பு நிறுத்துவதற்காக உருவாக்கப்பட்ட போக்குவரத்தைப் போலவே அது தோன்றலாம். பொதுவான காரணங்கள்:

  • அறியப்பட்ட பாட் முறைகளுடன் பொருந்தும் போக்குவரத்துக்கு challenge காட்டும் பாட் பாதுகாப்பு அம்சங்கள். உதாரணமாக, Cloudflare-இன் Bot Fight Mode பாட்களுக்குக் கணினி ரீதியாகச் செலவு மிகுந்த challenges-ஐ வழங்குகிறது.
  • "bot" அல்லது "crawler" போன்ற சொற்களைக் கொண்ட user agents-ஐத் தடுக்கும் அல்லது challenge செய்யும், அல்லது தேடுபொறிகளின் குறுகிய பட்டியலை மட்டுமே அனுமதிக்கும் WAF custom rules.
  • AI கிராலர்களை ஒரு வகையாகவே தடுக்கும் அமைப்புகள். Search, Agent, Training கிராலர்களுக்குக் கொள்கைகளை அமைக்க Cloudflare அனுமதிக்கிறது; அங்கே உள்ள Block அமைப்பு அவை அனைத்துக்கும் பொருந்தும்.
  • கிராலரின் விரைவான கோரிக்கைத் தொடருக்கு 429 உடன் பதிலளிக்கும் rate limiting.
  • கிராலர்கள் இயங்கும் நெட்வொர்க்குகளைத் தற்செயலாக உள்ளடக்கும் நாடு அல்லது ASN தடைகள்.

ஃபயர்வால் தடையையும் robots.txt தடையையும் எப்படி வேறுபடுத்துவது?

robots.txt தடை ஒரு மரியாதையான வேண்டுகோள்: கிராலர் உங்கள் விதிகளைப் படித்துப் பக்கத்தைப் பெறுவதில்லை. ஃபயர்வால் தடை ஒரு பதில்: கிராலர் பக்கத்தைக் கோருகிறது, வேறு எதையோ பெறுகிறது. இரண்டாவது வகையை நேரடியாகப் பார்க்கலாம். பக்கத்தை இருமுறை கோருங்கள், ஒருமுறை உலாவி user agent-உடன், ஒருமுறை கிராலரின் user agent-உடன், பிறகு ஒப்பிடுங்கள்.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

ஃபயர்வால் தடையின் அறிகுறிகள்: கிராலருக்கு மட்டும் நிலை 403, 429 அல்லது 503; Just a moment... அல்லது Attention Required! | Cloudflare என்ற தலைப்புள்ள பக்கம்; /cdn-cgi/challenge-platform கொண்ட body; அல்லது உலாவியின் பதிலைவிட மிகக் குறுகிய 200 பதில். உங்கள் சோதனை கிராலரின் சரிபார்க்கப்பட்ட IP வரம்பிலிருந்து அல்ல, உங்கள் சொந்த IP-இலிருந்து வருகிறது என்பதை நினைவில் கொள்ளுங்கள்; எனவே ஃபயர்வால் user agent-ஐ எப்படி நடத்துகிறது என்பதை அது காட்டுகிறது, உண்மையான கிராலரை நடத்தும் ஒவ்வொரு விவரத்தையும் அல்ல.

Cloudflare-இல் AI தேடல் கிராலர்களை எப்படி அனுமதிப்பது?

எல்லா plans-இலும் கிடைக்கும் Cloudflare-இன் AI Crawl Control, உங்கள் domain-க்கு வரும் AI கிராலர்களைப் பட்டியலிட்டு, ஒவ்வொன்றுக்கும் ஒரு செயலை அமைக்க அனுமதிக்கிறது. Dashboard-இல் AI Crawl Control-ஐத் திறந்து, Crawlers பட்டியலுக்குச் சென்று, ஒவ்வொரு கிராலருக்கும் Action நெடுவரிசையில் Allow அல்லது Block-ஐத் தேர்ந்தெடுங்கள். அங்கே தடுப்பது உங்கள் zone-இல் ஒரு WAF custom rule-ஐ உருவாக்குகிறது அல்லது புதுப்பிக்கிறது என்று Cloudflare கூறுகிறது.

WAF custom rule, Super Bot Fight Mode அல்லது rate limiting கிராலரைத் தடுத்தால், verified bots-க்கும் கிராலரின் டோக்கனுக்கும் அந்த அம்சங்களைத் தவிர்க்கும் ஒரு custom rule-ஐச் சேருங்கள்:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

விதியை முதலிடத்தில் வையுங்கள். User agent-ஐப் பொருத்துவது அந்த user agent-ஐப் போலியாகப் பயன்படுத்தும் யாரையும் உள்ளே விடும் என்பதைக் கவனியுங்கள். முடிந்தவரை verified bot புலத்தை (cf.client.bot) அல்லது நிறுவனம் வெளியிடும் IP வரம்புகளையே தேர்ந்தெடுங்கள்.

Bot Fight Mode பற்றி என்ன?

Bot Fight Mode-ஐ WAF custom rules அல்லது Page Rules மூலம் கடக்கவோ தவிர்க்கவோ முடியாது என்று Cloudflare ஆவணங்கள் தெளிவாகக் கூறுகின்றன. கிராலர்களுக்கு challenge காட்டும் அம்சம் அதுவே என்றால், skip rule உதவாது. வழிகள்: Bot Fight Mode-ஐ அணைப்பது, அல்லது அது உள்ள plan-இல் Ruleset Engine-இல் இயங்கி skip rules-ஐ ஆதரிக்கும் Super Bot Fight Mode-ஐப் பயன்படுத்துவது.

எந்தக் கிராலர்களை உள்ளே விட வேண்டும்?

கிராலர்களை அவை செய்யும் வேலையின்படி பிரியுங்கள். AI பதில்கள் உங்களைக் கண்டறிந்து மேற்கோள் காட்ட முடியுமா என்பதைத் தேடல் மற்றும் பயனர் fetch கிராலர்கள் தீர்மானிக்கின்றன. பயிற்சி கிராலர்கள் மாடல்களுக்குத் தரவைச் சேகரிக்கின்றன; அவற்றைத் தடுப்பது உங்களை AI தேடலிலிருந்து நீக்காத நியாயமான தேர்வு.

  • தேடல்: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • பயனர் fetches: ChatGPT-User, Claude-User, Perplexity-User.
  • பயிற்சி: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare-இன் சொந்தக் கொள்கை அமைப்புகளும் இதே Search, Agent, Training பிரிவைப் பயன்படுத்துகின்றன; எனவே முதல் இரண்டை அனுமதித்து மூன்றாவது பற்றித் தனியாக முடிவு செய்யலாம். நீங்கள் வேறு ஃபயர்வால் அல்லது CDN பயன்படுத்தினாலும் கொள்கை அதுவே: கிராலரின் டோக்கனை allowlist-இல் சேருங்கள், கிடைக்கும் இடங்களில் நிறுவனம் வெளியிடும் IP வரம்புகள் அல்லது reverse DNS மூலம் சரிபாருங்கள்; அப்போது உலாவி பெறும் அதே பதிலை அது பெறும்.

AISeeWhy ஃபயர்வால் தடைகளை எப்படிக் கண்டறிகிறது?

AISeeWhy உங்கள் பக்கத்தை 14 கிராலர்களாகவும் ஒரு சாதாரண உலாவியாகவும் கோருகிறது, நிலை, அளவு, redirects-ஐ ஒப்பிடுகிறது, challenge பக்கங்களை அடையாளம் காண்கிறது, பதிலளித்த ஃபயர்வால் அல்லது CDN-ஐப் பெயரிடுகிறது. robots.txt ஒரு கிராலரை அனுமதித்தும் சர்வர் அதைத் தடுத்தால், அறிக்கை அந்த முரண்பாட்டைக் காட்டி, அதைச் சரிசெய்ய Cloudflare விதியையோ allowlist படியையோ தருகிறது.

இந்தச் சிக்கலுக்கான திருத்தங்கள்

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

மூலங்கள்

மேலும் கட்டுரைகள்

வெளியிடப்பட்டது · புதுப்பிக்கப்பட்டது