Cloudflare-இன் AI Crawl Control அறிக்கையைப் படித்து, எந்த AI கிராலர்கள் உள்ளே வருகின்றன என்று பார்ப்பது எப்படி

வெளியிடப்பட்டது

சுருக்கமான பதில்

உங்கள் Cloudflare dashboard-இல் AI Crawl Control-ஐத் திறங்கள்: கிராலர் பட்டியல், உங்கள் domain-இல் Cloudflare பார்த்த ஒவ்வொரு AI கிராலரையும், அதன் கோரிக்கைகள், robots.txt மீறல்கள், அதன் செயல் Allow-ஆ Block-ஆ என்பதைக் காட்டுகிறது. பயிற்சியை மறுத்து AI தேடலை வைத்திருக்க, அங்கே அல்லது AI Crawler and Agent access policies-இன் கீழ் தேடல் மற்றும் agent கிராலர்களை அனுமதித்து, பயிற்சி கிராலர்களைத் தடுங்கள் அல்லது disallow செய்யுங்கள். பிறகு curl மூலம் வெளியிலிருந்து உறுதிசெய்யுங்கள், ஏனெனில் நீங்கள் அனுமதித்த கிராலரை Cloudflare-இன் பிற அம்சங்கள் இன்னும் தடுக்கலாம்.

AI கிராலர்கள் எதைப் பெறுகின்றன என்பதைத் தீர்மானிக்க Cloudflare-இல் இப்போது இரண்டு இடங்கள் உள்ளன: முன்பு AI Audit என்று அழைக்கப்பட்ட, கிராலர்வாரியான அறிக்கையும் கட்டுப்பாட்டுப் பலகையுமான AI Crawl Control; Security settings-இன் கீழ் zone முழுமைக்குமான AI Crawler and Agent access policies. இரண்டும் Free திட்டத்தில் கிடைக்கின்றன, இரண்டும் 2026-இல் மாறின, கிராலருக்கு 403-உடன் பதிலளிக்கக்கூடிய மற்ற ஒவ்வொரு அம்சத்தைப் பற்றியும் இரண்டுமே சொல்வதில்லை. இந்த வழிகாட்டி அறிக்கையை நெடுவரிசை வாரியாக விளக்கி, allow, block-ஐ எங்கே அமைப்பது என்று காட்டி, உங்கள் சொந்தக் கணினியிலிருந்து இயக்கக்கூடிய சோதனையுடன் முடிகிறது.

இந்தப் பக்கத்தில்
  1. Cloudflare-இல் AI கிராலர் அறிக்கை எங்கே?
  2. AI Crawl Control அறிக்கையில் ஒவ்வொரு நெடுவரிசையும் அளவீடும் என்ன பொருள்?
  3. Cloudflare-இல் AI தேடல் கிராலர்களை அனுமதித்துப் பயிற்சி கிராலர்களைத் தடுப்பது எப்படி?
  4. Cloudflare-இன் AI கிராலர் இயல்புநிலைகளில் என்ன மாறியது?
  5. நான் அனுமதித்த பிறகும் Cloudflare ஏன் AI கிராலர்களைத் தடுக்கிறது?
  6. Cloudflare எந்த AI கிராலர்களை உள்ளே விடுகிறது என்று வெளியிலிருந்து எப்படி உறுதிசெய்வது?
  7. Cloudflare AI கிராலர்களுக்கு எதை அனுப்புகிறது என்று AISeeWhy எப்படிச் சரிபார்க்கிறது?

Cloudflare-இல் AI கிராலர் அறிக்கை எங்கே?

dashboard-இல் உங்கள் கணக்கையும் domain-ஐயும் தேர்ந்தெடுத்து, AI Crawl Control-ஐத் திறங்கள். உங்கள் domain-இன் போக்குவரத்து Cloudflare வழியாக proxy செய்யப்படும் வரை, அது அமைப்பு இல்லாமல் வேலை செய்கிறது, எல்லாத் திட்டங்களிலும் கிடைக்கிறது என்று Cloudflare கூறுகிறது. அதில் நான்கு பகுதிகள் உள்ளன:

எண்களைப் படிக்கும்போது இரண்டு திட்ட வரம்புகள் முக்கியம். Free திட்டத்தில் AI Crawl Control கிராலர்களை அவற்றின் user agent string மூலம் மட்டுமே அடையாளம் காண்கிறது, எனவே தங்களை அறிவிக்கும் கிராலர்களை மட்டுமே பார்க்கிறது; Metrics tab கடந்த 24 மணிநேரத்தை உள்ளடக்குகிறது. கட்டணத் திட்டங்கள் Bot Management detection ID மூலம் கண்டறிதலைச் சேர்க்கின்றன; Bot Management உடன் Enterprise-க்கு அமைக்கக்கூடிய கால வரம்புகள் கிடைக்கின்றன.

AI Crawl Control அறிக்கையில் ஒவ்வொரு நெடுவரிசையும் அளவீடும் என்ன பொருள்?

Cloudflare புலங்களைக் கீழ்க்கண்டவாறு ஆவணப்படுத்துகிறது. வரையறைகள் முக்கியம், ஏனெனில் பல எண்கள் நீங்கள் எதிர்பார்ப்பதை விட அதிகமானவற்றை எண்ணுகின்றன.

நீங்கள் தேர்ந்தெடுத்த செயலிலிருந்து அறிக்கையைப் படியுங்கள். Allow என அமைக்கப்பட்ட கிராலர் பெரும்பாலும் அனுமதிக்கப்பட்ட கோரிக்கைகளையும் 2xx குறியீடுகளையும் காட்ட வேண்டும். அது பல தோல்வியுற்ற கோரிக்கைகளைக் காட்டினால், அந்தக் கிராலருக்கு வடிகட்டிய status code பரவலைத் திறந்து, பதிலளித்த விதியைக் கண்டுபிடிக்க Security Analytics-ஐச் சரிபாருங்கள்.

Cloudflare-இல் AI தேடல் கிராலர்களை அனுமதித்துப் பயிற்சி கிராலர்களைத் தடுப்பது எப்படி?

இதைக் கிராலர் வாரியாகவோ நடத்தை வாரியாகவோ செய்யலாம். கிராலர் வாரியாக: AI Crawl Control-ஐத் திறந்து ஒவ்வொரு வரிசைக்கும் Action-ஐ அமையுங்கள். அங்கே தடுப்பது உங்கள் zone-இல் ஒரு WAF custom rule-ஐ உருவாக்குகிறது அல்லது புதுப்பிக்கிறது என்றும், path விதிவிலக்குகளுக்கு அதை WAF-இல் விரிவாக்கலாம் என்றும் Cloudflare கூறுகிறது. கட்டணத் திட்டங்களில், தடுக்கப்பட்ட கிராலர்கள் 403 பெறுமா 402 பெறுமா என்று தேர்ந்தெடுத்து, எளிய உரை body-ஐ அமைக்கலாம்.

நடத்தை வாரியாக: Security, பிறகு Settings-க்குச் சென்று, Bot traffic மூலம் வடிகட்டி, AI Crawler and Agent access policies-ஐத் திறங்கள். Cloudflare AI போக்குவரத்தை மூன்று நடத்தைகளாகப் பிரிக்கிறது; ஒவ்வொரு கொள்கையும் அந்த நடத்தை கொண்ட verified bot-களுக்கும் அதனுடன் பொருந்தும் unverified bot-களுக்கும் பொருந்தும்:

ஒவ்வொரு நடத்தையையும் Block, Block on pages with ads, அல்லது Allow (do not block) என அமைக்கலாம். Training-க்கு Disallow-உம் உண்டு; அது robots.txt மூலம் கிராலர்களைக் கேட்டுக்கொள்வது மட்டுமே. Bot Preference Sync இயக்கத்தில் இருந்தால், Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, meta-externalagent ஆகியவற்றை மறுக்கும் managed விதிகளை Cloudflare உங்கள் robots.txt-இன் தொடக்கத்தில் சேர்க்கிறது, ஒரு Content Signals வரியைச் சேர்க்கிறது, தேடல், பயிற்சி இரண்டுக்கும் பயன்படும் கிராலர்கள் தவிர AI பயிற்சி கிராலர்களை edge-இலும் தடுக்கிறது.

AI மேற்கோள்களை விரும்பும் பெரும்பாலான தளங்களுக்குப் பாதுகாப்பான சேர்க்கை: Search, Agent-ஐ Allow-இலும் Training-ஐ Disallow-இலும் வைத்து, பிறகு edge-இல் நிறுத்த விரும்பும் பயிற்சி-மட்டும் கிராலர்களுக்கு AI Crawl Control-இல் தனித்தனி Block செயல்கள்.

Cloudflare-இன் AI கிராலர் இயல்புநிலைகளில் என்ன மாறியது?

ஜூலை 1, 2025 அன்று, AI கிராலர்கள் படைப்பாளர்களுக்குப் பணம் செலுத்தாவிட்டால் அவற்றைத் தடுக்கும்படி இயல்புநிலையை மாற்றுவதாக Cloudflare அறிவித்தது. ஜூலை 1, 2026 அன்று, Free உட்பட எல்லாத் திட்டங்களுக்கும், ஒற்றை Block AI bots switch-ஐ மேலே விவரிக்கப்பட்ட தனித்தனி Search, Agent, Training கொள்கைகளால் மாற்றியது. செப்டம்பர் 15, 2026 முதல் சேரும் புதிய domain-களில் விளம்பரங்களைக் காட்டும் பக்கங்களில் Training, Agent தடுக்கப்பட்டு Search அனுமதிக்கப்படும் என்று அதே அறிவிப்பு கூறியது.

நவம்பர் 2, 2026 அன்று கடைசியாகப் புதுப்பிக்கப்பட்ட Cloudflare-இன் தற்போதைய கொள்கை ஆவணம், புதிய domain-கள் மூன்று நடத்தைகளுக்கும் இயல்பாக Allow (do not block) என்று கூறுகிறது. Cloudflare-இன் சொந்தப் பக்கங்கள் வெவ்வேறு நேரங்களில் வெவ்வேறு இயல்புநிலைகளை விவரித்துள்ளதால், உங்கள் zone-க்கு அவற்றில் எதையும் நம்ப வேண்டாம்: கொள்கைப் பக்கத்தைத் திறந்து என்ன அமைக்கப்பட்டுள்ளது என்று படியுங்கள்.

நான் அனுமதித்த பிறகும் Cloudflare ஏன் AI கிராலர்களைத் தடுக்கிறது?

AI Crawl Control-இல் உள்ள Allow செயல், AI Crawl Control தடுப்பதை மட்டுமே நிறுத்துகிறது. மற்ற அம்சங்கள் இன்னும் கோரிக்கையின் மீது செயல்படுகின்றன. பொதுவான காரணங்கள்:

Cloudflare எந்த AI கிராலர்களை உள்ளே விடுகிறது என்று வெளியிலிருந்து எப்படி உறுதிசெய்வது?

அதே பக்கத்தை உலாவி user agent-உடனும் ஒவ்வொரு கிராலரின் user agent-உடனும் கோரி, நிலையையும் அளவையும் ஒப்பிடுங்கள். கீழே உள்ள OpenAI, Perplexity, Google string-கள் அந்த நிறுவனங்கள் வெளியிட்டவை.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429 அல்லது 503 கொண்ட கிராலர் வரி, அல்லது உலாவி வரியை விட மிகச் சிறிய அளவு, உங்கள் origin-க்கு முன்னால் உள்ள ஏதோ ஒன்று வேறுவிதமாகப் பதிலளித்தது என்று பொருள். Free திட்டத்தில் AI Crawl Control கிராலர்களை user agent மூலம் கண்டறிகிறது, எனவே இந்தச் சோதனை அதன் தடைகளுக்கு நியாயமான சரிபார்ப்பு. verified bot நிலை அல்லது bot scores அடிப்படையிலான விதிகள் உங்கள் கோரிக்கையை உண்மையான கிராலரிடமிருந்து வேறுவிதமாக நடத்தலாம், ஏனெனில் அது இயக்குநரின் வெளியிடப்பட்ட வரம்புகளிலிருந்து அல்ல, உங்கள் IP முகவரியிலிருந்து வருகிறது. சோதித்த பிறகு, எந்த விதி பொருந்தியது என்று பார்க்க Security Analytics-இல் உங்கள் சொந்தக் கோரிக்கைகளைத் தேடுங்கள்.

Cloudflare AI கிராலர்களுக்கு எதை அனுப்புகிறது என்று AISeeWhy எப்படிச் சரிபார்க்கிறது?

இலவச AISeeWhy சரிபார்ப்பு உங்கள் பக்கத்தை ஒரு உண்மையான உலாவியுடன் சேர்த்து 16 AI மற்றும் தேடல் கிராலர்களாகக் கோருகிறது, ஒவ்வொரு கிராலருக்கும் உங்கள் robots.txt-ஐப் பொருத்துகிறது, ஃபயர்வால் challenge பக்கங்களை அடையாளம் காண்கிறது; எனவே Cloudflare dashboard-இல் உள்ள முடிவு கிராலர்கள் உண்மையில் பெறுவதுடன் பொருந்துகிறதா என்று பார்க்கலாம்.

இந்தச் சிக்கலுக்கான திருத்தங்கள்

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

Cloudflare AI Crawl Control இலவசமா?

ஆம். AI Crawl Control எல்லாத் திட்டங்களிலும் கிடைப்பதாக Cloudflare பட்டியலிடுகிறது. Free திட்டம் கிராலர்களை user agent மூலம் மட்டுமே கண்டறிகிறது, Metrics-இல் கடந்த 24 மணிநேரத்தைக் காட்டுகிறது; referral தரவுக்கும் தனிப்பயன் தடை பதில்களுக்கும் கட்டணத் திட்டம் தேவை.

Cloudflare AI Audit-க்கு என்ன ஆனது?

அதன் பெயர் மாற்றப்பட்டது. Cloudflare-இன் ஆவணம் AI Crawl Control-ஐ முன்பு AI Audit என்று விவரிக்கிறது, அதே நோக்கத்துடன்: எந்த AI கிராலர்கள் வருகின்றன என்று பார்த்து, ஒவ்வொன்றுக்கும் ஒரு செயலை அமைப்பது.

AI Crawl Control-இல் ஒரு கிராலரைத் தடுப்பது என் robots.txt-ஐ மாற்றுமா?

இல்லை. Block செயல் ஒரு WAF custom rule-ஐ உருவாக்குகிறது அல்லது புதுப்பிக்கிறது. Bot Preference Sync உடன் Training-க்கு Disallow விருப்பத்தைப் பயன்படுத்தினால் மட்டுமே robots.txt மாறுகிறது; அது Cloudflare-இன் managed விதிகளை உங்கள் கோப்பின் தொடக்கத்தில் சேர்க்கிறது.

Cloudflare-இல் robots.txt மீறலாக எது எண்ணப்படுகிறது?

உங்கள் robots.txt மறுக்கும் path-க்கு AI கிராலரிடமிருந்து வரும் கோரிக்கை. Cloudflare கடந்த கோரிக்கைகளை உங்கள் தற்போதைய விதிகளுடன் ஒப்பிடுகிறது, எனவே புதிய விதி, அந்த நேரத்தில் அனுமதிக்கப்பட்ட பழைய கோரிக்கைகளையும் குறிக்கலாம்.

pay per crawl என்றால் என்ன?

AI கிராலர்களை ஒவ்வொரு கோரிக்கைக்கும் பணம் செலுத்தக் கேட்கும் Charge செயல்; இல்லையெனில் HTTP 402-உடனும் விலையுடனும் பதிலளிக்கிறது. Cloudflare அதை closed beta என்று விவரிக்கிறது; WAF அல்லது Bot Management தடைகள் அதை விட முன்னுரிமை பெறுகின்றன.

மூலங்கள்

மேலும் கட்டுரைகள்