Cloudflare-இன் AI Crawl Control அறிக்கையைப் படித்து, எந்த AI கிராலர்கள் உள்ளே வருகின்றன என்று பார்ப்பது எப்படி
உங்கள் Cloudflare dashboard-இல் AI Crawl Control-ஐத் திறங்கள்: கிராலர் பட்டியல், உங்கள் domain-இல் Cloudflare பார்த்த ஒவ்வொரு AI கிராலரையும், அதன் கோரிக்கைகள், robots.txt மீறல்கள், அதன் செயல் Allow-ஆ Block-ஆ என்பதைக் காட்டுகிறது. பயிற்சியை மறுத்து AI தேடலை வைத்திருக்க, அங்கே அல்லது AI Crawler and Agent access policies-இன் கீழ் தேடல் மற்றும் agent கிராலர்களை அனுமதித்து, பயிற்சி கிராலர்களைத் தடுங்கள் அல்லது disallow செய்யுங்கள். பிறகு curl மூலம் வெளியிலிருந்து உறுதிசெய்யுங்கள், ஏனெனில் நீங்கள் அனுமதித்த கிராலரை Cloudflare-இன் பிற அம்சங்கள் இன்னும் தடுக்கலாம்.
AI கிராலர்கள் எதைப் பெறுகின்றன என்பதைத் தீர்மானிக்க Cloudflare-இல் இப்போது இரண்டு இடங்கள் உள்ளன: முன்பு AI Audit என்று அழைக்கப்பட்ட, கிராலர்வாரியான அறிக்கையும் கட்டுப்பாட்டுப் பலகையுமான AI Crawl Control; Security settings-இன் கீழ் zone முழுமைக்குமான AI Crawler and Agent access policies. இரண்டும் Free திட்டத்தில் கிடைக்கின்றன, இரண்டும் 2026-இல் மாறின, கிராலருக்கு 403-உடன் பதிலளிக்கக்கூடிய மற்ற ஒவ்வொரு அம்சத்தைப் பற்றியும் இரண்டுமே சொல்வதில்லை. இந்த வழிகாட்டி அறிக்கையை நெடுவரிசை வாரியாக விளக்கி, allow, block-ஐ எங்கே அமைப்பது என்று காட்டி, உங்கள் சொந்தக் கணினியிலிருந்து இயக்கக்கூடிய சோதனையுடன் முடிகிறது.
இந்தப் பக்கத்தில்
- Cloudflare-இல் AI கிராலர் அறிக்கை எங்கே?
- AI Crawl Control அறிக்கையில் ஒவ்வொரு நெடுவரிசையும் அளவீடும் என்ன பொருள்?
- Cloudflare-இல் AI தேடல் கிராலர்களை அனுமதித்துப் பயிற்சி கிராலர்களைத் தடுப்பது எப்படி?
- Cloudflare-இன் AI கிராலர் இயல்புநிலைகளில் என்ன மாறியது?
- நான் அனுமதித்த பிறகும் Cloudflare ஏன் AI கிராலர்களைத் தடுக்கிறது?
- Cloudflare எந்த AI கிராலர்களை உள்ளே விடுகிறது என்று வெளியிலிருந்து எப்படி உறுதிசெய்வது?
- Cloudflare AI கிராலர்களுக்கு எதை அனுப்புகிறது என்று AISeeWhy எப்படிச் சரிபார்க்கிறது?
Cloudflare-இல் AI கிராலர் அறிக்கை எங்கே?
dashboard-இல் உங்கள் கணக்கையும் domain-ஐயும் தேர்ந்தெடுத்து, AI Crawl Control-ஐத் திறங்கள். உங்கள் domain-இன் போக்குவரத்து Cloudflare வழியாக proxy செய்யப்படும் வரை, அது அமைப்பு இல்லாமல் வேலை செய்கிறது, எல்லாத் திட்டங்களிலும் கிடைக்கிறது என்று Cloudflare கூறுகிறது. அதில் நான்கு பகுதிகள் உள்ளன:
- Overview: மொத்தக் கோரிக்கைகள், அளவு மாற்றம், மிகப் பொதுவான status code, மிகப் பிரபலமான path, அதிக அளவு கிராலர்கள் கொண்ட சுருக்கம்; Cloudflare-இன் managed robots.txt இயக்கத்தில் உள்ளதா என்பதும், OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta போன்ற இயக்குநர் வாரியாகக் குழுவாக்கப்பட்ட கிராலர்களும்.
- கிராலர் பட்டியல்: ஒவ்வொரு AI கிராலருக்கும் ஒரு வரிசை, Allow அல்லது Block-ஐத் தேர்ந்தெடுக்கும் Action நெடுவரிசையுடன். Cloudflare-இன் ஆவணம் இந்த tab-ஐ ஒரு பக்கத்தில் Crawlers என்றும் மற்றொன்றில் Security என்றும் அழைக்கிறது, எனவே Action நெடுவரிசை உள்ள அட்டவணையைத் தேடுங்கள்.
- Metrics: காலப்போக்கில் கோரிக்கைகள், status code பரவல், உள்ளடக்க வடிவம், மிகப் பிரபலமான path-கள், கட்டணத் திட்டங்களில் referrals. வடிகட்டிகள் தேதி வரம்பு, கிராலர், இயக்குநர், hostname, path ஆகியவற்றை உள்ளடக்குகின்றன, CSV-ஆக ஏற்றுமதி செய்யலாம்.
- Directives: உங்கள் robots.txt கோப்பின் நிலையும் robots.txt மீறல்களின் பட்டியலும்.
எண்களைப் படிக்கும்போது இரண்டு திட்ட வரம்புகள் முக்கியம். Free திட்டத்தில் AI Crawl Control கிராலர்களை அவற்றின் user agent string மூலம் மட்டுமே அடையாளம் காண்கிறது, எனவே தங்களை அறிவிக்கும் கிராலர்களை மட்டுமே பார்க்கிறது; Metrics tab கடந்த 24 மணிநேரத்தை உள்ளடக்குகிறது. கட்டணத் திட்டங்கள் Bot Management detection ID மூலம் கண்டறிதலைச் சேர்க்கின்றன; Bot Management உடன் Enterprise-க்கு அமைக்கக்கூடிய கால வரம்புகள் கிடைக்கின்றன.
AI Crawl Control அறிக்கையில் ஒவ்வொரு நெடுவரிசையும் அளவீடும் என்ன பொருள்?
Cloudflare புலங்களைக் கீழ்க்கண்டவாறு ஆவணப்படுத்துகிறது. வரையறைகள் முக்கியம், ஏனெனில் பல எண்கள் நீங்கள் எதிர்பார்ப்பதை விட அதிகமானவற்றை எண்ணுகின்றன.
- Crawler, Category: கிராலரின் பெயர், அதன் இயக்குநர், AI crawler, AI assistant அல்லது archiver போன்ற அதன் வகை.
- Requests: அனுமதிக்கப்பட்டவையும் தோல்வியுற்றவையுமான கோரிக்கைகள், போக்கு வரைபடத்துடன். தோல்வியுற்ற கோரிக்கைகள் AI Crawl Control தடையிலிருந்து மட்டுமல்ல, எந்த விதியிலிருந்தும் response பிழையிலிருந்தும் வரலாம்; எனவே நீங்கள் அனுமதித்த கிராலருக்கு அதிக எண் என்றால் அது வேறொரு விதியையோ உங்கள் origin-இல் உள்ள பிழைகளையோ சுட்டுகிறது.
- Allowed requests: 200 முதல் 299 வரையிலான status பெற்ற கோரிக்கைகள். அனுமதிக்கப்பட்ட கோரிக்கைகளுக்கு Cloudflare அனுப்பிய bytes-இலிருந்து தரவுப் பரிமாற்றம் அளக்கப்படுகிறது.
- Robots.txt violations: உங்கள் robots.txt மறுக்கும் path-ஐக் கிராலர் எத்தனை முறை கோரியது. Cloudflare கடந்த கோரிக்கைகளை உங்கள் தற்போதைய விதிகளுடன் ஒப்பிடுகிறது, எனவே இன்று நீங்கள் சேர்க்கும் விதி, செய்யப்பட்டபோது அனுமதிக்கப்பட்ட கோரிக்கைகளையும் குறிக்கலாம்.
- Action: Allow, Block, அல்லது pay per crawl beta-வில் உள்ள கணக்குகளுக்கு Charge.
- Status code distribution: 2xx, 3xx, 4xx, 5xx. 4xx குழுவில் தடைகளிலிருந்து வரும் 403-உம் pay per crawl-இலிருந்து வரும் 402-உம் அடங்கும்.
- Referrals, top referrers, கட்டணத் திட்டங்களில் மட்டும்: AI சேவைகளிலிருந்து, உதாரணமாக chatgpt.com-இலிருந்து வந்த வருகைகள், அவை வந்திறங்கிய பக்கங்கள்.
நீங்கள் தேர்ந்தெடுத்த செயலிலிருந்து அறிக்கையைப் படியுங்கள். Allow என அமைக்கப்பட்ட கிராலர் பெரும்பாலும் அனுமதிக்கப்பட்ட கோரிக்கைகளையும் 2xx குறியீடுகளையும் காட்ட வேண்டும். அது பல தோல்வியுற்ற கோரிக்கைகளைக் காட்டினால், அந்தக் கிராலருக்கு வடிகட்டிய status code பரவலைத் திறந்து, பதிலளித்த விதியைக் கண்டுபிடிக்க Security Analytics-ஐச் சரிபாருங்கள்.
Cloudflare-இல் AI தேடல் கிராலர்களை அனுமதித்துப் பயிற்சி கிராலர்களைத் தடுப்பது எப்படி?
இதைக் கிராலர் வாரியாகவோ நடத்தை வாரியாகவோ செய்யலாம். கிராலர் வாரியாக: AI Crawl Control-ஐத் திறந்து ஒவ்வொரு வரிசைக்கும் Action-ஐ அமையுங்கள். அங்கே தடுப்பது உங்கள் zone-இல் ஒரு WAF custom rule-ஐ உருவாக்குகிறது அல்லது புதுப்பிக்கிறது என்றும், path விதிவிலக்குகளுக்கு அதை WAF-இல் விரிவாக்கலாம் என்றும் Cloudflare கூறுகிறது. கட்டணத் திட்டங்களில், தடுக்கப்பட்ட கிராலர்கள் 403 பெறுமா 402 பெறுமா என்று தேர்ந்தெடுத்து, எளிய உரை body-ஐ அமைக்கலாம்.
நடத்தை வாரியாக: Security, பிறகு Settings-க்குச் சென்று, Bot traffic மூலம் வடிகட்டி, AI Crawler and Agent access policies-ஐத் திறங்கள். Cloudflare AI போக்குவரத்தை மூன்று நடத்தைகளாகப் பிரிக்கிறது; ஒவ்வொரு கொள்கையும் அந்த நடத்தை கொண்ட verified bot-களுக்கும் அதனுடன் பொருந்தும் unverified bot-களுக்கும் பொருந்தும்:
- Search: பின்னர் கேள்விகளுக்குப் பதிலளிக்க உள்ளடக்கத்தைச் சேகரித்தல் அல்லது குறியிடுதல்.
- Agent: chat fetch-கள், browser agent-கள் போன்று ஒரு நபருக்காக நிகழ்நேரத்தில் செயல்படுதல்.
- Training: மாடல்களுக்குப் பயிற்சி அளிக்க அல்லது fine-tune செய்ய உள்ளடக்கத்தைச் சேகரித்தல், பயிற்சி, தேடல் இரண்டுக்கும் பயன்படும் கிராலர்கள் உட்பட.
ஒவ்வொரு நடத்தையையும் Block, Block on pages with ads, அல்லது Allow (do not block) என அமைக்கலாம். Training-க்கு Disallow-உம் உண்டு; அது robots.txt மூலம் கிராலர்களைக் கேட்டுக்கொள்வது மட்டுமே. Bot Preference Sync இயக்கத்தில் இருந்தால், Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, meta-externalagent ஆகியவற்றை மறுக்கும் managed விதிகளை Cloudflare உங்கள் robots.txt-இன் தொடக்கத்தில் சேர்க்கிறது, ஒரு Content Signals வரியைச் சேர்க்கிறது, தேடல், பயிற்சி இரண்டுக்கும் பயன்படும் கிராலர்கள் தவிர AI பயிற்சி கிராலர்களை edge-இலும் தடுக்கிறது.
AI மேற்கோள்களை விரும்பும் பெரும்பாலான தளங்களுக்குப் பாதுகாப்பான சேர்க்கை: Search, Agent-ஐ Allow-இலும் Training-ஐ Disallow-இலும் வைத்து, பிறகு edge-இல் நிறுத்த விரும்பும் பயிற்சி-மட்டும் கிராலர்களுக்கு AI Crawl Control-இல் தனித்தனி Block செயல்கள்.
Cloudflare-இன் AI கிராலர் இயல்புநிலைகளில் என்ன மாறியது?
ஜூலை 1, 2025 அன்று, AI கிராலர்கள் படைப்பாளர்களுக்குப் பணம் செலுத்தாவிட்டால் அவற்றைத் தடுக்கும்படி இயல்புநிலையை மாற்றுவதாக Cloudflare அறிவித்தது. ஜூலை 1, 2026 அன்று, Free உட்பட எல்லாத் திட்டங்களுக்கும், ஒற்றை Block AI bots switch-ஐ மேலே விவரிக்கப்பட்ட தனித்தனி Search, Agent, Training கொள்கைகளால் மாற்றியது. செப்டம்பர் 15, 2026 முதல் சேரும் புதிய domain-களில் விளம்பரங்களைக் காட்டும் பக்கங்களில் Training, Agent தடுக்கப்பட்டு Search அனுமதிக்கப்படும் என்று அதே அறிவிப்பு கூறியது.
நவம்பர் 2, 2026 அன்று கடைசியாகப் புதுப்பிக்கப்பட்ட Cloudflare-இன் தற்போதைய கொள்கை ஆவணம், புதிய domain-கள் மூன்று நடத்தைகளுக்கும் இயல்பாக Allow (do not block) என்று கூறுகிறது. Cloudflare-இன் சொந்தப் பக்கங்கள் வெவ்வேறு நேரங்களில் வெவ்வேறு இயல்புநிலைகளை விவரித்துள்ளதால், உங்கள் zone-க்கு அவற்றில் எதையும் நம்ப வேண்டாம்: கொள்கைப் பக்கத்தைத் திறந்து என்ன அமைக்கப்பட்டுள்ளது என்று படியுங்கள்.
நான் அனுமதித்த பிறகும் Cloudflare ஏன் AI கிராலர்களைத் தடுக்கிறது?
AI Crawl Control-இல் உள்ள Allow செயல், AI Crawl Control தடுப்பதை மட்டுமே நிறுத்துகிறது. மற்ற அம்சங்கள் இன்னும் கோரிக்கையின் மீது செயல்படுகின்றன. பொதுவான காரணங்கள்:
- Training-ஐத் தடுப்பது, இரண்டையும் செய்யும் தேடல் கிராலர்களையும் தடுக்கிறது. Training செயல்கள் கலப்பு நோக்க கிராலர்களுக்கும் பொருந்தும் என்று Cloudflare-இன் ஆவணம் கூறுகிறது; Training-ஐத் தடுக்கும் வாடிக்கையாளர்கள் செப்டம்பர் 15, 2026 முதல் தடுக்கும் கிராலர்களாக Googlebot, Applebot, bingbot ஆகியவற்றை அதன் ஜூலை 2026 அறிவிப்பு பெயரிடுகிறது. Disallow குறுகிய தேர்வு, ஏனெனில் அதன் edge தடை கலப்பு நோக்க கிராலர்களைத் தவிர்க்கிறது.
- Bot Fight Mode இயக்கத்தில் உள்ளது. WAF custom rules அல்லது Page Rules மூலம் Bot Fight Mode-ஐத் தவிர்க்க முடியாது என்று Cloudflare கூறுகிறது. அது ஒரு கிராலருக்கு challenge தந்தால், அதை அணையுங்கள், அல்லது அது உள்ள திட்டத்தில் skip விதிகளை ஆதரிக்கும் Super Bot Fight Mode-ஐப் பயன்படுத்துங்கள்.
- பழைய WAF custom rule ஒன்று
botகொண்ட user agent-களைத் தடுக்கிறது, அல்லது ஒரு rate limiting விதி திடீர் அதிகரிப்புகளுக்கு 429-உடன் பதிலளிக்கிறது. இவை AI Crawl Control-இல் உள்ள Action எதுவாக இருந்தாலும் இயங்குகின்றன. - தடை விதி கைமுறையாகத் திருத்தப்பட்டது. AI Crawl Control-க்குப் பின்னால் உள்ள WAF விதி வேறு response code-க்கு மாற்றப்பட்டால், dashboard உங்கள் தேர்வை இனி செயல்படுத்த முடியாது.
- robots.txt இன்னும் கிராலரை மறுக்கிறது. Cloudflare-இன் Allow உங்கள் robots.txt-ஐ மாற்றுவதில்லை, எனவே மரியாதையான கிராலர் எப்படியும் விலகியே இருக்கும். மிகப் பிரபலமான 1,000 domain-கள் பற்றிய எங்கள் ஆய்வில், robots.txt-இல் AI பயிற்சி கிராலரைத் தடுத்த 155 தளங்களில் 98, குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுத்தன.
Cloudflare எந்த AI கிராலர்களை உள்ளே விடுகிறது என்று வெளியிலிருந்து எப்படி உறுதிசெய்வது?
அதே பக்கத்தை உலாவி user agent-உடனும் ஒவ்வொரு கிராலரின் user agent-உடனும் கோரி, நிலையையும் அளவையும் ஒப்பிடுங்கள். கீழே உள்ள OpenAI, Perplexity, Google string-கள் அந்த நிறுவனங்கள் வெளியிட்டவை.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429 அல்லது 503 கொண்ட கிராலர் வரி, அல்லது உலாவி வரியை விட மிகச் சிறிய அளவு, உங்கள் origin-க்கு முன்னால் உள்ள ஏதோ ஒன்று வேறுவிதமாகப் பதிலளித்தது என்று பொருள். Free திட்டத்தில் AI Crawl Control கிராலர்களை user agent மூலம் கண்டறிகிறது, எனவே இந்தச் சோதனை அதன் தடைகளுக்கு நியாயமான சரிபார்ப்பு. verified bot நிலை அல்லது bot scores அடிப்படையிலான விதிகள் உங்கள் கோரிக்கையை உண்மையான கிராலரிடமிருந்து வேறுவிதமாக நடத்தலாம், ஏனெனில் அது இயக்குநரின் வெளியிடப்பட்ட வரம்புகளிலிருந்து அல்ல, உங்கள் IP முகவரியிலிருந்து வருகிறது. சோதித்த பிறகு, எந்த விதி பொருந்தியது என்று பார்க்க Security Analytics-இல் உங்கள் சொந்தக் கோரிக்கைகளைத் தேடுங்கள்.
Cloudflare AI கிராலர்களுக்கு எதை அனுப்புகிறது என்று AISeeWhy எப்படிச் சரிபார்க்கிறது?
இலவச AISeeWhy சரிபார்ப்பு உங்கள் பக்கத்தை ஒரு உண்மையான உலாவியுடன் சேர்த்து 16 AI மற்றும் தேடல் கிராலர்களாகக் கோருகிறது, ஒவ்வொரு கிராலருக்கும் உங்கள் robots.txt-ஐப் பொருத்துகிறது, ஃபயர்வால் challenge பக்கங்களை அடையாளம் காண்கிறது; எனவே Cloudflare dashboard-இல் உள்ள முடிவு கிராலர்கள் உண்மையில் பெறுவதுடன் பொருந்துகிறதா என்று பார்க்கலாம்.
இந்தச் சிக்கலுக்கான திருத்தங்கள்
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
Cloudflare AI Crawl Control இலவசமா?
ஆம். AI Crawl Control எல்லாத் திட்டங்களிலும் கிடைப்பதாக Cloudflare பட்டியலிடுகிறது. Free திட்டம் கிராலர்களை user agent மூலம் மட்டுமே கண்டறிகிறது, Metrics-இல் கடந்த 24 மணிநேரத்தைக் காட்டுகிறது; referral தரவுக்கும் தனிப்பயன் தடை பதில்களுக்கும் கட்டணத் திட்டம் தேவை.
Cloudflare AI Audit-க்கு என்ன ஆனது?
அதன் பெயர் மாற்றப்பட்டது. Cloudflare-இன் ஆவணம் AI Crawl Control-ஐ முன்பு AI Audit என்று விவரிக்கிறது, அதே நோக்கத்துடன்: எந்த AI கிராலர்கள் வருகின்றன என்று பார்த்து, ஒவ்வொன்றுக்கும் ஒரு செயலை அமைப்பது.
AI Crawl Control-இல் ஒரு கிராலரைத் தடுப்பது என் robots.txt-ஐ மாற்றுமா?
இல்லை. Block செயல் ஒரு WAF custom rule-ஐ உருவாக்குகிறது அல்லது புதுப்பிக்கிறது. Bot Preference Sync உடன் Training-க்கு Disallow விருப்பத்தைப் பயன்படுத்தினால் மட்டுமே robots.txt மாறுகிறது; அது Cloudflare-இன் managed விதிகளை உங்கள் கோப்பின் தொடக்கத்தில் சேர்க்கிறது.
Cloudflare-இல் robots.txt மீறலாக எது எண்ணப்படுகிறது?
உங்கள் robots.txt மறுக்கும் path-க்கு AI கிராலரிடமிருந்து வரும் கோரிக்கை. Cloudflare கடந்த கோரிக்கைகளை உங்கள் தற்போதைய விதிகளுடன் ஒப்பிடுகிறது, எனவே புதிய விதி, அந்த நேரத்தில் அனுமதிக்கப்பட்ட பழைய கோரிக்கைகளையும் குறிக்கலாம்.
pay per crawl என்றால் என்ன?
AI கிராலர்களை ஒவ்வொரு கோரிக்கைக்கும் பணம் செலுத்தக் கேட்கும் Charge செயல்; இல்லையெனில் HTTP 402-உடனும் விலையுடனும் பதிலளிக்கிறது. Cloudflare அதை closed beta என்று விவரிக்கிறது; WAF அல்லது Bot Management தடைகள் அதை விட முன்னுரிமை பெறுகின்றன.
மூலங்கள்
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI கிராலர் அணுகல் அறிக்கை, 2026-11