என் தளம் ஏன் திடீரென AI கிராலர்களைத் தடுக்கிறது?
AI கிராலர்களைத் தடுக்கத் தொடங்கும் தளம் கிட்டத்தட்ட எப்போதும் இந்த ஐந்து இடங்களில் ஒன்றில் மாறியிருக்கும்: உண்மையில் வழங்கப்படும் robots.txt, Cloudflare-இன் AI கிராலர் கொள்கைகள் போன்ற CDN அமைப்பு, பாட் பாதுகாப்பு அல்லது rate limit, hosting இயல்புநிலை, அல்லது இப்போது பிழையுடன் பதிலளிக்கும் robots.txt. இன்றைய robots.txt-ஐயும் ஒரு பக்கத்தையும் ஒவ்வொரு கிராலராகப் பெற்று, அவற்றை உலாவியுடனும் முன்பு இருந்ததுடனும் ஒப்பிட்டு, அந்த அடுக்குகளை இதே வரிசையில் சரிபாருங்கள்.
AI பதில்களிலிருந்து மறைந்துவிட யாரும் முடிவு செய்வதில்லை. theme புதுப்பிப்பு, பாதுகாப்பு அமைப்பு, migration அல்லது ஒரு வழங்குநரின் மாறிய இயல்புநிலையின் பக்கவிளைவாக இது நடக்கிறது. உலாவி இன்னும் தளத்தைச் சாதாரணமாகப் பார்ப்பதால், யாராவது ChatGPT அல்லது Perplexity-இடம் தயாரிப்பைப் பற்றிக் கேட்டு ஒரு போட்டியாளரின் பெயரைப் பெறும் வரை இந்த மாற்றம் கவனிக்கப்படாமல் போகலாம். ஒவ்வொரு அடுக்கும் வெளியிலிருந்தோ உங்கள் logs-இலோ சரிபார்க்கக்கூடிய தடயங்களை விட்டுச்செல்கிறது.
இந்தப் பக்கத்தில்
- கிராலர்கள் பெறும் robots.txt மாறிவிட்டதா?
- Cloudflare-இன் 2026 AI கிராலர் கொள்கைகள் என் தளம் அனுமதிப்பதை மாற்றிவிட்டனவா?
- பாட் பாதுகாப்போ rate limit-ஓ கிராலர்களைப் பிடிக்கிறதா?
- என் hosting வழங்குநர் தன் இயல்புநிலைகளை மாற்றினாரா?
- robots.txt பிழையுடன் பதிலளிக்கிறதா?
- இது எப்போது தொடங்கியது என்று எப்படிக் கண்டுபிடிப்பது?
- அடுத்த முறை இதை எப்படி விரைவில் கண்டுபிடிப்பது?
கிராலர்கள் பெறும் robots.txt மாறிவிட்டதா?
https://yourdomain.com/robots.txt-ஐப் பெற்று, உங்கள் repository அல்லது backup-இல் உள்ள கோப்புடன் ஒப்பிடுங்கள். disk-இல் உள்ளதை அல்ல, வழங்கப்படும் கோப்பைப் பாருங்கள், ஏனெனில் வழியில் பல அடுக்குகள் அதை மாற்றலாம்:
- ஒரு deploy
Disallow: /கொண்ட staging robots.txt-ஐ அனுப்புகிறது, அல்லது migration-க்குப் பிறகு platform இயல்புநிலை அப்படியே இருக்கிறது. - site builder அமைப்பு ஒன்று AI கிராலர் விதிகளைச் சேர்க்கிறது. எடுத்துக்காட்டாக, Squarespace-இல் Block known artificial intelligence crawlers என்ற விருப்பம் உள்ளது; அது robots.txt-இல் 26 பாட் பெயர்களை எழுதுகிறது, காலப்போக்கில் மேலும் சேர்க்கப்படலாம் என்றும் கூறுகிறது. இது இயல்பாக அணைக்கப்பட்டுள்ளது, எனவே யாராவது இயக்க வேண்டும், ஆனால் அதன் பிறகு பட்டியல் வளரலாம்.
- SEO அல்லது பாதுகாப்பு plugin புதுப்பிப்பு புதிய விதிகளை எழுதுகிறது, அல்லது யாரோ இயக்கும் புதிய விருப்பத்தைச் சேர்க்கிறது.
- Bot Preference Sync இயக்கத்தில் இருந்து, ஒரு AI கொள்கை Block அல்லது Disallow-இல் இருக்கும்போது, Cloudflare தன் managed robots.txt-ஐ உங்கள் கோப்பின் முன்னால் சேர்க்கிறது. அப்போது உங்கள் சொந்தக் கோப்பு மாறாவிட்டாலும், வழங்கப்படும் கோப்பு
ClaudeBot,GPTBotமற்றும் வேறு ஆறு பயிற்சி tokens-க்கானDisallow: /உடன் தொடங்குகிறது. - பயிற்சிக் கிராலருக்கான விதி மற்றவற்றுக்கும் நகலெடுக்கப்பட்டது, அவற்றில்
OAI-SearchBot,Claude-SearchBotஅல்லதுPerplexityBotபோன்ற தேடல் கிராலர்களும் அடங்கும்.
Google Search Console-இன் robots.txt அறிக்கை கடந்த 30 நாட்களில் Google பெற்ற பதிப்புகளைக் காட்டுகிறது; கோப்போ அதைப் பெற்ற முடிவோ மாறும் ஒவ்வொரு முறையும் புதிய பதிவு வரும். Google பார்த்ததை மட்டுமே இது உள்ளடக்குகிறது, ஆனால் உங்கள் சர்வர் user agent-க்கு ஏற்ப robots.txt-ஐ மாற்றாதவரை, AI கிராலர்களும் அதே கோப்பைப் பெற்றன.
Cloudflare-இன் 2026 AI கிராலர் கொள்கைகள் என் தளம் அனுமதிப்பதை மாற்றிவிட்டனவா?
Cloudflare தன் AI கிராலர் கட்டுப்பாடுகளைப் பலமுறை மாற்றியுள்ளது; சில மாற்றங்கள் யாரும் எதையும் திருத்தாமலேயே ஒரு zone செய்வதை மாற்றுகின்றன. 1 ஜூலை 2025 அன்று புதிய domains-இடம் பதிவின்போது AI கிராலர்களை அனுமதிக்கலாமா என்று கேட்கத் தொடங்கியது, தொடக்க நிலை தடுப்பு. 1 ஜூலை 2026 அன்று ஒற்றை Block AI bots சுவிட்சுக்குப் பதிலாக Free உட்பட எல்லாத் திட்டங்களுக்கும் தனியான Search, Agent, Training கொள்கைகளைக் கொண்டுவந்தது.
பெரும்பாலான தளங்களைச் சிக்கவைக்கும் விவரம் கலப்பு நோக்கக் கிராலர்கள். தேடல், பயிற்சி இரண்டுக்கும் பயன்படும் கிராலர்களுக்கும் Training செயல்கள் பொருந்தும் என்று Cloudflare-இன் ஆவணங்கள் கூறுகின்றன. அதன் ஜூலை 2026 அறிவிப்பு, 15 செப்டம்பர் 2026 முதல், புதிய விருப்பங்கள் மூலமோ பழைய Block AI bots அமைப்பு மூலமோ Training-ஐத் தடுக்கத் தேர்ந்தெடுத்த வாடிக்கையாளர்களுக்கு Googlebot, Applebot, BingBot போன்ற பல்நோக்குக் கிராலர்கள் தடுக்கப்படும் என்று கூறியது. எனவே ஒரு வருடத்துக்கு முன் அமைத்த பயிற்சி opt-out இப்போது தேடல் கிராலர்களையும் எட்டலாம்.
புதிய domains-க்கான இயல்புநிலைகள் காலப்போக்கில் வெவ்வேறு விதமாக விவரிக்கப்பட்டுள்ளன. 15 செப்டம்பர் 2026 முதல் விளம்பரங்களைக் காட்டும் பக்கங்களில் புதிய domains-க்கு Training, Agent தடுக்கப்படும் என்று அதே அறிவிப்பு கூறியது; 2 நவம்பர் 2026 அன்று புதுப்பிக்கப்பட்ட கொள்கை ஆவணங்கள், புதிய domains மூன்றையும் Allow-இல் வைத்துத் தொடங்குகின்றன என்கின்றன. Security, பிறகு Settings-ஐத் திறந்து, Bot traffic மூலம் வடிகட்டி, உங்கள் zone-க்கான AI Crawler and Agent access policies-ஐப் படியுங்கள். Cloudflare AI Crawl Control பற்றிய எங்கள் வழிகாட்டி ஒவ்வொரு அமைப்பையும் விளக்குகிறது.
பாட் பாதுகாப்போ rate limit-ஓ கிராலர்களைப் பிடிக்கிறதா?
பாட் பாதுகாப்பு ஒவ்வொரு கோரிக்கையையும் மதிப்பிடுகிறது; கிராலர்கள் தரவு மையங்களிலிருந்து பல பக்கங்களை வேகமாகப் பெறுகின்றன, அதுவே பாட்கள் செய்வது. கடந்த மாதம் கடந்து சென்ற கிராலர், அதன் இயக்குநர் IP வரம்புகளையோ கிராலிங் வேகத்தையோ மாற்றிய பிறகு, அல்லது பாதுகாப்பு விதிகள் புதுப்பிக்கப்பட்ட பிறகு, challenge பக்கங்களைப் பெறத் தொடங்கலாம். Cloudflare-இன் Bot Fight Mode ஒரு பொதுவான காரணம்; அதை WAF custom rules அல்லது Page Rules மூலம் தவிர்க்கவோ கடக்கவோ முடியாது என்று Cloudflare கூறுகிறது, எனவே அது இயக்கத்தில் இருக்கும்வரை பின்னர் சேர்க்கும் allow விதி உதவாது. திடீர் கோரிக்கைகளுக்கு 429 உடன் பதிலளிக்கும் புதிய rate limit, சுறுசுறுப்பான கிராலர் மீது அதே விளைவை ஏற்படுத்துகிறது.
வெளியிலிருந்து சோதியுங்கள்: ஒரு பக்கத்தை உலாவியாகவும் இரண்டு AI தேடல் கிராலர்களாகவும் கோருங்கள், பிறகு robots.txt-ஐக் கிராலராகக் கோருங்கள்.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt கிராலருக்கு மட்டும் 403, 429 அல்லது 503, Just a moment... எனத் தலைப்பிட்ட பக்கம், அல்லது உலாவியின் பதிலை விட மிகச் சிறிய body என்றால், கிராலர் வேறுவிதமாக நடத்தப்படுகிறது. சோதனை நிறுவனத்தின் IP-இலிருந்து அல்ல, உங்கள் IP-இலிருந்து வருகிறது, எனவே சரிபார்க்கப்பட்ட பாட் நிலையை அடிப்படையாகக் கொண்ட விதிகள் உண்மையான கிராலரை இன்னும் வேறுவிதமாக நடத்தலாம். எந்த விதி பதிலளித்தது என்பதை ஃபயர்வாலின் event log காட்டுகிறது.
என் hosting வழங்குநர் தன் இயல்புநிலைகளை மாற்றினாரா?
சில hosts உங்கள் சொந்த விதிகள் இயங்குவதற்கு முன்பே சர்வரில் AI போக்குவரத்தை வடிகட்டுகின்றன. எடுத்துக்காட்டாக, பயிற்சித் தரவைச் சேகரிக்க வடிவமைக்கப்பட்ட AI கிராலர்களை இயல்பாகத் தடுப்பதாகவும், ஒருவர் AI உதவியாளரிடம் ஒரு பக்கத்தைப் பற்றிக் கேட்கும்போது வரும் கிராலர்களை அனுமதிப்பதாகவும் SiteGround ஆகஸ்ட் 2025-இல் எழுதியது. இத்தகைய விதிகள் உங்கள் robots.txt-இல் தெரிவதில்லை; host தன் பாட் பட்டியல்களைப் புதுப்பிக்கும்போது அவை மாறலாம்.
ஒரே host-இல் உள்ள பல தளங்களில் ஒரே நேரத்தில் தடை தோன்றினால், அல்லது உங்கள் application logs-ஐ ஒருபோதும் அடையாத பதில்களில் தோன்றினால், உங்கள் கணக்குக்கு எந்தப் பாட் விதிகள் பொருந்துகின்றன, நீங்கள் வைத்திருக்க விரும்பும் கிராலர்களுக்கு விலக்கு அளிக்க முடியுமா என்று host-இடம் கேளுங்கள்.
robots.txt பிழையுடன் பதிலளிக்கிறதா?
தோல்வியடையும் robots.txt எந்த Disallow வரியையும் விட அதிகமாகத் தடுக்கலாம். RFC 9309-இன்படி, 4xx பதில் என்றால் கிராலர் எல்லாவற்றையும் பெறலாம்; ஆனால் சர்வர் பிழை (5xx) அல்லது பதிலே இல்லை என்றால் முழுத் தளமும் மறுக்கப்பட்டதாகக் கருத வேண்டும். இத்தகைய பிழைகளின் முதல் 12 மணி நேரத்தில் Google கிராலிங்கை நிறுத்துகிறது, பிறகு 30 நாட்கள் வரை தன் கடைசி நல்ல நகலைப் பயன்படுத்துகிறது.
இப்படித்தான் ஒரு load spike, /robots.txt-க்கு challenge தரும் ஃபயர்வால் விதி, அல்லது அதை உள்ளடக்கும் rate limit, ஒரு விதியும் மாறாமலேயே நன்னடத்தை கொண்ட கிராலர்களை வெளியே நிறுத்தலாம். மேலே உள்ள சோதனையின் கடைசிக் கட்டளை 200, text/plain-ஐத் தர வேண்டும். அங்கே 5xx, timeout அல்லது challenge பக்கம் வந்தால், முதலில் அதைச் சரிசெய்யுங்கள்.
இது எப்போது தொடங்கியது என்று எப்படிக் கண்டுபிடிப்பது?
ஒரு தேதி கிடைத்தால் மர்மம் ஒரு நேரடி ஒப்பீடாகிவிடும். உங்கள் access logs-இல் AI கிராலர் user agents-இன் கோரிக்கைகளை வடிகட்டி, அவற்றின் நிலைக் குறியீடுகள் 200-இலிருந்து 403, 429 அல்லது 503-க்கு மாறிய நாளை, அல்லது robots.txt-ஐப் படித்த பிறகு அவை பக்கங்களைக் கோருவதை நிறுத்திய நாளைத் தேடுங்கள்; AI கிராலர்களுக்காக சர்வர் logs-ஐச் சரிபார்ப்பது பற்றிய எங்கள் வழிகாட்டியில் கட்டளைகள் உள்ளன. உங்கள் CDN தடுத்த கோரிக்கைகள் origin-ஐ ஒருபோதும் அடைவதில்லை, எனவே CDN-ஐயும் சரிபாருங்கள். Cloudflare-இல், AI Crawl Control காலப்போக்கில் நிலைக் குறியீடுகளின் பரவலைக் காட்டுகிறது; அதைக் கிராலர் வாரியாக வடிகட்டலாம்.
பிறகு அந்தத் தேதியை deploys, plugin, theme புதுப்பிப்புகள், CDN அமைப்பு மாற்றங்கள், வழங்குநர் அறிவிப்புகளுடன் ஒப்பிடுங்கள். நடவடிக்கை எடுப்பதற்கு முன், மூல IP-கள் நிறுவனத்துக்குச் சொந்தமானவை என்று உறுதிசெய்யுங்கள்; அப்போதுதான் நீங்கள் பார்ப்பது உண்மையான கிராலர், அதன் பெயரைப் பயன்படுத்தும் போலி அல்ல.
அடுத்த முறை இதை எப்படி விரைவில் கண்டுபிடிப்பது?
போக்குவரத்து குறையும்போது மட்டுமல்ல, ஒவ்வொரு deploy, CDN மாற்றம், plugin புதுப்பிப்புக்குப் பிறகும் அணுகலைச் சரிபாருங்கள். இலவச AISeeWhy சரிபார்ப்பு ஒரு பக்கத்தை உண்மையான உலாவியுடன் சேர்த்து 16 AI, தேடல் கிராலர்களாகப் பெறுகிறது, ஒவ்வொரு கிராலருக்கும் உங்கள் robots.txt-ஐப் பொருத்துகிறது, ஃபயர்வால் challenge பக்கங்களை அடையாளம் காண்கிறது. இலவச robots.txt சரிபார்ப்புக் கருவி, இன்று நேரலையில் உள்ள கோப்பின்படி ஒரு பக்கத்தைப் பெறலாமா என்று கிராலர் வாரியாகக் காட்டுகிறது.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
ChatGPT ஏன் என் தளத்தைக் காட்டுவதை நிறுத்தியது?
பெரும்பாலும் ChatGPT தேடலின் பின்னால் உள்ள கிராலரான OAI-SearchBot, robots.txt மாற்றம், CDN கொள்கை அல்லது பாட் பாதுகாப்பால் தடுக்கப்பட்டதால். அதைத் தடுக்கும் தளங்கள் ChatGPT தேடல் பதில்களில் தோன்றாது என்று OpenAI கூறுகிறது. அந்தக் கிராலருக்கு ஒவ்வொரு அடுக்கையும் சரிபாருங்கள்; robots.txt-ஐச் சரிசெய்த பிறகு சுமார் 24 மணி நேரம் கொடுங்கள், தன் அமைப்புகள் மாற்றத்துக்கு ஏற்ப அவ்வளவு நேரம் ஆகும் என்று OpenAI கூறுகிறது.
Cloudflare என் தளத்தில் Googlebot-ஐத் தடுக்கத் தொடங்கியதா?
அது நடக்கலாம். 15 செப்டம்பர் 2026 முதல் Training-ஐத் தடுக்கும் வாடிக்கையாளர்கள் Googlebot, Applebot, BingBot போன்ற பல்நோக்குக் கிராலர்களையும் தடுக்கிறார்கள் என்று Cloudflare கூறியது. Training Disallow விருப்பம் பயிற்சிக் கிராலர்களை edge-இல் தடுக்கிறது, ஆனால் கலப்புப் பயன்பாட்டுக் கிராலர்களை விட்டுவிடுகிறது என்று அதன் ஆவணங்கள் கூறுகின்றன, எனவே உங்கள் zone எந்த விருப்பத்தைப் பயன்படுத்துகிறது என்று சரிபாருங்கள்.
ஒரு website builder அல்லது plugin என் robots.txt-ஐ மாற்ற முடியுமா?
ஆம். site builders-உம் SEO அல்லது பாதுகாப்பு plugins-உம் robots.txt-இல் AI கிராலர் விதிகளை எழுதலாம்; சில காலப்போக்கில் தங்கள் பாட் பட்டியல்களை விரிவாக்குகின்றன. ஒவ்வொரு புதுப்பிப்புக்குப் பிறகும் நேரலைக் கோப்பைப் பெற்று, உங்களுக்கு முக்கியமான தேடல் கிராலர்களுக்குப் பொருந்தும் குழுக்களைப் படியுங்கள்.
என் நேரலை robots.txt ஏன் சர்வரில் உள்ள கோப்பிலிருந்து வேறுபடுகிறது?
உங்கள் சர்வருக்கு முன்னால் உள்ள ஏதோ ஒன்று அதை மாற்றுகிறது. எடுத்துக்காட்டாக, Cloudflare-இன் managed robots.txt அதே பதிலில் உங்கள் கோப்பின் முன்னால் தன் விதிகளையும் content signals-ஐயும் சேர்க்கிறது. கோரிக்கையின்போது robots.txt-ஐ உருவாக்கும் CMS, அல்லது host-நிலை அமைப்பும் அதை மாற்றலாம் அல்லது நீட்டிக்கலாம்.
சரிசெய்த பிறகு AI கிராலர்கள் திரும்ப வர எவ்வளவு நேரம் ஆகும்?
கேஷ் செய்யப்பட்ட robots.txt-ஐ 24 மணி நேரத்துக்கு மேல் கிராலர்கள் பயன்படுத்தக் கூடாது என்று RFC 9309 கூறுகிறது; OpenAI சுமார் 24 மணி நேரம் என்றும் Perplexity 24 மணி நேரம் வரை என்றும் கூறுகின்றன. ஃபயர்வால் மாற்றங்கள் உங்கள் வழங்குநர் அவற்றை வெளியிட்டவுடன் பொருந்தும், ஆனால் கிராலர்கள் தங்கள் சொந்த அட்டவணைப்படி திரும்புகின்றன.
மூலங்கள்
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers