AI கிராலர்களைத் தடுக்காமல் மெதுவாக்குவது எப்படி
தடுப்பதற்குப் பதிலாக rate limit அமையுங்கள். கூடுதல் கிராலர் கோரிக்கைகளுக்கு Retry-After header உடன் 429 அல்லது 503 மூலம் பதிலளியுங்கள், ஒவ்வொரு கிராலருக்கும் தனி வரம்பைக் கொடுங்கள், /robots.txt-ஐ எல்லா வரம்புகளிலிருந்தும் விலக்கி வையுங்கள், கிராலர்களுக்குக் கேஷிலிருந்து வழங்குங்கள். robots.txt-இல் Crawl-delay அதை இயக்குநர் ஆவணப்படுத்தும் இடத்தில் மட்டுமே உதவும்: Anthropic, Bing ஆவணப்படுத்துகின்றன, Google அதை ஆதரிப்பதில்லை என்கிறது, OpenAI, Perplexity அதைக் குறிப்பிடவில்லை. AI தேடல் கிராலர்களை அனுமதித்தே வையுங்கள், இல்லையெனில் அவை உருவாக்கும் பதில்களிலிருந்தும் நீங்கள் வெளியேறுவீர்கள்.
ஒரு கிராலர் ஒரு மணி நேரத்தில் ஆயிரக்கணக்கான கோரிக்கைகளை அனுப்பும்போது, விரைவான தீர்வு Disallow: / அல்லது ஃபயர்வால் தடை. பயிற்சிக் கிராலருக்கு அது நியாயமான தேர்வாக இருக்கலாம். OAI-SearchBot, Claude-SearchBot அல்லது PerplexityBot-க்கு அது, நீங்கள் தோன்ற விரும்பும் AI பதில்களிலிருந்து உங்கள் பக்கங்களை நீக்குகிறது. பெரும்பாலும் அதை விட்டுக்கொடுக்காமலேயே, கிராலர்கள் ஏற்கெனவே புரிந்துகொள்ளும் signals மூலம் சுமையைக் குறைக்கலாம்: நிலைக் குறியீடுகள், caching, சில இயக்குநர்களுக்கு Crawl-delay.
இந்தப் பக்கத்தில்
- உண்மையில் எந்தக் கிராலர் சுமையை ஏற்படுத்துகிறது?
- AI கிராலர்களுக்கு Crawl-delay வேலை செய்கிறதா?
- 429, 503 பதில்கள் கிராலர்களை எப்படி மெதுவாக்குகின்றன?
- AI கிராலர்களுக்கு rate limit-ஐ எப்படி அமைப்பது?
- Caching கிராலர் சுமையைக் குறைக்குமா?
- கிராலர்களை மெதுவாக்கும்போது எதைத் தவிர்க்க வேண்டும்?
- கிராலர்கள் இன்னும் கடந்து செல்கின்றனவா என்று எப்படிச் சரிபார்ப்பது?
உண்மையில் எந்தக் கிராலர் சுமையை ஏற்படுத்துகிறது?
எதையும் மாற்றுவதற்கு முன் பாருங்கள். உங்கள் access logs-இல் user agent வாரியாகவும் மணி நேர வாரியாகவும் கோரிக்கைகளை எண்ணி, மூல IP-களை ஒவ்வொரு நிறுவனமும் வெளியிடும் வரம்புகளுடன் சரிபாருங்கள்; AI கிராலர்களுக்காக சர்வர் logs-ஐச் சரிபார்ப்பது பற்றிய எங்கள் வழிகாட்டியில் கட்டளைகள் உள்ளன. இரண்டு கண்டுபிடிப்புகள் அடிக்கடி வருகின்றன:
- அதிகப் போக்குவரத்து AI கிராலர் என்று மட்டுமே கூறிக்கொள்கிறது. IP-கள் நிறுவனத்தின் பட்டியலில் இல்லையெனில், உண்மையான கிராலருக்கான விதிகள் உதவாது. அதற்குப் பதிலாக அந்தப் போக்குவரத்தை அதன் மூலத்தின் அடிப்படையில் கட்டுப்படுத்துங்கள் அல்லது தடுங்கள்.
- உண்மையான கிராலர் முடிவில்லா நாள்காட்டிப் பக்கங்கள், filter சேர்க்கைகள், URL-களில் session ID-கள் போன்ற crawl trap-இல் சிக்கியுள்ளது. அந்த paths-க்கு
Disallowவிதிகளுடன் பொறியை மூடுவது எந்த rate limit-ஐ விடவும் அதிகம் சேமிக்கிறது.
கிராலர்களை அவற்றின் வேலைப்படியும் பிரியுங்கள். GPTBot, ClaudeBot போன்ற பயிற்சிக் கிராலர்கள் AI தேடலில் உங்களை மேற்கோள் காட்டத்தக்கதாக்குபவை அல்ல; எனவே அவற்றில் ஒன்றுதான் பிரச்சினை என்றால், அதை மறுப்பது நியாயமான வழி. இந்த வழிகாட்டியின் மீதி, நீங்கள் வைத்திருக்க விரும்பும் கிராலர்களுக்கானது.
AI கிராலர்களுக்கு Crawl-delay வேலை செய்கிறதா?
Crawl-delay RFC 9309-இன் பகுதி அல்ல, எனவே அதைப் படிப்பதா என்பதை ஒவ்வொரு இயக்குநரும் தீர்மானிக்கிறார். நவம்பர் 2026 நிலவரப்படி ஆவணங்கள் கூறுவது:
- Anthropic: ஆதரிக்கிறது. கிராலிங் செயல்பாட்டைக் கட்டுப்படுத்த தரமற்ற
Crawl-delayநீட்டிப்பை ஆதரிப்பதாக அதன் உதவிப் பக்கம் கூறுகிறது;ClaudeBotகுழுவில்Crawl-delay: 1என்பதை எடுத்துக்காட்டாகத் தருகிறது. - Microsoft Bing: ஆதரிக்கிறது. Bing-இன் webmaster வலைப்பதிவு இந்த மதிப்பை,
bingbotஅதிகபட்சம் ஒரு பக்கத்தை கிராலிங் செய்யும் 1 முதல் 30 வினாடி நேர இடைவெளியாக விவரிக்கிறது; robots.txt crawl delay, Bing Webmaster Tools-இன் கிராலிங் அமைப்புகளை மீறுகிறது என்றும் கூறுகிறது. - Google: ஆதரிக்கவில்லை. Google-இன் robots.txt ஆவணங்கள்
crawl-delay-ஐத் தான் ஆதரிக்காத புலமாகப் பெயரிடுகின்றன. - OpenAI, Perplexity: அவற்றின் கிராலர் பக்கங்கள் இதைக் குறிப்பிடவில்லை, எனவே
GPTBot,OAI-SearchBotஅல்லதுPerplexityBotமீது அதன் விளைவு ஆவணப்படுத்தப்படவில்லை.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ குழு தர்க்கத்தைக் கவனியுங்கள். தன் பெயரில் குழுவைக் காணும் கிராலர் User-agent: * குழுவை முழுவதுமாகப் புறக்கணிக்கிறது; எனவே Crawl-delay மட்டும் உள்ள ClaudeBot குழு, மற்ற அனைவருக்கும் நீங்கள் அமைத்த ஒவ்வொரு Disallow-ஐயும் கைவிடும். மேலே உள்ளபடி அவற்றை மீண்டும் எழுதுங்கள். இரண்டு குழுக்களில் எதிலிருந்தும் தான் படிக்கும் விதிவிலக்காக Crawl-delay-ஐ Bing விவரிக்கிறது, ஆனால் பிற கிராலர்களுக்கு அதைக் கருதிக்கொள்ளாதீர்கள்.
429, 503 பதில்கள் கிராலர்களை எப்படி மெதுவாக்குகின்றன?
சுமை உச்சங்களுக்கு, கிராலர்கள் மதிக்கும்படி வடிவமைக்கப்பட்ட signal நிலைக் குறியீடுதான். RFC 6585-இல் வரையறுக்கப்பட்ட 429 Too Many Requests என்றால், குறிப்பிட்ட நேரத்தில் client அதிகமான கோரிக்கைகளை அனுப்பியுள்ளது; எவ்வளவு நேரம் காத்திருக்க வேண்டும் என்று சொல்லும் Retry-After header-உம் இருக்கலாம். 503 Service Unavailable சர்வர் இப்போது சமாளிக்க முடியவில்லை என்று சொல்கிறது.
Googlebot-இன் கிராலிங் வேகத்தை விரைவாகக் குறைக்கும் வழியாக Google இதை ஆவணப்படுத்துகிறது: சில கிராலிங் கோரிக்கைகளுக்கு 200-க்குப் பதிலாக 500, 503 அல்லது 429-ஐத் தாருங்கள். இது முழு hostname-க்கும் கிராலிங் வேகத்தைக் குறைக்கிறது என்றும், Retry-After வினாடிகளின் எண்ணிக்கையையோ ஒரு தேதியையோ கொண்டிருக்கலாம் என்றும் அது கூறுகிறது.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. இதைக் குறுகிய காலத்துக்கு வையுங்கள். ஒன்று அல்லது இரண்டு நாட்களுக்கு மேல் இதைச் செய்ய வேண்டாம் என்று Google அறிவுறுத்துகிறது, ஏனெனில் பல நாட்கள் இந்தக் குறியீடுகளைத் தரும் URL அதன் index-இலிருந்து நீக்கப்படலாம். நீடித்த குறைப்புக்கு, Google அதற்குப் பதிலாக Search Console வழியாகச் சிறப்புக் கோரிக்கையை வழங்குகிறது.
OpenAI, Anthropic, Perplexity தங்கள் கிராலர்கள் 429, 503 அல்லது Retry-After-க்கு எப்படி எதிர்வினையாற்றுகின்றன என்று ஆவணப்படுத்தவில்லை. குறைவாகக் கேட்பதற்கான தரமான வழி இந்தக் குறியீடுகள்தான், ஆனால் ஒவ்வொரு AI கிராலரும் எவ்வளவு விரைவாகப் பின்வாங்குகிறது என்பதை எங்கும் பார்க்க முடியாது.
AI கிராலர்களுக்கு rate limit-ஐ எப்படி அமைப்பது?
எல்லாப் போக்குவரத்துக்கும் ஒரே வரம்புக்குப் பதிலாக ஒவ்வொரு கிராலருக்கும் தனி வரம்பைக் கொடுத்து, அதை மீறும் கோரிக்கைகளுக்கு 429 மூலம் பதிலளியுங்கள். nginx-இல் limit_req module இதைச் செய்கிறது. காலி key கொண்ட கோரிக்கைகள் எண்ணப்படுவதில்லை, எனவே கிராலர் user agents-க்கு மட்டும் key தரும் map மனிதப் பார்வையாளர்களைத் தொடாது. இங்கே ஒவ்வொரு கிராலருக்கும் நிமிடத்துக்கு 60 கோரிக்கைகளும் 20 burst-உம் கிடைக்கின்றன:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} இங்கே key user agent, எனவே ஒரு கிராலரின் பெயரை நகலெடுக்கும் எவரும் அந்தக் கிராலரின் வரம்பைப் பகிர்ந்துகொள்கிறார். rate limit-க்கு இது ஏற்கத்தக்கது. allow விதிக்கு, நிறுவனம் வெளியிடும் IP வரம்புகளையும் பொருத்துங்கள்.
Cloudflare-இல் rate limiting rules இதே வேலையை edge-இல் செய்கின்றன. Free திட்டத்தில் ஒரு விதி கிடைக்கும், 10 வினாடிகளில் IP வாரியாக எண்ணப்படும்; விதியின் expression, path-ஐயும் Verified Bot புலத்தையும் பயன்படுத்தலாம். பல முகவரிகளில் கோரிக்கைகளைப் பரப்பும் கிராலர்களுக்கு IP வாரியான எண்ணிக்கை தோராயமானது; உயர் திட்டங்கள் மேலும் எண்ணும் விருப்பங்களைச் சேர்க்கின்றன. இயல்புப் பதில் 429; வேறு 4xx குறியீட்டையும் custom body-ஐயும் அமைக்கலாம். AI Crawl Control ஒவ்வொரு கிராலருக்கும் Allow, Block, private beta-வில் Charge ஆகியவற்றை வழங்குகிறது, ஆனால் வேக அமைப்பு இல்லை.
எதைப் பயன்படுத்தினாலும், /robots.txt-ஐ வரம்பிலிருந்து விலக்கி வையுங்கள். robots.txt-க்கான சர்வர் பிழை என்றால் முழுத் தளமும் மறுக்கப்பட்டதாகக் கிராலர் கருத வேண்டும் என்று RFC 9309 கூறுகிறது; காணாமல் போன கோப்பாக Google கருதும் 4xx குறியீடுகளிலிருந்து 429-ஐ அது விலக்குகிறது.
Caching கிராலர் சுமையைக் குறைக்குமா?
பெரும்பாலும் rate limit-ஐ விட அதிகமாக. கிராலர்கள் பெரும்பாலும் ஒவ்வொரு பார்வையாளருக்கும் ஒரே மாதிரியான பொதுப் பக்கங்களைக் கேட்கின்றன, எனவே அவற்றை CDN அல்லது page cache-இலிருந்து வழங்குவது விலையுயர்ந்த renders-ஐ மலிவான hits-ஆக மாற்றுகிறது. கிராலர் user agents-க்கு உங்கள் கேஷ் தனியான, கேஷ் செய்யப்படாத வடிவத்தை வைத்திருக்கவில்லை என்று சரிபாருங்கள்.
Conditional கோரிக்கைகளும் உதவுகின்றன. தன் கிராலர்கள் ETag, If-None-Match, அத்துடன் Last-Modified, If-Modified-Since மூலம் HTTP caching-ஐ ஆதரிக்கின்றன என்றும், இரண்டும் இருக்கும்போது ETag-ஐப் பயன்படுத்துகின்றன என்றும் Google கூறுகிறது. OpenAI, Anthropic, Perplexity கிராலர் பக்கங்கள் தங்கள் கிராலர்கள் conditional கோரிக்கைகளை அனுப்புகின்றனவா என்று சொல்லவில்லை, எனவே அந்தச் சேமிப்பை Google-க்கு மட்டுமே எதிர்பாருங்கள்.
கிராலர்களை மெதுவாக்கும்போது எதைத் தவிர்க்க வேண்டும்?
- ஒரு நிறுவனத்தின் IP வரம்புகளை ஃபயர்வாலில் தடுப்பது. இது அதன் பாட்கள் உங்கள் robots.txt-ஐப் படிப்பதை நிறுத்துவதால், சரியாக வேலை செய்யாமலோ opt-out-ஐ நிலைநிறுத்தாமலோ போகலாம் என்று Anthropic எச்சரிக்கிறது.
- பல நாட்கள்
5xxஅல்லது429தருவது. தொடர்ந்து அவற்றைத் தரும் URL-கள் தன் index-இலிருந்து நீக்கப்படலாம் என்று Google கூறுகிறது. - பாட் பாதுகாப்பை வேகக் கட்டுப்பாடாகப் பயன்படுத்துவது. Cloudflare-இன் Bot Fight Mode பாட்களுக்குக் கணக்கீட்டு ரீதியாகச் செலவு மிக்க challenges-ஐத் தருகிறது, WAF custom rules மூலம் அதைத் தவிர்க்க முடியாது; எனவே நீங்கள் வைத்திருக்க விரும்பும் கிராலர்களுக்கு விலக்கு அளிக்க முடியாது.
- bandwidth-ஐச் சேமிக்கத் தேடல் கிராலரை மறுப்பது.
OAI-SearchBot,Claude-SearchBotஅல்லதுPerplexityBot-க்கானDisallow, அந்தக் கிராலர்கள் உருவாக்கும் பதில்களிலிருந்து உங்களை வெளியேற்றுகிறது.
கிராலர்கள் இன்னும் கடந்து செல்கின்றனவா என்று எப்படிச் சரிபார்ப்பது?
rate limits-ஐ அதிகக் கடுமையாக அமைப்பது எளிது. இலவச AISeeWhy சரிபார்ப்பு ஒரு பக்கத்தை உண்மையான உலாவியுடன் சேர்த்து 16 AI, தேடல் கிராலர்களாகப் பெறுகிறது, ஒவ்வொரு கிராலருக்கும் உங்கள் robots.txt-ஐப் பொருத்துகிறது, ஃபயர்வால் challenge பக்கங்களை அடையாளம் காண்கிறது; எனவே உலாவிகளிலிருந்து வேறுபட்டுக் கிராலர்களுக்குப் பதிலளிக்கும் விதி வெளிப்படும். கிராலருக்கு ஒரு கோரிக்கை நியாயமான வரம்பைத் தூண்டாது, அதுதான் நோக்கம்: விதிகளை மாற்றிய பிறகு சாதாரணக் கோரிக்கைகள் இன்னும் கடந்து செல்கின்றன என்று உறுதிசெய்ய இதை இயக்குங்கள். இலவச AI கிராலர் IP சரிபார்ப்பு உங்கள் logs-இலிருந்து ஒரு IP உண்மையில் GPTBot அல்லது வேறு கிராலருக்குச் சொந்தமானதா என்று சொல்கிறது.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
Google Crawl-delay-ஐ ஆதரிக்கிறதா?
இல்லை. Google-இன் robots.txt ஆவணங்கள் crawl-delay-ஐத் தான் ஆதரிக்காத புலங்களில் பட்டியலிடுகின்றன. Googlebot-ஐச் சிறிது நேரம் மெதுவாக்க, சில கோரிக்கைகளுக்கு 503, 500 அல்லது 429-ஐத் தாருங்கள்; நீண்ட குறைப்புக்கு Google, Search Console வழியாகச் சிறப்புக் கோரிக்கையை வழங்குகிறது.
ClaudeBot Crawl-delay-ஐ மதிக்கிறதா?
தரமற்ற Crawl-delay நீட்டிப்பை ஆதரிப்பதாக Anthropic கூறுகிறது. அதை ஒரு ClaudeBot குழுவில் வைத்து, உங்கள் User-agent: * குழுவின் Disallow விதிகள் அனைத்தையும் அங்கே மீண்டும் எழுதுங்கள்.
GPTBot, PerplexityBot Crawl-delay-ஐ ஆதரிக்கின்றனவா?
OpenAI, Perplexity கிராலர் பக்கங்கள் Crawl-delay-ஐக் குறிப்பிடவில்லை, எனவே அதன் விளைவு ஆவணப்படுத்தப்படவில்லை. கூடுதல் கோரிக்கைகளுக்கு 429 மூலம் பதிலளிக்கும் server-side வரம்பைப் பயன்படுத்துங்கள்.
429 பதில் என் ranking-ஐப் பாதிக்குமா?
குறுகிய காலத்துக்கு இல்லை. கிராலிங்கைத் தற்காலிகமாகக் குறைக்கும் வழியாக Google 429, 503-ஐ ஆவணப்படுத்துகிறது, ஆனால் பல நாட்கள் அவற்றைத் தரும் URL-கள் அதன் index-இலிருந்து நீக்கப்படலாம் என்று எச்சரிக்கிறது.
சுமையைக் குறைக்க GPTBot-ஐத் தடுக்க வேண்டுமா?
தடுக்கலாம். GPTBot பயிற்சிக்குப் பயன்படக்கூடிய உள்ளடக்கத்தை கிராலிங் செய்கிறது என்றும், ஒவ்வொரு robots.txt அமைப்பும் தனித்தது என்றும் OpenAI கூறுகிறது; எனவே அதை மறுப்பது OAI-SearchBot-ஐப் பயன்படுத்தும் ChatGPT தேடலிலிருந்து உங்களை நீக்காது. சுமை OpenAI-இன் முகவரிகளிலிருந்து வருகிறது என்று உறுதிசெய்ய முதலில் உங்கள் logs-ஐச் சரிபாருங்கள்.
மூலங்கள்
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers