பத்தில் நான்கு வணிக இணையதளங்கள் AI கிராலர்களை திருப்பி அனுப்புகின்றன
அமெரிக்கா, இங்கிலாந்து, பிரான்ஸ் நாடுகளின் 165 வணிக இணையதளங்களை நாங்கள் தணிக்கை செய்தோம். அவற்றில் 38% சர்வர் மட்டத்தில் குறைந்தது ஒரு AI கிராலரை திருப்பி அனுப்பின; அது கிட்டத்தட்ட எப்போதும் பயிற்சி அல்லது ஸ்க்ராப்பர் பாட் ஆகும். சுமார் பத்தில் ஒரு தளம், மேற்கோளுக்கு வழிவகுக்கக்கூடிய PerplexityBot அல்லது OAI-SearchBot போன்ற AI தேடல் கிராலரையும் மறுத்தது. ஒவ்வொரு கிராலருக்கும் ஒரு கோரிக்கை அனுப்பி உங்கள் தளத்தைச் சரிபாருங்கள்.
உங்கள் சொந்த தயாரிப்பைப் பற்றி ChatGPT-யிடம் கேட்கிறீர்கள்; அது ஒரு போட்டியாளரையும், ஒரு மதிப்பாய்வு தளத்தையும், ஒரு மன்றத் திரியையும் குறிப்பிடுகிறது. சில நேரங்களில் இது உள்ளடக்கப் பிரச்சினை. பல நேரங்களில் ஃபயர்வால் AI கிராலர்களுக்கு மறுப்பு தெரிவிக்கிறது. தளம் உலாவியில் நன்றாக வேலை செய்வதால் உங்கள் குழுவில் யாரும் அதைப் பார்த்ததே இல்லை.
இந்தப் பக்கத்தில்
நாங்கள் எதைச் சோதித்தோம்?
ஒரே முகவரியிலிருந்து ஒரு பக்கத்தை பலமுறை கோருகிறோம்: ஒருமுறை சாதாரண உலாவியாகவும், மீதி 14 AI மற்றும் தேடல் கிராலர்களாகவும். இவற்றில் OpenAI-யின் GPTBot, OAI-SearchBot, ChatGPT-User, Anthropic-ன் ClaudeBot, Claude-SearchBot, Perplexity-யின் PerplexityBot ஆகியவை அடங்கும். உலாவிக்குப் பக்கம் கிடைத்து, கிராலருக்கு 401, 403, 406, 429, 451, 503 அல்லது சவால் பக்கம் கிடைத்தால், அந்தத் தளம் அந்த கிராலரை திருப்பி அனுப்புகிறது.
மாதிரி: அமெரிக்கா, இங்கிலாந்து, பிரான்ஸ் நாடுகளின் 218 வணிக இணையதளங்கள்; 2026 நவம்பர் 18 முதல் 21 வரை தணிக்கை செய்யப்பட்டவை. 165 தளங்களில் முழுச் சோதனையை நடத்த முடிந்தது. மற்ற 53 தளங்கள் எங்கள் சாதாரண உலாவி கோரிக்கையையே மறுத்தன அல்லது பதிலளிக்கவில்லை; ஊகிக்காமல் அவற்றை விலக்கினோம்.
நாங்கள் என்ன கண்டறிந்தோம்?
- சோதிக்கக்கூடிய தளங்களில் 38% (165-இல் 63) குறைந்தது ஒரு AI கிராலரை திருப்பி அனுப்பின.
- அந்தத் தளங்கள் ஒவ்வொன்றும் குறைந்தது ஒரு பயிற்சி அல்லது ஸ்க்ராப்பர் கிராலரை மறுத்தன. எல்லா தளங்களிலும்
Bytespider-ஐ 35%,ClaudeBot-ஐ 13%,GPTBot-ஐ 11% மறுத்தன. - 10% தளங்கள் (16) குறைந்தது ஒரு AI தேடல் கிராலரையும் மறுத்தன; 5% (8) ஒருவர் உதவியாளரிடம் கேட்கும்போது பக்கத்தை நேரடியாகத் திறக்கும் கிராலரை மறுத்தன.
- மிக முக்கியமான தேடல் கிராலர்கள்
PerplexityBot(11 தளங்கள்) மற்றும்OAI-SearchBot(5 தளங்கள்). - நாங்கள் சோதித்த கிராலர்களில் ஏதேனும் ஒன்றை மறுத்த 66 தளங்களில் 32-க்குப் பின்னால் Cloudflare இருந்தது. மற்ற 30 தளங்களில் எந்த ஃபயர்வால் பதிலளித்தது என்று எங்களால் சொல்ல முடியவில்லை.
இது ஏன் நடக்கிறது, எப்போது அது தேர்வாகும்?
இதில் பெரும்பகுதி வேண்டுமென்றே செய்யப்பட்டிருக்கலாம். பல உரிமையாளர்கள் தங்கள் உள்ளடக்கம் மாடல்களைப் பயிற்றுவிக்கப் பயன்படுவதை விரும்புவதில்லை; ஸ்க்ராப்பர்களைத் தடுக்கும் பாட் பாதுகாப்பு அமைப்புகளை இயக்குவதும் எளிது. அது நியாயமான தேர்வு.
சிக்கல் என்னவென்றால், AI நிறுவனங்கள் பயிற்சிக்கும் தேடலுக்கும் தனித்தனி கிராலர்களை இயக்குகின்றன. பயிற்சி கிராலரைத் தடுக்க தேடல் கிராலரைத் தடுக்க வேண்டியதில்லை; உங்கள் பக்கம் பதிலில் மேற்கோள் காட்டப்பட வழிவகுப்பது தேடல் கிராலரே.
மிகப் பெரிய தளங்கள் சிறப்பாக உள்ளனவா?
உண்மையில் இல்லை. மிகப் பிரபலமான 1,000 டொமைன்கள் பற்றிய எங்கள் robots.txt அறிக்கையில், robots.txt உள்ள தளங்களில் 29.9% குறைந்தது ஒரு AI பயிற்சி கிராலரைத் தடுக்கின்றன; அவற்றில் 63.2% குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன. எல்லா AI தேடல் கிராலர்களையும் அனுமதித்து பயிற்சியை மட்டும் தடுப்பவை வெறும் 11.0%; பெரும்பாலானவை விரும்பியிருக்கக்கூடிய அமைப்பு இதுவே.
என் தளத்தைப் பத்து நிமிடங்களில் எப்படிச் சரிபார்ப்பது?
yoursite.com/robots.txtஐத் திறக்கவும். நீங்கள் கவனிக்கும் ஒவ்வொரு AI கிராலருக்கும், அதைப் பெயரிடும் குழு உள்ளதா, அது என்ன சொல்கிறது என்று பாருங்கள். ஒரு கிராலரைப் பெயரிடும் குழு பொதுவான*குழுவை முழுமையாக மாற்றிவிடும்.- கோப்பு என்ன சொல்கிறது என்பதை அல்ல, சர்வர் என்ன செய்கிறது என்பதைச் சோதியுங்கள். உங்கள் முக்கிய பக்கத்தை உலாவியாகவும் கிராலராகவும் கோருங்கள். 403, 429,
Just a moment...என்ற தலைப்புள்ள பக்கம், அல்லது உலாவிக்குக் கிடைத்ததை விட மிகச் சிறிய பதில் ஆகியவை ஃபயர்வால் தடுப்பின் அடையாளம். - உதவியாளரிடம் கேளுங்கள். தேடலை இயக்கி, உங்கள் வாங்குபவர்கள் கேட்கும் கேள்விகளை ChatGPT அல்லது Perplexity-யிடம் கேட்டு, அது எந்தத் தளங்களை மேற்கோள் காட்டுகிறது என்று பாருங்கள். அணுகல் சரியாக இருந்தும் நீங்கள் வராவிட்டால், பிரச்சினை அணுகலில் அல்ல, உள்ளடக்கத்தில்.
இந்த எண்கள் எவ்வளவு நம்பகமானவை?
இவற்றை ஒரு போக்காகக் கருதுங்கள், மக்கள்தொகைக் கணக்கெடுப்பாக அல்ல. மாதிரி சீரற்றது அல்ல: விளம்பர நூலகங்கள், வேலை வாய்ப்புத் தளங்கள், வரைபடப் பட்டியல்கள் வழியாகக் கண்டறிந்த நிறுவனங்கள் இவை. நாங்கள் ஒரே முகவரியிலிருந்து user agent மூலம் சோதிக்கிறோம்; உண்மையான கிராலர்கள் அவற்றின் நிறுவனங்கள் வெளியிடும் முகவரிகளிலிருந்து வருவதால், சில ஃபயர்வால்கள் அவற்றை வேறு விதமாக நடத்தும். மேலும், தடுப்பு எப்போதும் தவறல்ல.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
எத்தனை சதவீத இணையதளங்கள் AI கிராலர்களைத் தடுக்கின்றன?
சோதிக்கக்கூடிய 165 வணிக இணையதளங்களின் எங்கள் தணிக்கையில், 38% சர்வர் மட்டத்தில் குறைந்தது ஒரு AI கிராலரை திருப்பி அனுப்பின; பெரும்பாலும் பயிற்சி மற்றும் ஸ்க்ராப்பர் பாட்கள். சுமார் 10% AI தேடல் கிராலரையும் மறுத்தன.
GPTBot-ஐத் தடுத்தால் என் தளம் ChatGPT தேடலில் வராதா?
இல்லை. OpenAI தன் கிராலர்களுக்கான ஒவ்வொரு robots.txt அமைப்பும் தனித்தனியானது என்று கூறுகிறது: GPTBot பயிற்சியுடன், OAI-SearchBot ChatGPT தேடலுடன் தொடர்புடையவை. ஒன்றைத் தடுப்பது மற்றதைத் தடுக்காது.
robots.txt இல்லாமல் ஒரு தளம் கிராலரை எப்படித் தடுக்க முடியும்?
ஃபயர்வால், CDN அல்லது பாட் பாதுகாப்பு விதி ஒரு கிராலருக்கு 403, 429 அல்லது சவால் பக்கத்தை அளிக்கலாம். robots.txt இதைக் காட்டாது; எனவே கிராலராகப் பக்கத்தைக் கோரி சோதிக்க வேண்டும்.
கிராலரை திருப்பி அனுப்புவது எப்போதும் தவறா?
இல்லை. பல உரிமையாளர்கள் பயிற்சி கிராலர்களையும் ஸ்க்ராப்பர்களையும் வெளியே வைக்க விரும்புகின்றனர். தேடல் கிராலர்களை தற்செயலாகத் தடுப்பதே தவறு; ஏனெனில் அவையே உங்கள் பக்கத்தை மேற்கோள் காட்டக்கூடியவை.
மூலங்கள்
- AISeeWhy: AI கிராலர் அணுகல் அறிக்கை, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI கிராலர்களின் மேலோட்டம்
- Perplexity: Perplexity கிராலர்கள்
- Cloudflare: AI கிராலர்களை நிர்வகித்தல் (AI Crawl Control)