மிகப் பிரபலமான 10,000 தளங்களின் robots.txt-ஐப் படித்தோம். AI கிராலர்களைப் பற்றி அவை செய்வது இதுதான்
Tranco முதல் 10,000 பட்டியலில் robots.txt வழங்கும் 6,192 டொமைன்களில், 23.2% குறைந்தது ஒரு AI பயிற்சி கிராலரையும், 12.3% குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன. பயிற்சியைத் தடுக்கும் தளங்களில் 51.6% AI தேடலையும் தடுக்கின்றன. எல்லா AI தேடல் கிராலர்களையும் அனுமதித்து பயிற்சியிலிருந்து மட்டும் விலகுபவை வெறும் 11.2%.
நவம்பரில் மிகப் பிரபலமான 1,000 டொமைன்களின் robots.txt-ஐப் படித்தோம். இந்த முறை அதே முறையில் 10,000 டொமைன்களைப் படித்தோம்; தளங்கள் சிறியதாகும்போது நிலை எப்படி மாறுகிறது என்பதையும் சேர்த்துச் சோதித்தோம். முக்கிய முடிவு மாறவில்லை: பயிற்சியைத் தடுப்பதும் தேடலைத் தடுப்பதும் இரண்டு தனித் தேர்வுகளாக இருந்தாலும், ஒரே முடிவாகவே கருதப்படுகின்றன.
இந்தப் பக்கத்தில்
இதை எப்படி அளந்தோம்?
Tranco பட்டியலின் (பட்டியல் ID JZWZY) முதல் 10,000 டொமைன்களை எடுத்து, 2026 நவம்பர் 21 அன்று AISeeWhy-இன் சொந்த user agent மூலம் ஒவ்வொரு டொமைனின் முகப்புப் பக்கம், robots.txt, llms.txt ஆகியவற்றை ஒரு முறை பெற்றோம். ஒவ்வொரு robots.txt-ஐயும் RFC 9309-இன்படி முகப்புப் பக்கத்துக்கும் (/) 16 AI மற்றும் தேடல் கிராலர்களுக்கும் மதிப்பிட்டோம்.
10,000 டொமைன்களில் 6,192 robots.txt வழங்கின (HTML பக்கமாக இல்லாத வெற்றிகரமான பதில்). 1,121 4xx பதிலளித்தன; அதாவது விதிகள் இல்லை, எல்லா கிராலர்களும் அனுமதிக்கப்படுகின்றன. 2,687 எதுவும் வழங்கவில்லை (HTTPS தளம் இல்லை, பிழைகள், நேரம் முடிதல், அல்லது அதற்குப் பதிலாக HTML பக்கம்). கீழே உள்ள ஒவ்வொரு சதவீதமும் அந்த 6,192-இல் கணக்கிடப்பட்டது. பட்டியலில் இணையதளம் எதுவும் வழங்காத CDN-களும் API-களும் அடங்கும்.
என்ன கண்டறிந்தோம்?
- 23.2% (1,437 டொமைன்கள்) குறைந்தது ஒரு AI பயிற்சி கிராலரைத் தடுக்கின்றன.
- 12.3% (762) குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரைத் தடுக்கின்றன; எனவே அதைச் சார்ந்த பதில்களில் அந்தப் பக்கங்கள் பயன்படுத்தப்படக்கூடாது, மேற்கோள் காட்டப்படக்கூடாது.
- பயிற்சி கிராலரைத் தடுக்கும் டொமைன்களில் 51.6% (1,437-இல் 742) குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன.
- வெறும் 11.2% (695) தேர்ந்தெடுத்த வழியில் செல்கின்றன: பயிற்சி கிராலர்களைத் தடுத்து, எல்லா AI தேடல் மற்றும் பயனர் கிராலர்களையும் அனுமதிக்கின்றன.
- 6.5% (401) தங்கள் AI விருப்பங்களை
Content-Signalமூலம் தெரிவிக்கின்றன. - மொத்த 10,000 டொமைன்களில் 12.4% (1,240)
llms.txtவெளியிடுகின்றன. - ஒப்பீட்டுக்கு, 2.0% (124) முகப்புப் பக்கத்தில்
Googlebot-ஐத் தடுக்கின்றன.
எந்தக் கிராலர்கள் அதிகம் தடுக்கப்படுகின்றன?
முகப்புப் பக்கத்தை அந்தக் கிராலருக்கு robots.txt தடை செய்யும் 6,192 டொமைன்களில் எவ்வளவு சதவீதம்:
- முதலில்:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%. - அடுத்து:
Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%. PerplexityBot10.4% என்பது அதிகம் தடுக்கப்படும் AI தேடல் கிராலர்; அதைத் தொடர்ந்துOAI-SearchBot7.0% மற்றும்Claude-SearchBot7.0%.- ஒருவர் கேட்கும்போது பக்கத்தைத் திறக்கும் கிராலர்கள்:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%.
பெரிய தளங்கள் அதிகம் தடுக்கின்றனவா?
ஆம், மேலும் அவை பயிற்சியையும் தேடலையும் அடிக்கடி ஒன்றாகக் கலக்கின்றன. பட்டியலை தரவரிசைப்படி பிரித்தோம்:
- தரவரிசை 1 முதல் 1,000 வரை (robots.txt உள்ள 560 டொமைன்கள்): 28.6% பயிற்சியைத் தடுக்கின்றன, 18.6% AI தேடலைத் தடுக்கின்றன, பயிற்சியைத் தடுப்பவர்களில் 63.1% AI தேடலையும் தடுக்கின்றன.
- தரவரிசை 1,001 முதல் 3,000 வரை (1,256 டொமைன்கள்): 23.5%, 13.5% மற்றும் 55.6%.
- தரவரிசை 3,001 முதல் 10,000 வரை (4,376 டொமைன்கள்): 22.4%, 11.2% மற்றும் 48.6%.
எல்லா அளவுகளிலும் தேர்ந்தெடுத்த வழி அரிதாகவே உள்ளது: மூன்று குழுக்களிலும் முறையே 10.5%, 10.4% மற்றும் 11.5% டொமைன்கள்.
நவம்பர் 12 அறிக்கைக்குப் பிறகு ஏதேனும் மாறியதா?
அதே பட்டியலுடன் முதல் 1,000 டொமைன்களை மீண்டும் இயக்கினோம். முடிவு ஏறத்தாழ ஒரு சதவீதப் புள்ளிக்குள் நிலையாக உள்ளது: 28.6% பயிற்சியைத் தடுக்கின்றன (நவம்பர் 12 அன்று 29.9%), 18.6% AI தேடலைத் தடுக்கின்றன (19.5%), பயிற்சியைத் தடுப்பவர்களில் 63.1% AI தேடலையும் தடுக்கின்றன (63.2%). பகுதி எண்கள் சற்று வேறுபடுகின்றன (இப்போது robots.txt உள்ள 560 டொமைன்கள், அப்போது 518), ஏனெனில் இந்த முறை ஒரு டொமைனைப் பெறுவதற்கு முன் அதன் முதன்மை ஹோஸ்டுக்கான வழிமாற்றைப் பின்தொடர்கிறோம்.
உங்கள் robots.txt-க்கு இதன் பொருள் என்ன?
பெரும்பாலான AI நிறுவனங்கள் பயிற்சிக்கும் தேடலுக்கும் தனித்தனி கிராலர்களை ஆவணப்படுத்தி, அந்த அமைப்புகள் ஒன்றையொன்று சாராதவை என்று கூறுகின்றன. GPTBot-ஐத் தடை செய்தாலும் OAI-SearchBot பாதிக்கப்படாது, ClaudeBot-ஐத் தடை செய்தாலும் Claude-SearchBot பாதிக்கப்படாது. பயிற்சியிலிருந்து விலகி, இன்னும் மேற்கோள் காட்டப்பட வேண்டுமெனில், பயிற்சி டோக்கன்களைத் தடுத்து, தேடல் மற்றும் பயனர் டோக்கன்களை அனுமதியுங்கள்; பெயரிடப்பட்ட குழு *-இலிருந்து எதையும் பெறாது என்பதால், தனிப்பட்ட பாதைகளை ஒவ்வொரு குழுவிலும் மீண்டும் எழுதுங்கள்.
இந்த எண்கள் எவ்வளவு நம்பகமானவை?
இவை முகப்புப் பக்கத்துக்கான robots.txt விதிகள்; ஒரே நாளில் ஒரே பார்சரால் படிக்கப்பட்டவை. robots.txt அனுமதிக்கும் கிராலரையும் மறுக்கக்கூடிய ஃபயர்வால் தடைகளை இவை அளப்பதில்லை. ஒவ்வொரு தளமும் என்ன நோக்கினது என்பதை இவற்றால் சொல்ல முடியாது; Tranco பட்டியலில் இணையதளம் வழங்காத டொமைன்களும் உள்ளன. தேடல் கிராலரைத் தடுக்கும் விதி தவறின் சான்று அல்ல; வேறுபாடு தெரியாமலே அடிக்கடி எடுக்கப்படும் ஒரு தேர்வின் சான்று மட்டுமே. இந்தப் பக்கத்துக்கான இணைப்புடன் நீங்கள் இந்த எண்களை மேற்கோள் காட்டலாம்.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- llms.txt checker, validator
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
பிரபல தளங்களில் எத்தனை சதவீதம் AI கிராலர்களைத் தடுக்கின்றன?
Tranco முதல் 10,000 பட்டியலில் robots.txt வழங்கும் 6,192 டொமைன்களில், 23.2% குறைந்தது ஒரு AI பயிற்சி கிராலரையும், 12.3% குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன.
AI பயிற்சியைத் தடுக்கும் தளங்கள் AI தேடலையும் தடுக்கின்றனவா?
அடிக்கடி. பயிற்சி கிராலரைத் தடுக்கும் தளங்களில் 51.6% குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன; ஆனால் விற்பனையாளர்கள் அவற்றைச் சுயாதீன அமைப்புகளுடன் தனித்தனி கிராலர்களாக ஆவணப்படுத்துகிறார்கள்.
எந்த AI கிராலர் அதிகம் தடுக்கப்படுகிறது?
பயிற்சி கிராலர்களில் Bytespider (18.7%) மற்றும் CCBot (18.5%), அடுத்து GPTBot (17.4%). AI தேடல் கிராலர்களில் PerplexityBot அதிகம் தடுக்கப்படுகிறது, 10.4% டொமைன்களில்.
உங்கள் 1,000 தள அறிக்கையிலிருந்து எண்கள் ஏன் வேறுபடுகின்றன?
முதல் 1,000 டொமைன்கள் கிட்டத்தட்ட அதே சதவீதங்களைத் தருகின்றன (29.9% மற்றும் 19.5%-க்கு எதிராக 28.6% மற்றும் 18.6%). சிறிய தளங்கள் குறைவாகத் தடுப்பதால் 10,000 தள எண்கள் குறைவாக உள்ளன.
மூலங்கள்
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers