மிகப் பிரபலமான 10,000 தளங்களின் robots.txt-ஐப் படித்தோம். AI கிராலர்களைப் பற்றி அவை செய்வது இதுதான்

வெளியிடப்பட்டது

சுருக்கமான பதில்

Tranco முதல் 10,000 பட்டியலில் robots.txt வழங்கும் 6,192 டொமைன்களில், 23.2% குறைந்தது ஒரு AI பயிற்சி கிராலரையும், 12.3% குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன. பயிற்சியைத் தடுக்கும் தளங்களில் 51.6% AI தேடலையும் தடுக்கின்றன. எல்லா AI தேடல் கிராலர்களையும் அனுமதித்து பயிற்சியிலிருந்து மட்டும் விலகுபவை வெறும் 11.2%.

நவம்பரில் மிகப் பிரபலமான 1,000 டொமைன்களின் robots.txt-ஐப் படித்தோம். இந்த முறை அதே முறையில் 10,000 டொமைன்களைப் படித்தோம்; தளங்கள் சிறியதாகும்போது நிலை எப்படி மாறுகிறது என்பதையும் சேர்த்துச் சோதித்தோம். முக்கிய முடிவு மாறவில்லை: பயிற்சியைத் தடுப்பதும் தேடலைத் தடுப்பதும் இரண்டு தனித் தேர்வுகளாக இருந்தாலும், ஒரே முடிவாகவே கருதப்படுகின்றன.

இந்தப் பக்கத்தில்
  1. இதை எப்படி அளந்தோம்?
  2. என்ன கண்டறிந்தோம்?
  3. எந்தக் கிராலர்கள் அதிகம் தடுக்கப்படுகின்றன?
  4. பெரிய தளங்கள் அதிகம் தடுக்கின்றனவா?
  5. நவம்பர் 12 அறிக்கைக்குப் பிறகு ஏதேனும் மாறியதா?
  6. உங்கள் robots.txt-க்கு இதன் பொருள் என்ன?
  7. இந்த எண்கள் எவ்வளவு நம்பகமானவை?

இதை எப்படி அளந்தோம்?

Tranco பட்டியலின் (பட்டியல் ID JZWZY) முதல் 10,000 டொமைன்களை எடுத்து, 2026 நவம்பர் 21 அன்று AISeeWhy-இன் சொந்த user agent மூலம் ஒவ்வொரு டொமைனின் முகப்புப் பக்கம், robots.txt, llms.txt ஆகியவற்றை ஒரு முறை பெற்றோம். ஒவ்வொரு robots.txt-ஐயும் RFC 9309-இன்படி முகப்புப் பக்கத்துக்கும் (/) 16 AI மற்றும் தேடல் கிராலர்களுக்கும் மதிப்பிட்டோம்.

10,000 டொமைன்களில் 6,192 robots.txt வழங்கின (HTML பக்கமாக இல்லாத வெற்றிகரமான பதில்). 1,121 4xx பதிலளித்தன; அதாவது விதிகள் இல்லை, எல்லா கிராலர்களும் அனுமதிக்கப்படுகின்றன. 2,687 எதுவும் வழங்கவில்லை (HTTPS தளம் இல்லை, பிழைகள், நேரம் முடிதல், அல்லது அதற்குப் பதிலாக HTML பக்கம்). கீழே உள்ள ஒவ்வொரு சதவீதமும் அந்த 6,192-இல் கணக்கிடப்பட்டது. பட்டியலில் இணையதளம் எதுவும் வழங்காத CDN-களும் API-களும் அடங்கும்.

என்ன கண்டறிந்தோம்?

எந்தக் கிராலர்கள் அதிகம் தடுக்கப்படுகின்றன?

முகப்புப் பக்கத்தை அந்தக் கிராலருக்கு robots.txt தடை செய்யும் 6,192 டொமைன்களில் எவ்வளவு சதவீதம்:

பெரிய தளங்கள் அதிகம் தடுக்கின்றனவா?

ஆம், மேலும் அவை பயிற்சியையும் தேடலையும் அடிக்கடி ஒன்றாகக் கலக்கின்றன. பட்டியலை தரவரிசைப்படி பிரித்தோம்:

எல்லா அளவுகளிலும் தேர்ந்தெடுத்த வழி அரிதாகவே உள்ளது: மூன்று குழுக்களிலும் முறையே 10.5%, 10.4% மற்றும் 11.5% டொமைன்கள்.

நவம்பர் 12 அறிக்கைக்குப் பிறகு ஏதேனும் மாறியதா?

அதே பட்டியலுடன் முதல் 1,000 டொமைன்களை மீண்டும் இயக்கினோம். முடிவு ஏறத்தாழ ஒரு சதவீதப் புள்ளிக்குள் நிலையாக உள்ளது: 28.6% பயிற்சியைத் தடுக்கின்றன (நவம்பர் 12 அன்று 29.9%), 18.6% AI தேடலைத் தடுக்கின்றன (19.5%), பயிற்சியைத் தடுப்பவர்களில் 63.1% AI தேடலையும் தடுக்கின்றன (63.2%). பகுதி எண்கள் சற்று வேறுபடுகின்றன (இப்போது robots.txt உள்ள 560 டொமைன்கள், அப்போது 518), ஏனெனில் இந்த முறை ஒரு டொமைனைப் பெறுவதற்கு முன் அதன் முதன்மை ஹோஸ்டுக்கான வழிமாற்றைப் பின்தொடர்கிறோம்.

உங்கள் robots.txt-க்கு இதன் பொருள் என்ன?

பெரும்பாலான AI நிறுவனங்கள் பயிற்சிக்கும் தேடலுக்கும் தனித்தனி கிராலர்களை ஆவணப்படுத்தி, அந்த அமைப்புகள் ஒன்றையொன்று சாராதவை என்று கூறுகின்றன. GPTBot-ஐத் தடை செய்தாலும் OAI-SearchBot பாதிக்கப்படாது, ClaudeBot-ஐத் தடை செய்தாலும் Claude-SearchBot பாதிக்கப்படாது. பயிற்சியிலிருந்து விலகி, இன்னும் மேற்கோள் காட்டப்பட வேண்டுமெனில், பயிற்சி டோக்கன்களைத் தடுத்து, தேடல் மற்றும் பயனர் டோக்கன்களை அனுமதியுங்கள்; பெயரிடப்பட்ட குழு *-இலிருந்து எதையும் பெறாது என்பதால், தனிப்பட்ட பாதைகளை ஒவ்வொரு குழுவிலும் மீண்டும் எழுதுங்கள்.

இந்த எண்கள் எவ்வளவு நம்பகமானவை?

இவை முகப்புப் பக்கத்துக்கான robots.txt விதிகள்; ஒரே நாளில் ஒரே பார்சரால் படிக்கப்பட்டவை. robots.txt அனுமதிக்கும் கிராலரையும் மறுக்கக்கூடிய ஃபயர்வால் தடைகளை இவை அளப்பதில்லை. ஒவ்வொரு தளமும் என்ன நோக்கினது என்பதை இவற்றால் சொல்ல முடியாது; Tranco பட்டியலில் இணையதளம் வழங்காத டொமைன்களும் உள்ளன. தேடல் கிராலரைத் தடுக்கும் விதி தவறின் சான்று அல்ல; வேறுபாடு தெரியாமலே அடிக்கடி எடுக்கப்படும் ஒரு தேர்வின் சான்று மட்டுமே. இந்தப் பக்கத்துக்கான இணைப்புடன் நீங்கள் இந்த எண்களை மேற்கோள் காட்டலாம்.

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

பிரபல தளங்களில் எத்தனை சதவீதம் AI கிராலர்களைத் தடுக்கின்றன?

Tranco முதல் 10,000 பட்டியலில் robots.txt வழங்கும் 6,192 டொமைன்களில், 23.2% குறைந்தது ஒரு AI பயிற்சி கிராலரையும், 12.3% குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன.

AI பயிற்சியைத் தடுக்கும் தளங்கள் AI தேடலையும் தடுக்கின்றனவா?

அடிக்கடி. பயிற்சி கிராலரைத் தடுக்கும் தளங்களில் 51.6% குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன; ஆனால் விற்பனையாளர்கள் அவற்றைச் சுயாதீன அமைப்புகளுடன் தனித்தனி கிராலர்களாக ஆவணப்படுத்துகிறார்கள்.

எந்த AI கிராலர் அதிகம் தடுக்கப்படுகிறது?

பயிற்சி கிராலர்களில் Bytespider (18.7%) மற்றும் CCBot (18.5%), அடுத்து GPTBot (17.4%). AI தேடல் கிராலர்களில் PerplexityBot அதிகம் தடுக்கப்படுகிறது, 10.4% டொமைன்களில்.

உங்கள் 1,000 தள அறிக்கையிலிருந்து எண்கள் ஏன் வேறுபடுகின்றன?

முதல் 1,000 டொமைன்கள் கிட்டத்தட்ட அதே சதவீதங்களைத் தருகின்றன (29.9% மற்றும் 19.5%-க்கு எதிராக 28.6% மற்றும் 18.6%). சிறிய தளங்கள் குறைவாகத் தடுப்பதால் 10,000 தள எண்கள் குறைவாக உள்ளன.

மூலங்கள்

மேலும் கட்டுரைகள்