ஒரு இணையதளம் AI கிராலர்களைத் தடுக்கிறதா என்று எப்படிச் சரிபார்ப்பது

ஏதேனும் முகவரியை ஒட்டி, அது GPTBot, ClaudeBot, PerplexityBot மற்றும் பிற AI கிராலர்களைத் தடுக்கிறதா என்று பாருங்கள்: robots.txt-இல், ஃபயர்வாலில், அல்லது இரண்டிலும்.

இலவசம் · பதிவு தேவையில்லை · 30 வினாடிகளில் முடிவு

எந்த கிராலர்கள் தடுக்கப்பட்டுள்ளன

பயிற்சி, தேடல், பயனர் கிராலர்கள் தனித்தனியாகக் காட்டப்படும். ஏனெனில் GPTBot-ஐத் தடுப்பது OAI-SearchBot-ஐத் தடுக்காது, ClaudeBot-ஐத் தடுப்பது Claude-SearchBot-ஐத் தடுக்காது.

முடிவு செய்யும் வரி

ஒவ்வொரு கிராலருக்கும், robots.txt RFC 9309 விதிகளின்படி படிக்கப்படும்: அதன் பெயர் குறிப்பிடும் குழு, இல்லையெனில் User-agent: *, மற்றும் வெல்லும் விதி.

ஃபயர்வால் மறுப்புகள்

பக்கம் 14 கிராலர்களாகவும் சாதாரண உலாவியாகவும் கோரப்படும். தடைகளும் challenge பக்கங்களும் குறிக்கப்பட்டு, பதிலளித்த ஃபயர்வால் பெயரிடப்படும்.

ஒவ்வொரு கண்டுபிடிப்புக்கும் தீர்வு

ஒவ்வொரு கண்டுபிடிப்புடனும் செய்ய வேண்டிய மாற்றம் வரும். இலவச சோதனை உங்கள் மதிப்பெண்ணையும் முதல் கண்டுபிடிப்பையும் காட்டும்; முழு அறிக்கை $29, ஒருமுறை மட்டும்.

சுருக்கமான பதில்

ஒரு தளம் AI கிராலர்களை இரண்டு இடங்களில் தடுக்கலாம்: கிராலர்களை விலகி இருக்கும்படி கேட்கும் robots.txt-இல், அவற்றை உண்மையில் மறுக்கும் சர்வர் அல்லது ஃபயர்வாலில். robots.txt-இல் ஒவ்வொரு கிராலரின் டோக்கனையும் தேடுங்கள், இல்லையெனில் User-agent: * குழுவைப் பாருங்கள்; பிறகு பக்கத்தைக் கிராலராகப் பெற்று உலாவி பெறும் பக்கத்துடன் ஒப்பிடுங்கள். ஒரு உலாவி நீட்டிப்பு 16 AI கிராலர்களுக்கான robots.txt பகுதியை ஒரே கிளிக்கில் செய்கிறது.

3 படிகளில் கையால் சரிபாருங்கள்

  1. கிராலரைத் தேர்ந்தெடுங்கள்

    ஒவ்வொரு AI நிறுவனமும் தனித்தனி கிராலர்களை இயக்குகிறது. பயிற்சி: GPTBot, ClaudeBot. தேடல்: OAI-SearchBot, Claude-SearchBot, PerplexityBot. ஒருவரின் கோரிக்கையின் பேரில்: ChatGPT-User, Claude-User, Perplexity-User.

  2. அதற்கான robots.txt-ஐப் படியுங்கள்

    https://example.com/robots.txt-ஐத் திறந்து, அந்த கிராலரின் பெயர் உள்ள குழுவைக் கண்டறியுங்கள். எந்தக் குழுவும் இல்லையெனில் User-agent: * குழு பொருந்தும்; இரண்டும் இல்லையெனில் எல்லாமே அனுமதிக்கப்படும்.

  3. கிராலராகப் பக்கத்தைப் பெறுங்கள்

    கிராலரின் user agent-உடன் பக்கத்தைக் கோரி, நிலையையும் அளவையும் உலாவியுடன் ஒப்பிடுங்கள். 403, challenge பக்கம் அல்லது மிகச் சிறிய 200 என்றால் ஃபயர்வால் அதை மறுக்கிறது.

அடிக்கடி கேட்கப்படும் கேள்விகள்

robots.txt இல்லாத தளம் AI கிராலர்களுக்குத் திறந்திருக்கிறதா?

ஆம், robots.txt-ஐப் பொறுத்தவரை. robots.txt-க்கு 404 என்றால் விதிகள் இல்லை, எனவே ஒவ்வொரு கிராலரும் ஒவ்வொரு பக்கத்தையும் பெறலாம். இருந்தாலும் ஃபயர்வால் கிராலர்களைத் தடுக்கலாம்.

நீட்டிப்பு ஃபயர்வால் தடைகளைக் காட்டுமா?

இல்லை. அது உங்கள் உலாவியிலிருந்து robots.txt-ஐப் படிக்கிறது, இது தளம் கிராலர்களிடம் என்ன செய்யச் சொல்கிறது என்பதைக் காட்டுகிறது. ஃபயர்வால், பாட் பாதுகாப்புத் தடைகளைக் காண கிராலராக அனுப்பப்படும் கோரிக்கை தேவை; அதை aiseewhy.com-இல் உள்ள முழுச் சோதனை செய்கிறது.

எனக்குச் சொந்தமில்லாத தளத்தைச் சரிபார்க்கலாமா?

ஆம். robots.txt பொதுவானது; நீட்டிப்பு தளம் வெளியிடும் robots.txt, llms.txt கோப்புகளை மட்டுமே படிக்கிறது, ஒவ்வொரு கிராலரும் படிக்கும் அதே கோப்புகள்.

முழு வழிகாட்டியைப் படியுங்கள்

ஒரு மாற்றத்துக்குப் பிறகு உங்கள் சொந்தத் தளத்தைச் சரிபார்க்கிறீர்களோ, அல்லது வேறொருவரின் தளத்தை நம்புவதற்கு முன் அதைப் பார்க்கிறீர்களோ, “இந்தத் தளம் AI கிராலர்களைத் தடுக்கிறதா?” என்ற கேள்விக்குத் துல்லியமான பதில் உண்டு. அது நீங்கள் எந்தக் கிராலரைக் குறிப்பிடுகிறீர்கள் என்பதைப் பொறுத்தது, ஏனெனில் AI நிறுவனங்கள் பயிற்சி, தேடல், நேரடி வருகைகள் ஆகியவற்றுக்குத் தனித்தனிக் கிராலர்களை இயக்குகின்றன, ஒரு தளம் ஒவ்வொன்றையும் வெவ்வேறு விதமாக நடத்தலாம். இந்த வழிகாட்டி மிக விரைவானது முதல் மிக முழுமையானது வரை மூன்று சோதனைகளைக் காட்டுகிறது.

ஒரு தளம் AI கிராலர்களை எங்கே தடுக்கலாம்?

மூன்று அடுக்குகள் உள்ளன; ஒரு பக்கத்தைப் பயன்படுத்த கிராலர் மூன்றையும் கடக்க வேண்டும்.

  • robots.txt: விதிகளைப் பின்பற்றும் கிராலர்கள் எதையும் பெறுவதற்கு முன் படிக்கும் பொது விதிக் கோப்பு. இது ஒரு கோரிக்கை, பூட்டு அல்ல.
  • சர்வர், CDN அல்லது ஃபயர்வால்: உண்மையில் எது திருப்பி அனுப்பப்படும் என்பதை இதுவே முடிவு செய்கிறது. robots.txt அனுமதித்தாலும், ஒரு பாட் பாதுகாப்பு விதி கிராலருக்கு 403, 429 அல்லது challenge பக்கத்துடன் பதிலளிக்கலாம்.
  • பக்கமே: முக்கிய உரை JavaScript இயங்கிய பிறகுதான் தோன்றினால், தொடக்க HTML-ஐப் படிக்கும் கிராலருக்குக் கிட்டத்தட்ட வெற்றுப் பக்கம் கிடைக்கும், எதுவும் அதைத் தடுக்காவிட்டாலும்.

பெரும்பாலான விரைவுச் சோதனைகள் முதல் அடுக்கை மட்டுமே பார்க்கின்றன. தொடக்கமாக அது நல்லது, மற்ற இரண்டு அடுக்குகளையும் நினைவில் வைத்திருங்கள்.

ஒரு AI கிராலருக்கான robots.txt-ஐ எப்படிப் படிப்பது?

உலாவியில் https://example.com/robots.txt-ஐத் திறந்து, அந்தக் கிராலருக்குப் பொருந்தும் குழுவைக் கண்டறியுங்கள். ஒரு குழு ஒன்று அல்லது அதற்கு மேற்பட்ட User-agent வரிகளுடன் தொடங்குகிறது. கிராலர் தன் டோக்கனைப் பெயரிடும் குழுவைப் பயன்படுத்துகிறது, உதாரணமாக GPTBot; பொருத்தும்போது பெரிய, சிறிய எழுத்து வேறுபாடு கணக்கில் இல்லை. எந்தக் குழுவும் அதைப் பெயரிடவில்லை என்றால், அது User-agent: * குழுவைப் பயன்படுத்துகிறது. இரண்டுமே இல்லையெனில், எல்லாம் அனுமதிக்கப்படுகிறது.

குழுவுக்குள், மிக நீளமாகப் பொருந்தும் பாதையைக் கொண்ட விதியே செல்லும்; Allow, Disallow இரண்டும் சம நீளமாக இருந்தால் Allow செல்லும். எனவே கீழே உள்ள கோப்பு GPTBot-ஐ முழுத் தளத்திலிருந்தும் தடுக்கிறது, ஆனால் மற்ற எல்லாக் கிராலர்களையும் உள்ளே விடுகிறது:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

கோப்பு எப்படிப் பதிலளிக்கிறது என்பதையும் பாருங்கள். RFC 9309-இன்படி, 404 என்றால் விதிகள் இல்லை, எனவே எல்லாம் அனுமதிக்கப்படுகிறது. சர்வர் பிழை (5xx) அல்லது பதிலே இல்லை என்றால், கிராலர் முழுத் தளத்தையும் தடைசெய்யப்பட்டதாகக் கருத வேண்டும். robots.txt முகவரி ஒரு HTML பக்கத்தைத் திருப்பி அனுப்புவது பொதுவான தவறு: கிராலர்களுக்கு அதில் சரியான விதிகள் எதுவும் கிடைக்காது.

எல்லா AI கிராலர்களையும் ஒரே நேரத்தில் எப்படிச் சரிபார்ப்பது?

ஒன்றுக்கு மேற்பட்ட கிராலர்கள் முக்கியம் என்றால், கோப்பைக் கையால் படிப்பது மெதுவாகிவிடும். ஒவ்வொரு AI நிறுவனமும் வெவ்வேறு வேலைகளுக்குப் பல கிராலர்களை இயக்குகிறது:

  • பயிற்சி கிராலர்கள் மாடல் பயிற்சிக்காக உள்ளடக்கத்தைச் சேகரிக்கின்றன: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, மேலும் robots.txt-இல் மட்டுமே தோன்றும் Google-Extended, Applebot-Extended டோக்கன்கள்.
  • தேடல் கிராலர்கள் AI பதில்கள் மேற்கோள் காட்டும்படி பக்கங்களை அட்டவணைப்படுத்துகின்றன: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • பயனர் கிராலர்கள் ஒருவர் உதவியாளரிடம் கேட்கும்போது பக்கத்தைப் பெறுகின்றன: ChatGPT-User, Claude-User, Perplexity-User.

Chrome-க்கான இலவச AI Crawler Checker நீட்டிப்பு இதை ஒரே கிளிக்கில் செய்கிறது. எந்தப் பக்கத்தையும் திறந்து, ஐகானைக் கிளிக் செய்யுங்கள்; அது அந்தத் தளத்தின் robots.txt-ஐப் படித்து, 16 கிராலர்களில் ஒவ்வொன்றுக்கும் பக்கம் அனுமதிக்கப்பட்டுள்ளதா, எந்த வரி அதை முடிவு செய்கிறது என்பதைக் காட்டுகிறது. Content-Signal விருப்பங்கள், தளத்தில் llms.txt உள்ளதா, robots.txt-இல் பட்டியலிடப்பட்ட sitemap-கள் ஆகியவற்றையும் காட்டுகிறது. இது உங்கள் உலாவியில் இயங்குகிறது, கணக்கு தேவையில்லை, நீங்கள் கிளிக் செய்யும் தளத்தை மட்டுமே படிக்கிறது.

Chrome இல்லாமல், aiseewhy.com-இல் உள்ள இலவச robots.txt சரிபார்ப்பு நீங்கள் ஒட்டும் URL-க்கு அதே பதிலைத் தருகிறது.

ஃபயர்வால் அவற்றை உள்ளே விடுகிறதா என்று எப்படிச் சரிபார்ப்பது?

தளம் என்ன கேட்கிறது என்பதை robots.txt காட்டுகிறது. கிராலருக்கு உண்மையில் என்ன கிடைக்கிறது என்று பார்க்க, பக்கத்தை இரண்டு முறை கோருங்கள், ஒரு முறை உலாவியாகவும் ஒரு முறை கிராலரின் user agent-உடனும், பின் நிலைக் குறியீட்டையும் பதிலின் அளவையும் ஒப்பிடுங்கள்:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

உலாவிக்கு 200 கிடைத்து, கிராலருக்கு 403, 429 அல்லது 503, அல்லது மிகச் சிறிய பக்கம் கிடைத்தால், ஃபயர்வால் அல்லது பாட் பாதுகாப்பு கிராலரை வேறு விதமாக நடத்துகிறது. ஒவ்வொரு வெளிச் சோதனைக்கும் ஒரு வரம்பு உண்டு: கோரிக்கை உங்கள் நெட்வொர்க்கிலிருந்து வருகிறது, AI நிறுவனத்தின் நெட்வொர்க்கிலிருந்து அல்ல. கிராலர்களை அவற்றின் வெளியிடப்பட்ட IP முகவரிகளைக் கொண்டு நம்பும் ஃபயர்வால் உண்மையான கிராலரை வேறு விதமாக நடத்தலாம், எனவே இறுதி முடிவு உங்கள் சர்வர் பதிவுகளுடையது.

aiseewhy.com-இல் உள்ள முழுச் சோதனை, ஒரு உண்மையான உலாவியுடன் சேர்த்து 16 கிராலர்களாகவும் பக்கத்தைப் பெறுகிறது, கிராலரைத் தடுக்கும் ஃபயர்வால் அல்லது விதியின் பெயரைச் சொல்கிறது, ஒவ்வொன்றும் பெற்ற உரையை ஒப்பிடுகிறது.

எந்த முடிவை இலக்காகக் கொள்ள வேண்டும்?

அது நீங்கள் எதை விரும்புகிறீர்கள் என்பதைப் பொறுத்தது. ChatGPT தேடல், Claude, Perplexity ஆகியவற்றில் மேற்கோள் காட்டப்பட விரும்பினால், தேடல் மற்றும் பயனர் கிராலர்கள் robots.txt-இல் அனுமதிக்கப்பட வேண்டும், சர்வரிடமிருந்து உண்மையான பக்கத்தைப் பெற வேண்டும். உங்கள் உள்ளடக்கம் பயிற்சிக்குப் பயன்படுவதை விரும்பவில்லை என்றால், பயிற்சி டோக்கன்களை மட்டும் தடுங்கள். இவை தனித்தனி முடிவுகள்: GPTBot-ஐத் தடுப்பது OAI-SearchBot-ஐத் தடுக்காது, ClaudeBot-ஐத் தடுப்பது Claude-SearchBot-ஐத் தடுக்காது.

பல தளங்கள் இவற்றைக் குழப்பிக்கொள்கின்றன. மிகப் பிரபலமான 1,000 டொமைன்கள் பற்றிய எங்கள் நவம்பர் 2026 அறிக்கையில், ஒரு பயிற்சி கிராலரைத் தடுக்கும் தளங்களில் 63% குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரையும் தடுக்கின்றன; இதனால் அவற்றின் பக்கங்கள் அந்த AI பதில்களில் இடம்பெறுவதில்லை.

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

மூலங்கள்

மேலும் கட்டுரைகள்

வெளியிடப்பட்டது