AI பயிற்சியைத் தடுத்து AI தேடல் பதில்களில் தொடர்வது எப்படி?
பெரும்பாலான AI நிறுவனங்கள் மாடல் பயிற்சிக்கும் தேடலுக்கும் தனித்தனி robots.txt டோக்கன்களைப் பயன்படுத்துகின்றன. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot போன்ற பயிற்சி டோக்கன்களைத் தடுத்து, OAI-SearchBot, Claude-SearchBot, PerplexityBot போன்ற தேடல் மற்றும் பயனர் டோக்கன்களை அனுமதியுங்கள். அதே விருப்பத்தைச் சொற்களில் தெரிவிக்க ஒரு Content-Signal வரியைச் சேருங்கள்.
பல தள உரிமையாளர்கள் ஒரே நேரத்தில் இரண்டு விஷயங்களை விரும்புகிறார்கள்: AI மாடல்களுக்குப் பயிற்சி அளிக்கத் தங்கள் உள்ளடக்கம் பயன்படுத்தப்படக் கூடாது, ஆனால் AI உதவியாளர்கள் தங்கள் பக்கங்களைக் கண்டுபிடித்து, மேற்கோள் காட்டி, இணைக்க வேண்டும். முக்கிய நிறுவனங்கள் இப்போது இந்த வேலைகளை வெவ்வேறு கிராலர்கள் அல்லது டோக்கன்களுக்குப் பிரித்துள்ளதால், robots.txt இரண்டு தேர்வுகளையும் வெளிப்படுத்த முடியும். சிக்கல் என்னவென்றால், பெயர்கள் நிறுவனத்துக்கு நிறுவனம் வேறுபடுகின்றன, சில நிறுவனங்கள் இந்த முறைக்குப் பொருந்துவதில்லை, ஒரு தவறான வரி உங்களைப் பயிற்சித் தரவிலிருந்து அல்லாமல் AI பதில்களிலிருந்து நீக்கிவிடலாம்.
இந்தப் பக்கத்தில்
- பயிற்சி கிராலருக்கும் தேடல் கிராலருக்கும் என்ன வேறுபாடு?
- எந்த டோக்கன்கள் பயிற்சியையும் எவை தேடலையும் கட்டுப்படுத்துகின்றன?
- robots.txt எப்படி இருக்கும்?
- ஏற்கெனவே எத்தனை தளங்கள் இதைச் செய்கின்றன?
- Content-Signal என்ன சேர்க்கிறது?
- இந்தப் பிரிப்பு எங்கே சுத்தமாகச் செயல்படுவதில்லை?
- பிரிப்பு செயல்படுகிறதா என்று எப்படிச் சரிபார்ப்பது?
பயிற்சி கிராலருக்கும் தேடல் கிராலருக்கும் என்ன வேறுபாடு?
பயிற்சி கிராலர், AI மாடல்களை உருவாக்கவோ மேம்படுத்தவோ பயன்படக்கூடிய பக்கங்களைச் சேகரிக்கிறது. பயிற்சி மட்டும் மேற்கோளையோ இணைப்பையோ உருவாக்காது. தேடல் கிராலர் ஒரு குறியீட்டை (index) உருவாக்குகிறது; ஒரு பதிலுக்கான மூலங்களைக் கண்டறிய AI உதவியாளர் அதைப் பயன்படுத்துகிறது, அந்த மூலங்களையே அது மேற்கோள் காட்ட முடியும். பயனர் தூண்டும் fetcher, யாராவது ஒரு பக்கத்தைப் பற்றிக் கேட்டதால் அதை நேரலையாகத் திறக்கிறது.
நிறுவனங்கள் இந்தப் பங்குகளைத் தனித்தனியாக ஆவணப்படுத்துகின்றன, அமைப்புகள் ஒன்றையொன்று சாராதவை என்றும் கூறுகின்றன. உதாரணமாக, தன் கிராலர்களுக்கான ஒவ்வொரு robots.txt அமைப்பும் மற்றவற்றைச் சாராதது என்று OpenAI கூறுகிறது. எனவே சரியாகச் செய்யப்பட்ட பயிற்சி விலகல் உங்கள் தேடல் தெரிவுநிலையைப் பாதிக்காது.
எந்த டோக்கன்கள் பயிற்சியையும் எவை தேடலையும் கட்டுப்படுத்துகின்றன?
நிறுவனங்கள் ஆவணப்படுத்தும் டோக்கன்கள் இவை, அவை கட்டுப்படுத்துவதன்படி வகைப்படுத்தப்பட்டுள்ளன:
- OpenAI:
GPTBotஅதன் அடிப்படை மாடல்களுக்குப் பயிற்சி அளிக்கப் பயன்படக்கூடிய உள்ளடக்கத்தைக் கிரால் செய்கிறது.OAI-SearchBotChatGPT தேடலுக்கானது;ChatGPT-Userபயனர் செயல்களைக் கையாள்கிறது, அதற்கு robots.txt பொருந்தாமல் போகலாம் என்று OpenAI கூறுகிறது. - Anthropic:
ClaudeBotபயிற்சிக்குப் பங்களிக்கக்கூடிய உள்ளடக்கத்தைச் சேகரிக்கிறது.Claude-SearchBotClaude-இன் தேடல் முடிவுகளை மேம்படுத்துகிறது,Claude-Userபயனர்களுக்காகப் பக்கங்களைப் பெறுகிறது. தன் பாட்கள் robots.txt-ஐ மதிப்பதாக Anthropic கூறுகிறது. - Google:
Google-Extendedசொந்தக் கிராலர் இல்லாத ஒரு robots.txt டோக்கன். எதிர்கால Gemini மாடல்களின் பயிற்சியிலும், Gemini Apps மற்றும் Vertex AI-க்கான grounding-இலும் பயன்பாட்டை அது கட்டுப்படுத்துகிறது. Google Search-இல் சேர்க்கப்படுவதையோ தரவரிசையையோ அது பாதிக்காது என்றும், அதுGooglebotமூலம் கட்டுப்படுத்தப்படுகிறது என்றும் Google கூறுகிறது. - Apple:
Applebot-Extendedகிரால் செய்வதில்லை;Applebotகிரால் செய்த உள்ளடக்கம் Apple-இன் அடிப்படை மாடல்களின் பயிற்சிக்குப் பயன்படுத்தப்படுமா என்பதை அது கட்டுப்படுத்துகிறது. அதைத் தடுக்கும் பக்கங்கள் இன்னும் தன் தேடல் முடிவுகளில் தோன்றலாம் என்று Apple கூறுகிறது. - Meta:
meta-externalagentஅடிப்படை மாடல்களுக்குப் பயிற்சி அளிப்பது போன்ற பயன்பாடுகளுக்காகக் கிரால் செய்கிறது;meta-webindexerMeta AI தேடல் முடிவுகளை மேம்படுத்துகிறது. - Common Crawl:
CCBotCommon Crawl-இன் பொது வலைக் காப்பகத்தை உருவாக்குகிறது. Cloudflare-இன் managed robots.txt, தான் தடுக்கும் AI பயிற்சி கிராலர்களில் இதையும் பட்டியலிடுகிறது. - Perplexity:
PerplexityBot,Perplexity-Userஆகியவை தேடல் மற்றும் பயனர் கோரிக்கைகளுக்குச் சேவை செய்கின்றன. இரண்டுமே பயிற்சித் தரவைச் சேகரிக்கப் பயன்படுத்தப்படுவதில்லை என்று Perplexity கூறுகிறது; எனவே தடுக்க Perplexity பயிற்சி டோக்கன் எதுவும் இல்லை.
robots.txt எப்படி இருக்கும்?
RFC 9309-இன்படி தொடர்ச்சியாக வரும் பல User-agent வரிகள் ஒரே குழுவாகின்றன, எனவே விதிகள் அவை ஒவ்வொன்றுக்கும் பொருந்தும். இந்தக் கோப்பு மேலே உள்ள பயிற்சி டோக்கன்களிலிருந்து விலகுகிறது, தேடல் மற்றும் பயனர் ஏஜென்ட்களை அனுமதிக்கிறது, ஒரு தனிப்பட்ட பாதையை எல்லோருக்கும் மூடியே வைக்கிறது:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml இரண்டு விவரங்கள் முக்கியம். முதலாவது, பெயரிடப்பட்ட குழு *-இடமிருந்து எதையும் பெறுவதில்லை; எனவே தனிப்பட்ட பாதைகளைத் தேடல் குழுவிலும் மீண்டும் எழுத வேண்டும். இரண்டாவது, Googlebot அல்லது Applebot-ஐப் பயிற்சிக் குழுவில் சேர்க்காதீர்கள்: அவை தேடல் கிராலர்கள், அவற்றைத் தடுத்தால் Google Search-இலிருந்தும் Apple-இன் தேடல் அம்சங்களிலிருந்தும் நீக்கப்படுவீர்கள். மாற்றங்கள் உடனடியானவை அல்ல: தேடலுக்குச் சுமார் 24 மணிநேரம் என்று OpenAI கூறுகிறது, 24 மணிநேரம் வரை என்று Perplexity கூறுகிறது.
ஏற்கெனவே எத்தனை தளங்கள் இதைச் செய்கின்றன?
நீங்கள் எதிர்பார்ப்பதைவிடக் குறைவு. 2026-11-12 அன்று Tranco பட்டியலில் உள்ள மிகப் பிரபலமான 1,000 டொமைன்களின் robots.txt கோப்புகளைப் படித்தோம். robots.txt வழங்கிய 518 தளங்களில் 155 (29.9%) குறைந்தது ஒரு AI பயிற்சி கிராலருக்கு முகப்புப் பக்கத்தைத் தடுக்கின்றன. 57 (11.0%) மட்டுமே தேர்ந்தெடுத்த வழியைப் பின்பற்றுகின்றன: பயிற்சி கிராலர்களைத் தடுத்து, நாங்கள் சோதித்த எல்லா AI தேடல் மற்றும் பயனர் கிராலர்களையும் அனுமதிக்கின்றன. மொத்தத்தில் 101 தளங்கள் (19.5%) குறைந்தது ஒரு AI தேடல் அல்லது பயனர் கிராலரைத் தடுக்கின்றன.
கிராலர் வாரியான எண்களும் இதே பிளவைக் காட்டுகின்றன. GPTBot 111 தளங்களிலும் (21.4%) OAI-SearchBot 58 தளங்களிலும் (11.2%) தடுக்கப்பட்டுள்ளன. ClaudeBot 110 (21.2%), Claude-SearchBot 67 (12.9%). Google-Extended 94 (18.1%), Googlebot 14 (2.7%). 18 தளங்கள் (3.5%) மட்டுமே Content-Signal-ஐப் பயன்படுத்துகின்றன.
இந்த ஆய்வு முகப்புப் பக்கத்துக்கான robots.txt விதிகளை மட்டுமே பார்க்கிறது. அது ஃபயர்வால் தடைகளை அளவிடுவதில்லை, ஒவ்வொரு தளமும் என்ன நோக்கம் கொண்டிருந்தது என்பதையும் காட்டுவதில்லை.
Content-Signal என்ன சேர்க்கிறது?
Content Signals என்பது Cloudflare contentsignals.org-இல் வெளியிட்ட robots.txt நீட்டிப்பு. ஒரு Content-Signal வரி உள்ளடக்கத்தை எப்படிப் பயன்படுத்தலாம் என்பதை மூன்று signals மூலம் கூறுகிறது: search (தேடல் குறியீட்டை உருவாக்கி இணைப்புகளையும் சிறு பகுதிகளையும் காட்டுதல்), ai-input (grounding அல்லது உருவாக்கப் பதில்களுக்கான retrieval போல, உள்ளடக்கத்தை நிகழ்நேரத்தில் AI மாடல்களுக்குள் செலுத்துதல்), ai-train (மாடல்களுக்குப் பயிற்சி அல்லது fine-tuning).
search-இன் வரையறை AI உருவாக்கும் தேடல் சுருக்கங்களை விலக்குகிறது என்பதைக் கவனியுங்கள். AI பதில்களில் தோன்ற விரும்பினால், மேலே உள்ள எடுத்துக்காட்டில் உள்ளது போல ai-input=yes-ஐயும் அமையுங்கள். Cloudflare-இன் managed robots.txt இயல்பாக search=yes, ai-train=no-ஐச் சேர்க்கிறது; நீங்கள் விட்டுவிடும் signal அந்தப் பயன்பாட்டை அனுமதிப்பதும் இல்லை, கட்டுப்படுத்துவதும் இல்லை.
இவை தெரிவிக்கப்பட்ட விருப்பங்கள் மட்டுமே. அவை தொழில்நுட்ப அளவில் கிராலிங்கைத் தடுப்பதில்லை என்று Content Signals தளம் கூறுகிறது; robots.txt-ஐப் பின்பற்றுவது தன்னார்வமானது என்று Cloudflare குறிப்பிடுகிறது. நாங்கள் சரிபார்த்த OpenAI, Anthropic, Google, Perplexity கிராலர் பக்கங்கள் எதுவும் அவை Content-Signal-ஐப் படிக்கின்றனவா என்று கூறவில்லை; எனவே அதைக் கிராலர் வாரியான குழுக்களுக்கு மாற்றாக அல்ல, கூடுதலாகக் கருதுங்கள்.
இந்தப் பிரிப்பு எங்கே சுத்தமாகச் செயல்படுவதில்லை?
சில நிலைகளில் கவனம் தேவை:
- Google AI Overviews மற்றும் AI Mode,
Googlebotஉருவாக்கும் Search குறியீட்டைப் பயன்படுத்துகின்றன; எனவேGoogle-Extendedஉங்களை அவற்றிலிருந்து நீக்காது. Search-இன் generative AI அம்சங்களுக்குப் பின்னால் உள்ள மாடல்களின் பயிற்சியைGoogle-Extendedகட்டுப்படுத்துகிறது என்று Google-இன் Search Console உதவி கூடுதலாகக் கூறுகிறது; அதன் கிராலர் ஆவணங்கள் இந்த வரம்பைக் குறிப்பிடவில்லை. ஒரு தளத்தை AI Overviews மற்றும் AI Mode-இலிருந்து விலக்க Google இப்போது தனி Search Console அமைப்பை வழங்குகிறது. - ஒரு தளம்
GPTBot,OAI-SearchBotஇரண்டையும் அனுமதித்தால், ஒரே கிராலின் முடிவுகளை இரண்டு நோக்கங்களுக்கும் பயன்படுத்தலாம் என்று OpenAI கூறுகிறது. உள்ளடக்கத்தைப் பயிற்சிக்குப் பயன்படுத்தக் கூடாது என்று தெரிவிப்பதுGPTBot-ஐத் தடுப்பதுதான். - விலகல்கள் எதிர்காலத்தைப் பார்க்கின்றன. உதாரணமாக,
ClaudeBot-ஐத் தடுப்பது உங்கள் தளத்தின் எதிர்கால உள்ளடக்கத்தைப் பயிற்சித் தரவுத்தொகுப்புகளிலிருந்து விலக்குவதாக Anthropic விவரிக்கிறது. - பயனர் தூண்டும் fetchers இடையில் இருக்கின்றன.
ChatGPT-User-க்கு robots.txt பொருந்தாமல் போகலாம் என்றும்,Perplexity-User-க்குப் பொதுவாகப் பொருந்தாது என்றும் OpenAI மற்றும் Perplexity கூறுகின்றன. - ஃபயர்வால்கள் robots.txt-ஐப் படிப்பதில்லை. பரந்த பாட் தடுப்பு விதி நீங்கள் அனுமதித்த தேடல் கிராலர்களையும் நிறுத்தலாம். பயிற்சித் தடையை ஃபயர்வாலில் அமல்படுத்தினால், பயிற்சி ஏஜென்ட்களைப் பெயரால் பொருத்தி, அவற்றின் வெளியிடப்பட்ட IP வரம்புகள் மூலம் சரிபாருங்கள்.
பிரிப்பு செயல்படுகிறதா என்று எப்படிச் சரிபார்ப்பது?
ஒவ்வொரு கிராலரும் படிப்பது போல உங்கள் robots.txt-ஐப் படியுங்கள்: அதைப் பெயரிடும் குழுவைக் கண்டறியுங்கள், அப்படி எதுவும் இல்லாவிட்டால் மட்டுமே *-க்குத் திரும்புங்கள், மிக நீளமாகப் பொருந்தும் விதியைப் பயன்படுத்துங்கள். பிறகு ஒவ்வொரு தேடல் கிராலரின் user agent-உடனும் ஒரு பக்கத்தைக் கோரி, அதற்கு 403 அல்லது challenge பக்கம் அல்லாமல் முழு உள்ளடக்கத்துடன் 200 கிடைக்கிறதா என்று உறுதிசெய்யுங்கள்.
AISeeWhy பயிற்சி, தேடல், பயனர் ஏஜென்ட்களாக வகைப்படுத்தப்பட்ட 14 கிராலர்களுக்கு இரண்டையும் செய்கிறது, மிகப் பொதுவான தவறையும் சுட்டிக்காட்டுகிறது: பயிற்சியைத் தடுக்க எண்ணி PerplexityBot அல்லது Claude-SearchBot போன்ற தேடல் டோக்கனைத் தடுப்பது.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
GPTBot-ஐத் தடுத்தால் என் தளம் ChatGPT பதில்களிலிருந்து நீக்கப்படுமா?
இல்லை. GPTBot பயிற்சிக்கானது என்றும், ஒவ்வொரு robots.txt அமைப்பும் தனித்தது என்றும் OpenAI கூறுகிறது. ChatGPT தேடல் OAI-SearchBot-ஐப் பயன்படுத்துகிறது; அது அனுமதிக்கப்பட்டு உங்கள் ஃபயர்வாலால் தடுக்கப்படாத வரை, உங்கள் பக்கங்கள் தகுதியுடையவையாகவே இருக்கும்.
Google-Extended-ஐத் தடுத்தால் AI Overviews-இலிருந்து நீக்கப்படுவேனா?
Google ஆவணங்களின்படி இல்லை. Google-Extended Google Search-இல் சேர்க்கப்படுவதைப் பாதிக்காது என்று Google கூறுகிறது, AI Overviews Search குறியீட்டைப் பயன்படுத்துகின்றன. ஒரு தளத்தை AI Overviews மற்றும் AI Mode-இலிருந்து விலக்க Google தனி Search Console கட்டுப்பாட்டை வழங்குகிறது.
எல்லா AI பயிற்சியையும் தடுக்கும் ஒற்றை வரி உண்டா?
எந்தத் தரநிலை வரியும் அதைச் செய்வதில்லை. Content-Signal: ai-train=no எல்லா கிராலர்களுக்கும் விருப்பத்தைத் தெரிவிக்கிறது, ஆனால் ஒரு கிராலர் அதை மதிக்கிறதா என்பது அதன் இயக்குநரைப் பொறுத்தது. ஒவ்வொரு பயிற்சி டோக்கனுக்கும் பெயரிடப்பட்ட குழுக்களே ஆவணப்படுத்தப்பட்ட வழி.
AI பயிற்சியை நிறுத்த Perplexity-ஐத் தடுக்க வேண்டுமா?
தன் ஏஜென்ட்கள் பயிற்சித் தரவைச் சேகரிக்கப் பயன்படுத்தப்படுவதில்லை என்று Perplexity கூறுகிறது. PerplexityBot-ஐத் தடுப்பது பயிற்சி விலகலாகச் செயல்படாமல், Perplexity தேடல் முடிவுகளில் உங்கள் தெரிவுநிலையை மட்டும் குறைக்கிறது.
மூலங்கள்
- OpenAI: OpenAI கிராலர்களின் கண்ணோட்டம்
- Anthropic: Anthropic வலையிலிருந்து தரவைக் கிரால் செய்கிறதா, தள உரிமையாளர்கள் கிராலரை எப்படித் தடுக்கலாம்?
- Google: Google-Extended உட்பட பொதுவான கிராலர்கள்
- Google Search Console உதவி: Search generative AI கட்டுப்பாடு
- Apple: Applebot பற்றி
- Meta: Meta வலை கிராலர்கள்
- Common Crawl: CCBot
- Perplexity: Perplexity கிராலர்கள்
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt மற்றும் Content Signals
- AISeeWhy: AI கிராலர் அணுகல் அறிக்கை, 2026-11