AI கிராலர்களுக்கான robots.txt: எதை அனுமதிப்பது, எதைத் தடுப்பது
உங்களுக்கு முக்கியமான ஒவ்வொரு AI கிராலருக்கும் சொந்த User-agent குழுவைக் கொடுங்கள். மேற்கோள் காட்டப்பட விரும்பினால் OAI-SearchBot, Claude-SearchBot, PerplexityBot போன்ற தேடல் கிராலர்களை அனுமதியுங்கள்; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended போன்ற பயிற்சி டோக்கன்கள் பற்றித் தனியாக முடிவு செய்யுங்கள். பெயரிடப்பட்ட குழு அந்தக் கிராலருக்கு * குழுவை மாற்றிவிடுகிறது.
robots.txt என்பது 1994-ஆம் ஆண்டிலிருந்து இருக்கும் ஒரு சாதாரண உரைக் கோப்பு; 2022-இல் அது RFC 9309 என்ற முறையான தரநிலையானது. பெரும்பாலான AI நிறுவனங்கள் தங்கள் கிராலர்கள் அதைப் பின்பற்றுவதாகக் கூறுகின்றன, பல நிறுவனங்கள் தேடலுக்கும் பயிற்சிக்கும் தனித்தனி டோக்கன்களை வெளியிடுகின்றன. எனவே AI கொள்கையைத் தெரிவிக்க robots.txt-ஏ எளிமையான இடம், விதிகள் நீங்கள் நினைப்பதையே குறிக்கும் வரை.
இந்தப் பக்கத்தில்
- AI கிராலர்கள் எந்த robots.txt டோக்கன்களைப் பயன்படுத்துகின்றன?
- நல்ல AI robots.txt எப்படி இருக்கும்?
- எந்த விதிகள் தங்களுக்குப் பொருந்தும் என்பதைக் கிராலர்கள் எப்படித் தேர்வு செய்கின்றன?
- மிகப் பொதுவான robots.txt தவறுகள் எவை?
- அனுமதி, தடைக்கு அப்பால் AI பயன்பாட்டுக் கொள்கையைத் தெரிவிக்க முடியுமா?
- மாற்றங்களுக்கு எவ்வளவு நேரம் ஆகும், அவற்றை எப்படிச் சரிபார்ப்பது?
AI கிராலர்கள் எந்த robots.txt டோக்கன்களைப் பயன்படுத்துகின்றன?
நிறுவனங்கள் ஆவணப்படுத்தும் டோக்கன்கள் இவை. RFC 9309-இன்படி பொருத்தம் எழுத்து அளவை (case) பொருட்படுத்தாது.
- OpenAI:
OAI-SearchBot(ChatGPT தேடல்),GPTBot(பயிற்சி),ChatGPT-User(பயனர் கோரும் வருகைகள்; robots.txt பொருந்தாமல் போகலாம் என்று OpenAI கூறுகிறது). - Anthropic:
Claude-SearchBot(தேடல்),ClaudeBot(பயிற்சி),Claude-User(பயனர் கோரும் வருகைகள்). - Perplexity:
PerplexityBot(தேடல்),Perplexity-User(பயனர் கோரும் வருகைகள்; அது பொதுவாக robots.txt-ஐப் புறக்கணிப்பதாக Perplexity கூறுகிறது). - Google:
Googlebot(அதன் AI அம்சங்கள் உட்பட Search) மற்றும்Google-Extended; இது சொந்தக் கிராலர் இல்லாத டோக்கன், Gemini பயிற்சியிலும் grounding-இலும் பயன்பாட்டைக் கட்டுப்படுத்துகிறது. - Apple:
Applebot(Spotlight, Siri, Safari தேடல்) மற்றும்Applebot-Extended; இது கிரால் செய்வதில்லை, ஆனால் Apple-இன் அடிப்படை மாடல்களின் பயிற்சிக்கான பயன்பாட்டைக் கட்டுப்படுத்துகிறது. - Meta:
meta-externalagent(பயிற்சியும் தயாரிப்புக் குறியிடலும்),meta-webindexer(Meta AI தேடல்). - Common Crawl:
CCBot; இது Common Crawl-இன் இலவசப் பொது வலைத் தரவுக் காப்பகத்தை உருவாக்குகிறது.
நல்ல AI robots.txt எப்படி இருக்கும்?
இந்த எடுத்துக்காட்டு AI தேடலையும் பயனர் fetches-ஐயும் உள்ளே விடுகிறது, முக்கியப் பயிற்சி டோக்கன்களிலிருந்து விலகுகிறது, ஒரு தனிப்பட்ட பகுதியை எல்லோருக்கும் மூடியே வைக்கிறது:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml தொடர்ச்சியாக வரும் பல User-agent வரிகள் ஒரே குழுவாகின்றன, எனவே அவற்றுக்குக் கீழே உள்ள விதிகள் அந்தக் கிராலர்கள் ஒவ்வொன்றுக்கும் பொருந்தும். உங்கள் உள்ளடக்கம் பயிற்சிக்குப் பயன்பட வேண்டுமெனில், இரண்டாவது குழுவை விட்டுவிடுங்கள். Google-Extended-ஐத் தடுப்பது Google Search-ஐப் பாதிக்காது: அது Search-இல் சேர்க்கப்படுவதைப் பாதிக்காது, தரவரிசை signal-உம் அல்ல என்று Google கூறுகிறது. அதுபோலவே, Applebot-Extended-ஐத் தடுக்கும் பக்கங்கள் இன்னும் தன் தேடல் முடிவுகளில் தோன்றலாம் என்று Apple கூறுகிறது.
எந்த விதிகள் தங்களுக்குப் பொருந்தும் என்பதைக் கிராலர்கள் எப்படித் தேர்வு செய்கின்றன?
RFC 9309 இதைத் துல்லியமாக வரையறுக்கிறது; பெரும்பாலான ஆச்சரியங்களை அதன் விவரங்கள் விளக்குகின்றன:
- கிராலர், எழுத்து அளவைப் பொருட்படுத்தாமல், தன் product token-உடன்
User-agentபொருந்தும் குழுவைத் தேடுகிறது. பல குழுக்கள் பொருந்தினால், அவற்றின் விதிகள் ஒன்றாக இணைக்கப்படுகின்றன. - எந்தக் குழுவும் பொருந்தாவிட்டால் மட்டுமே கிராலர்
User-agent: *குழுவைப் பின்பற்றுகிறது. பெயரிடப்பட்ட குழு*-இடமிருந்து எதையும் பெறுவதில்லை. - குழுவுக்குள், மிக நீளமாகப் பொருந்தும் பாதை கொண்ட விதி வெல்கிறது.
/blog/post-க்குAllow: /blog/,Disallow: /-ஐ வெல்கிறது. - ஒரு
Allowவிதியும் ஒருDisallowவிதியும் சம நீளத்தில் பொருந்தினால்,Allowபயன்படுத்தப்பட வேண்டும். - பாதையில் உள்ள
*எந்த எழுத்துகளுடனும் பொருந்தும்,$முடிவைக் குறிக்கும்; எனவேDisallow: /*.pdf$ஒவ்வொரு PDF-ஐயும் உள்ளடக்குகிறது.
மிகப் பொதுவான robots.txt தவறுகள் எவை?
- பெயரிடப்பட்ட குழு
*-இடமிருந்து விதிகளைப் பெறும் என்று எதிர்பார்ப்பது.Allow: /மட்டுமே கொண்டOAI-SearchBotகுழு,*-இன் கீழ் நீங்கள் தடுத்தவை உட்பட எல்லாப் பாதைகளையும் திறக்கிறது. - HTML பக்கத்தைத் தரும் robots.txt முகவரி, பெரும்பாலும் நிலை 200 உடன் வழங்கப்படும் 404 பக்கம். கிராலர்கள் அதில் செல்லுபடியான விதிகள் எதையும் காண்பதில்லை.
- சர்வர் பிழையைத் தரும் robots.txt. அப்போது முழுத் தளமும் தடுக்கப்பட்டதாகக் கிராலர் கருத வேண்டும் என்று RFC 9309 கூறுகிறது. 404 வேறு: அதற்குக் கட்டுப்பாடுகள் இல்லை என்று பொருள்.
- பயிற்சியைத் தடுக்க எண்ணித் தேடல் டோக்கனைத் தடுப்பது, உதாரணமாக மாடல் பயிற்சியைத் தவிர்க்க
PerplexityBotஅல்லதுClaude-SearchBot-ஐத் தடுப்பது. - பயனர் கோரும் fetches-ஐ நிறுத்த robots.txt-ஐ நம்புவது. தங்கள் user agents அதைப் பின்பற்றாமல் போகலாம் என்று OpenAI, Perplexity இரண்டுமே கூறுகின்றன.
- Subdomains-ஐ மறப்பது. ஒவ்வொரு host-க்கும் சொந்த robots.txt உண்டு; ஒவ்வொரு subdomain-க்கும் விதிகளைச் சேர்க்குமாறு Anthropic ஆவணங்கள் தள உரிமையாளர்களுக்கு நினைவூட்டுகின்றன.
அனுமதி, தடைக்கு அப்பால் AI பயன்பாட்டுக் கொள்கையைத் தெரிவிக்க முடியுமா?
robots.txt-க்கு மூன்று signals கொண்ட Content-Signal வரியை Cloudflare முன்மொழிந்துள்ளது: search (தேடல் குறியீட்டை உருவாக்கி இணைப்புகளையும் சிறு பகுதிகளையும் காட்டுதல்), ai-input (AI பதில்களுக்கு உள்ளடக்கத்தை நிகழ்நேரத்தில் பயன்படுத்துதல்), ai-train (மாடல்களுக்குப் பயிற்சி அல்லது fine-tuning). Cloudflare-இன் managed robots.txt இதை உங்களுக்காகச் சேர்க்க முடியும்.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt-இல் உள்ள எல்லாவற்றையும் போலவே, இவை விருப்பங்கள், தொழில்நுட்பக் கட்டுப்பாடுகள் அல்ல. robots.txt-ஐப் பின்பற்றுவது தன்னார்வமானது என்று Cloudflare-ஏ குறிப்பிடுகிறது. இந்த வரி விருப்பத்தேர்வு, தீங்கு எதுவும் செய்யாது; ஆனால் மேலே உள்ள கிராலர் வாரியான குழுக்களுக்கு மாற்றாகாது.
மாற்றங்களுக்கு எவ்வளவு நேரம் ஆகும், அவற்றை எப்படிச் சரிபார்ப்பது?
கிராலர்கள் cache செய்த robots.txt-ஐ 24 மணிநேரத்துக்கு மேல் பயன்படுத்தக் கூடாது என்று RFC 9309 கூறுகிறது; மாற்றங்கள் நடைமுறைக்கு வரச் சுமார் ஒரு நாள் ஆகலாம் என்று OpenAI, Perplexity இரண்டுமே கூறுகின்றன. robots.txt அணுகல் கட்டுப்பாடு அல்ல என்பதையும் நினைவில் கொள்ளுங்கள்: உங்கள் விதிகள் அனுமதிக்கும் கிராலரையும் ஃபயர்வால் தடுக்கலாம்.
AISeeWhy தான் சோதிக்கும் ஒவ்வொரு கிராலருக்கும் உங்கள் robots.txt-ஐ RFC 9309-இன்படி பகுக்கிறது, அணுக முடியாத அல்லது HTML-ஆக வழங்கப்படும் கோப்புகளைச் சுட்டிக்காட்டுகிறது, உங்கள் விதிகளும் சர்வரும் எங்கே முரண்படுகின்றன என்பதைக் காட்டுகிறது, மாற்றத்துக்குத் தயாரான diff-ஐத் தருகிறது.
இந்தச் சிக்கலுக்கான திருத்தங்கள்
- robots.txt GPTBot-ஐ அனுமதிக்கிறது, ஆனால் சர்வர் அதைத் தடுக்கிறது
- robots.txt OAI-SearchBot-ஐ அனுமதிக்கவில்லை
- robots.txt ஒரு HTML பக்கம்
- robots.txt-இல் Content-Signal இல்லை
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
GPTBot அல்லது ClaudeBot-ஐத் தடுப்பது AI பதில்களில் என் தெரிவுநிலையைப் பாதிக்குமா?
நேரடியாக இல்லை. இரண்டு நிறுவனங்களும் தேடலுக்கு OAI-SearchBot, Claude-SearchBot என்ற தனித் தேடல் கிராலர்களைப் பயன்படுத்துகின்றன. பயிற்சி கிராலரைத் தடுப்பது ஒரு கொள்கைத் தேர்வு.
Google-Extended AI Overviews-ஐ நிறுத்துமா?
இல்லை. Search-இன் AI அம்சங்கள் Googlebot-ஐயும் nosnippet, noindex போன்ற வழக்கமான Search கட்டுப்பாடுகளையும் பயன்படுத்துவதாக Google கூறுகிறது. Google-Extended பிற Google தயாரிப்புகளில் Gemini பயிற்சியையும் grounding-ஐயும் உள்ளடக்குகிறது, Search-ஐப் பாதிக்காது.
AI கிராலர்கள் Crawl-delay-ஐ ஆதரிக்கின்றனவா?
அது RFC 9309-இன் பகுதி அல்ல. தரநிலையல்லாத நீட்டிப்பாக Crawl-delay-ஐ ஆதரிப்பதாக Anthropic கூறுகிறது; பிற நிறுவனங்களுக்கு அவற்றின் ஆவணங்களைப் பாருங்கள்.
robots.txt எங்கே இருக்க வேண்டும்?
ஒவ்வொரு host-இன் root-இல், உதாரணமாக https://example.com/robots.txt. துணைக் கோப்புறையில் உள்ள கோப்பு புறக்கணிக்கப்படும்; ஒவ்வொரு subdomain-க்கும் சொந்தக் கோப்பு தேவை.
மூலங்கள்
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI கிராலர்களின் கண்ணோட்டம்
- Google: Google-Extended உட்பட பொதுவான கிராலர்கள்
- Apple: Applebot பற்றி
- Cloudflare: Managed robots.txt மற்றும் Content Signals