AI கிராலர்களுக்கான robots.txt: எதை அனுமதிப்பது, எதைத் தடுப்பது

வெளியிடப்பட்டது

சுருக்கமான பதில்

உங்களுக்கு முக்கியமான ஒவ்வொரு AI கிராலருக்கும் சொந்த User-agent குழுவைக் கொடுங்கள். மேற்கோள் காட்டப்பட விரும்பினால் OAI-SearchBot, Claude-SearchBot, PerplexityBot போன்ற தேடல் கிராலர்களை அனுமதியுங்கள்; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended போன்ற பயிற்சி டோக்கன்கள் பற்றித் தனியாக முடிவு செய்யுங்கள். பெயரிடப்பட்ட குழு அந்தக் கிராலருக்கு * குழுவை மாற்றிவிடுகிறது.

robots.txt என்பது 1994-ஆம் ஆண்டிலிருந்து இருக்கும் ஒரு சாதாரண உரைக் கோப்பு; 2022-இல் அது RFC 9309 என்ற முறையான தரநிலையானது. பெரும்பாலான AI நிறுவனங்கள் தங்கள் கிராலர்கள் அதைப் பின்பற்றுவதாகக் கூறுகின்றன, பல நிறுவனங்கள் தேடலுக்கும் பயிற்சிக்கும் தனித்தனி டோக்கன்களை வெளியிடுகின்றன. எனவே AI கொள்கையைத் தெரிவிக்க robots.txt-ஏ எளிமையான இடம், விதிகள் நீங்கள் நினைப்பதையே குறிக்கும் வரை.

இந்தப் பக்கத்தில்
  1. AI கிராலர்கள் எந்த robots.txt டோக்கன்களைப் பயன்படுத்துகின்றன?
  2. நல்ல AI robots.txt எப்படி இருக்கும்?
  3. எந்த விதிகள் தங்களுக்குப் பொருந்தும் என்பதைக் கிராலர்கள் எப்படித் தேர்வு செய்கின்றன?
  4. மிகப் பொதுவான robots.txt தவறுகள் எவை?
  5. அனுமதி, தடைக்கு அப்பால் AI பயன்பாட்டுக் கொள்கையைத் தெரிவிக்க முடியுமா?
  6. மாற்றங்களுக்கு எவ்வளவு நேரம் ஆகும், அவற்றை எப்படிச் சரிபார்ப்பது?

AI கிராலர்கள் எந்த robots.txt டோக்கன்களைப் பயன்படுத்துகின்றன?

நிறுவனங்கள் ஆவணப்படுத்தும் டோக்கன்கள் இவை. RFC 9309-இன்படி பொருத்தம் எழுத்து அளவை (case) பொருட்படுத்தாது.

நல்ல AI robots.txt எப்படி இருக்கும்?

இந்த எடுத்துக்காட்டு AI தேடலையும் பயனர் fetches-ஐயும் உள்ளே விடுகிறது, முக்கியப் பயிற்சி டோக்கன்களிலிருந்து விலகுகிறது, ஒரு தனிப்பட்ட பகுதியை எல்லோருக்கும் மூடியே வைக்கிறது:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

தொடர்ச்சியாக வரும் பல User-agent வரிகள் ஒரே குழுவாகின்றன, எனவே அவற்றுக்குக் கீழே உள்ள விதிகள் அந்தக் கிராலர்கள் ஒவ்வொன்றுக்கும் பொருந்தும். உங்கள் உள்ளடக்கம் பயிற்சிக்குப் பயன்பட வேண்டுமெனில், இரண்டாவது குழுவை விட்டுவிடுங்கள். Google-Extended-ஐத் தடுப்பது Google Search-ஐப் பாதிக்காது: அது Search-இல் சேர்க்கப்படுவதைப் பாதிக்காது, தரவரிசை signal-உம் அல்ல என்று Google கூறுகிறது. அதுபோலவே, Applebot-Extended-ஐத் தடுக்கும் பக்கங்கள் இன்னும் தன் தேடல் முடிவுகளில் தோன்றலாம் என்று Apple கூறுகிறது.

எந்த விதிகள் தங்களுக்குப் பொருந்தும் என்பதைக் கிராலர்கள் எப்படித் தேர்வு செய்கின்றன?

RFC 9309 இதைத் துல்லியமாக வரையறுக்கிறது; பெரும்பாலான ஆச்சரியங்களை அதன் விவரங்கள் விளக்குகின்றன:

மிகப் பொதுவான robots.txt தவறுகள் எவை?

அனுமதி, தடைக்கு அப்பால் AI பயன்பாட்டுக் கொள்கையைத் தெரிவிக்க முடியுமா?

robots.txt-க்கு மூன்று signals கொண்ட Content-Signal வரியை Cloudflare முன்மொழிந்துள்ளது: search (தேடல் குறியீட்டை உருவாக்கி இணைப்புகளையும் சிறு பகுதிகளையும் காட்டுதல்), ai-input (AI பதில்களுக்கு உள்ளடக்கத்தை நிகழ்நேரத்தில் பயன்படுத்துதல்), ai-train (மாடல்களுக்குப் பயிற்சி அல்லது fine-tuning). Cloudflare-இன் managed robots.txt இதை உங்களுக்காகச் சேர்க்க முடியும்.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt-இல் உள்ள எல்லாவற்றையும் போலவே, இவை விருப்பங்கள், தொழில்நுட்பக் கட்டுப்பாடுகள் அல்ல. robots.txt-ஐப் பின்பற்றுவது தன்னார்வமானது என்று Cloudflare-ஏ குறிப்பிடுகிறது. இந்த வரி விருப்பத்தேர்வு, தீங்கு எதுவும் செய்யாது; ஆனால் மேலே உள்ள கிராலர் வாரியான குழுக்களுக்கு மாற்றாகாது.

மாற்றங்களுக்கு எவ்வளவு நேரம் ஆகும், அவற்றை எப்படிச் சரிபார்ப்பது?

கிராலர்கள் cache செய்த robots.txt-ஐ 24 மணிநேரத்துக்கு மேல் பயன்படுத்தக் கூடாது என்று RFC 9309 கூறுகிறது; மாற்றங்கள் நடைமுறைக்கு வரச் சுமார் ஒரு நாள் ஆகலாம் என்று OpenAI, Perplexity இரண்டுமே கூறுகின்றன. robots.txt அணுகல் கட்டுப்பாடு அல்ல என்பதையும் நினைவில் கொள்ளுங்கள்: உங்கள் விதிகள் அனுமதிக்கும் கிராலரையும் ஃபயர்வால் தடுக்கலாம்.

AISeeWhy தான் சோதிக்கும் ஒவ்வொரு கிராலருக்கும் உங்கள் robots.txt-ஐ RFC 9309-இன்படி பகுக்கிறது, அணுக முடியாத அல்லது HTML-ஆக வழங்கப்படும் கோப்புகளைச் சுட்டிக்காட்டுகிறது, உங்கள் விதிகளும் சர்வரும் எங்கே முரண்படுகின்றன என்பதைக் காட்டுகிறது, மாற்றத்துக்குத் தயாரான diff-ஐத் தருகிறது.

இந்தச் சிக்கலுக்கான திருத்தங்கள்

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

GPTBot அல்லது ClaudeBot-ஐத் தடுப்பது AI பதில்களில் என் தெரிவுநிலையைப் பாதிக்குமா?

நேரடியாக இல்லை. இரண்டு நிறுவனங்களும் தேடலுக்கு OAI-SearchBot, Claude-SearchBot என்ற தனித் தேடல் கிராலர்களைப் பயன்படுத்துகின்றன. பயிற்சி கிராலரைத் தடுப்பது ஒரு கொள்கைத் தேர்வு.

Google-Extended AI Overviews-ஐ நிறுத்துமா?

இல்லை. Search-இன் AI அம்சங்கள் Googlebot-ஐயும் nosnippet, noindex போன்ற வழக்கமான Search கட்டுப்பாடுகளையும் பயன்படுத்துவதாக Google கூறுகிறது. Google-Extended பிற Google தயாரிப்புகளில் Gemini பயிற்சியையும் grounding-ஐயும் உள்ளடக்குகிறது, Search-ஐப் பாதிக்காது.

AI கிராலர்கள் Crawl-delay-ஐ ஆதரிக்கின்றனவா?

அது RFC 9309-இன் பகுதி அல்ல. தரநிலையல்லாத நீட்டிப்பாக Crawl-delay-ஐ ஆதரிப்பதாக Anthropic கூறுகிறது; பிற நிறுவனங்களுக்கு அவற்றின் ஆவணங்களைப் பாருங்கள்.

robots.txt எங்கே இருக்க வேண்டும்?

ஒவ்வொரு host-இன் root-இல், உதாரணமாக https://example.com/robots.txt. துணைக் கோப்புறையில் உள்ள கோப்பு புறக்கணிக்கப்படும்; ஒவ்வொரு subdomain-க்கும் சொந்தக் கோப்பு தேவை.

மூலங்கள்

மேலும் கட்டுரைகள்