ஒரு பக்க முகவரியை உள்ளிடுங்கள்: தளத்தின் robots.txt-ஐப் படித்து, ஒவ்வொரு AI மற்றும் தேடல் கிராலரும் அந்தப் பக்கத்தைப் பெறலாமா என்று காட்டுவோம். அல்லது வெளியிடும் முன் சோதிக்க ஒரு robots.txt-ஐ ஒட்டுங்கள்.
robots.txt ஒரு கோரிக்கை மட்டுமே. robots.txt அனுமதிக்கும் கிராலரையும் ஃபயர்வாலோ பாட் பாதுகாப்போ தடுக்கலாம்; முழுச் சரிபார்ப்பு அதைச் சோதிக்கிறது. முழுச் சரிபார்ப்பை இயக்கு →
நீங்கள் இருக்கும் பக்கத்துக்கு அதே சரிபார்ப்பு, ஒரே கிளிக்கில்: AI Crawler Checker ↗
AI கிராலர்கள் robots.txt-ஐ எப்படிப் படிக்கின்றன
ஒவ்வொரு கிராலரும் தனது டோக்கனைப் (எடுத்துக்காட்டாக GPTBot அல்லது PerplexityBot) பெயரிடும் குழுவைப் பின்பற்றுகிறது; அப்படி எதுவும் இல்லாவிட்டால் மட்டுமே User-agent: *-ஐப் பின்பற்றுகிறது. ஒரு குழுவுக்குள் மிக நீளமான பொருந்தும் விதி வெல்லும், சமநிலையில் Allow வெல்லும். GPTBot, ClaudeBot அல்லது Google-Extended போன்ற பயிற்சி கிராலர்களைத் தடுப்பது உங்கள் உள்ளடக்கத்தை மாடல் பயிற்சியிலிருந்து விலக்கி வைக்கிறது; OAI-SearchBot, ChatGPT-User அல்லது PerplexityBot போன்ற தேடல் மற்றும் பயனர் கிராலர்களைத் தடுப்பது உங்கள் பக்கங்களை AI பதில்களிலிருந்து விலக்கி வைக்கிறது.
வழிகாட்டி
robots.txt tester-ஐ எப்படிப் பயன்படுத்துவது
இந்த உரை ஆங்கிலத்திலிருந்து இயந்திரம் மூலம் மொழிபெயர்க்கப்பட்டது.
இந்த robots.txt tester எதைச் சரிபார்க்கிறது
ஒரு பக்கத்தின் முகவரியை உள்ளிடுங்கள். tester அந்த முகவரியின் scheme மற்றும் host-ஐ எடுத்து, அந்த host-இன் root-இலிருந்து /robots.txt-ஐப் படித்து, உங்கள் பக்கத்தின் பாதைக்கு அதன் விதிகளை மதிப்பிடுகிறது. 16 கிராலர்கள் ஒவ்வொன்றுக்கும் ஒரே கேள்விக்குப் பதில் தருகிறது: இந்தக் கிராலர் இந்தப் பக்கத்தைப் பெறலாமா?
கிராலர்கள் அவை செய்யும் வேலையின்படி குழுவாக்கப்பட்டுள்ளன. பயிற்சிக் கிராலர்கள் AI மாடல்களுக்காகப் பக்கங்களைச் சேகரிக்கின்றன: GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent, மேலும் robots.txt-க்கு மட்டுமான tokens Google-Extended, Applebot-Extended; இவை தாமாக வருவதில்லை, ஆனால் ஏற்கெனவே பெற்ற பக்கங்களை Google, Apple பயன்படுத்தலாமா என்று சொல்கின்றன. தேடல் கிராலர்கள் AI பதில்களும் தேடல் முடிவுகளும் மேற்கோள் காட்டும் index-களை உருவாக்குகின்றன: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot, Applebot. ஒருவர் ஓர் உதவியாளரிடம் பக்கத்தைத் திறக்கச் சொல்லும்போது user agents அதைப் பெறுகின்றன: ChatGPT-User, Claude-User, Perplexity-User.
முகவரிக்குப் பதிலாக ஒரு robots.txt-ஐயும் ஒட்டலாம். அப்போது எதுவும் பெறப்படாது: நீங்கள் ஒட்டிய உரையை tester மதிப்பிடுகிறது, எனவே ஒரு மாற்றத்தை வெளியிடும் முன் சோதிக்கலாம். ஒட்டிய உரை பதில் தர மட்டுமே பயன்படுகிறது, சேமிக்கப்படுவதில்லை.
முடிவுகளை எப்படிப் படிப்பது
அட்டவணையில் ஒவ்வொரு கிராலருக்கும் ஒரு வரிசை உள்ளது. உங்கள் பாதைக்கான நெடுவரிசை அனுமதிக்கப்பட்டது அல்லது தடுக்கப்பட்டது என்று காட்டும். கடைசி நெடுவரிசை கோப்பின் எந்தப் பகுதி தீர்மானித்தது என்று சொல்லும்:
அதன் சொந்தக் குழு: கோப்பில் இந்தக் கிராலரின் token உடன் ஒரு User-agent வரி உள்ளது, அதற்கு அந்தக் குழுவின் விதிகள் மட்டுமே பொருந்தும்.
User-agent: *: எந்தக் குழுவும் கிராலரைப் பெயரிடவில்லை, எனவே அது பொதுக் குழுவைப் பின்பற்றுகிறது.
விதி இல்லை: எந்தக் குழுவும் பொருந்தவில்லை, எனவே பக்கம் அனுமதிக்கப்படுகிறது.
அட்டவணைக்குக் கீழே கோப்பு பட்டியலிடும் Sitemap வரிகளும், இருந்தால் அதன் Content-Signal வரியும் தெரியும். முகவரி உரைக் கோப்புக்குப் பதிலாக ஓர் இணையப் பக்கத்தைத் தந்தாலோ, எந்தக் கோப்பும் இல்லாவிட்டாலோ, tester அதைச் சொல்லும்: /robots.txt-இல் உள்ள HTML பக்கத்தைக் கிராலர்கள் இல்லாத கோப்பாகக் கருதுகின்றன.
அனுமதிக்கப்பட்டது என்ற வரிசை, robots.txt அந்தக் கிராலரைத் தடுக்கவில்லை என்பதை மட்டுமே குறிக்கிறது. கிராலர் வரும் என்று அது பொருள்படாது, உங்கள் ஃபயர்வால் பற்றியும் எதுவும் சொல்லாது.
ஒரு கிராலர் தன் விதிகளை எப்படித் தேர்ந்தெடுக்கிறது
robots.txt தரநிலையான RFC 9309 மூன்று விதிகளை வகுக்கிறது; வியப்பூட்டும் கிட்டத்தட்ட எல்லா முடிவுகளையும் அவை விளக்குகின்றன. கிராலர் முதலில் தன் token-உடன் பொருந்தும் User-agent கொண்ட குழுக்களைத் தேடுகிறது, எழுத்து அளவைப் பொருட்படுத்தாமல். ஒன்று கிடைத்தால், அந்தக் குழுக்களை மட்டுமே பின்பற்றி User-agent: *-ஐ முழுவதுமாகப் புறக்கணிக்கிறது. தேர்ந்தெடுத்த குழுவுக்குள், மிக நீளமான பொருந்தும் பாதை கொண்ட விதி வெல்லும்; ஒரு Allow-உம் ஒரு Disallow-உம் ஒரே நீளத்தில் பொருந்தினால் Allow வெல்லும்.
இந்தக் கோப்பில், GPTBot தனக்கென்று குழு இருப்பதால் எல்லாப் பக்கங்களிலிருந்தும் தடுக்கப்படுகிறது. மற்ற ஒவ்வொரு கிராலரும் /private/press/kit.pdf-ஐப் பெறலாம், ஏனெனில் Allow: /private/press/ என்பது Disallow: /private/-ஐ விட நீளமானது; /private/notes/-இலிருந்து அவை தடுக்கப்படுகின்றன. இரண்டு பாதைகளையும் tester-இல் சோதித்தால், தீர்மானம் ஒரு குழுவிலிருந்து மற்றொன்றுக்கு மாறுவதைக் காண்பீர்கள்.
பொதுவான தவறுகள், உதாரணங்களுடன்
அடுக்கிய User-agent வரிகள் ஒரே குழுவைப் பகிர்கின்றன. User-agent: GPTBot, பிறகு User-agent: OAI-SearchBot, பிறகு Disallow: / கொண்ட கோப்பு இரண்டு கிராலர்களையும் தடுக்கிறது; எனவே பயிற்சியை மட்டும் நிறுத்த நினைத்த தளம் ChatGPT தேடலிலிருந்தும் மறைகிறது.
தவறான OpenAI token-ஐத் தடுப்பது. GPTBot பயிற்சித் தரவைச் சேகரிக்கிறது; ChatGPT தேடல் உங்களைக் காட்டி மேற்கோள் காட்ட முடியுமா என்பதை OAI-SearchBot தீர்மானிக்கிறது. பயிற்சியை நிறுத்த OAI-SearchBot அல்லது ChatGPT-User-ஐத் தடுத்தால், அதற்குப் பதிலாக நீங்கள் பதில்களிலிருந்து நீக்கப்படுவீர்கள்.
ஒரே எழுத்து விதியைத் தலைகீழாக்குகிறது. பின்னால் எதுவும் இல்லாத Disallow: எல்லாவற்றையும் அனுமதிக்கிறது; Disallow: / எல்லாவற்றையும் தடுக்கிறது.
பாதைகள் எழுத்து அளவை வேறுபடுத்துகின்றன. Disallow: /Blog/ என்பது /blog/-ஐத் தடுக்காது.
Wildcards-இல் கவனம் தேவை. Disallow: /*.pdf என்பது /file.pdf?download=1-ஐயும் தடுக்கிறது; Disallow: /*.pdf$ என்பது .pdf-இல் முடியும் முகவரிகளை மட்டுமே தடுக்கிறது.
கோப்பு தவறான host-இல் உள்ளது. robots.txt அது வழங்கப்படும் scheme மற்றும் host-க்கு மட்டுமே பொருந்தும், எனவே www.example.com, example.com, shop.example.com ஒவ்வொன்றுக்கும் தனிக் கோப்பு தேவை.
சர்வர் பிழையுடன் பதிலளிக்கிறது. 4xx பதில் என்றால் கிராலர்கள் எல்லாவற்றையும் பெறலாம். 5xx பதில் அல்லது timeout என்றால், கோப்பை மீண்டும் படிக்க முடியும் வரை எல்லாம் தடுக்கப்பட்டதாக அவை கருத வேண்டும்; எனவே உடைந்த /robots.txt எல்லாக் கிராலிங்கையும் நிறுத்தலாம்.
கிராலர்கள் பின்பற்றாத விதிகள். Noindex:, Crawl-delay: இரண்டும் RFC 9309-இன் பகுதி அல்ல, Google இரண்டையும் புறக்கணிக்கிறது.
robots.txt ஒரு பக்கத்தைத் தேடலிலிருந்து நீக்கும் என்று எதிர்பார்ப்பது. அது கிராலிங்கை நிறுத்துகிறது, indexing-ஐ அல்ல: தடுக்கப்பட்ட முகவரி அதன் உரை இல்லாமல் பட்டியலிடப்படலாம். ஒரு பக்கத்தை index-க்கு வெளியே வைக்க, கிராலிங்கை அனுமதித்து noindex meta tag அல்லது header-ஐப் பயன்படுத்துங்கள்.
பயிற்சி, தேடல், பயனர் கிராலர்கள்: ஒவ்வொன்றையும் தடுப்பது என்ன செய்கிறது
பயிற்சிக் கிராலரைத் தடுப்பது ஒரு கொள்கைத் தேர்வு. அது உங்கள் பக்கங்களை எதிர்கால மாடல் பயிற்சியிலிருந்து விலக்கி வைக்கிறது, இன்று AI தேடல் உங்களை மேற்கோள் காட்ட முடியுமா என்பதைப் பாதிக்காது. OAI-SearchBot, Claude-SearchBot அல்லது PerplexityBot போன்ற தேடல் கிராலரைத் தடுப்பது உங்கள் பக்கங்களை அந்த உதவியாளரின் பதில்களிலிருந்து விலக்குகிறது. Googlebot அல்லது Bingbot-ஐத் தடுப்பது அந்தத் தேடுபொறிகளிலிருந்தும், அவற்றின் மீது கட்டப்பட்ட AI அம்சங்களிலிருந்தும் உங்களை நீக்குகிறது.
ChatGPT-User போன்ற user agents உங்கள் பக்கத்தைக் கேட்ட ஒரு நபருக்காகச் செயல்படுகின்றன. இத்தகைய கோரிக்கைகளுக்கு இந்த ஏஜென்ட்கள் robots.txt-ஐப் பின்பற்றாமல் போகலாம் என்று சில நிறுவனங்கள் கூறுகின்றன, எனவே அவற்றுக்கான விதி ஒரு வேண்டுகோள், உத்தரவாதம் அல்ல. பயிற்சியை முடக்கி AI தேடலை இயக்கத்தில் வைக்க விரும்பினால், பயிற்சி tokens-ஐத் தடுத்து, தேடல் மற்றும் பயனர் tokens-ஐ அப்படியே விடுங்கள்.
வெளியிடும் முன் சோதியுங்கள், பிறகு மீண்டும் சோதியுங்கள்
உங்கள் வரைவை tester-இல் ஒட்டி, தயாரிப்பு அல்லது விலைப் பக்கம் போன்ற முக்கியமான பக்கத்தின் பாதையை அமைத்து, உங்களுக்கு முக்கியமான ஒவ்வொரு கிராலரின் வரிசையையும் படியுங்கள். நீங்கள் தடுக்க நினைத்த பாதையுடன் மீண்டும் செய்யுங்கள். முடிவுகள் உங்கள் நோக்கத்துடன் பொருந்தும்போது, கோப்பை வெளியிட்டு, நேரலை முகவரியுடன் tester-ஐ மீண்டும் இயக்குங்கள்; நீங்கள் திருத்திய கோப்பையே சர்வர் தருகிறது என்பதை அது நிரூபிக்கும்.
கிராலர்கள் robots.txt-ஐ cache செய்கின்றன; உதாரணமாக Google வழக்கமாக 24 மணிநேரத்துக்குள் தன் நகலைப் புதுப்பிக்கிறது. ஒரு மாற்றம் அவற்றின் நடத்தையில் தெரிய ஒரு நாள் ஆகலாம்; Google Search Console-இல் உள்ள robots.txt அறிக்கை Google கடைசியாகப் பெற்ற நகலைக் காட்டுகிறது.
robots.txt ஒரு கிராலரை அனுமதித்தும் அது தடுக்கப்படும்போது
robots.txt ஒரு வேண்டுகோள் மட்டுமே. மக்களுக்குப் பக்கம் கிடைக்கும்போதும், ஒரு ஃபயர்வால், பாட் பாதுகாப்புச் சேவை அல்லது CDN விதி ஒரு கிராலருக்கு 403 அல்லது challenge பக்கத்துடன் பதிலளிக்கலாம். tester ஒரு கோப்பை மட்டுமே படிப்பதால் அதைப் பார்க்க முடியாது. முழுச் சரிபார்ப்பு உங்கள் பக்கத்தை ஒவ்வொரு கிராலரின் user agent-உடனும் ஒரு சாதாரண உலாவியுடனும் பெற்று, எந்தக் கிராலருக்கு வேறு பதில் கிடைக்கிறது என்பதை HTTP status மற்றும் ஃபயர்வாலின் அடையாளத்துடன் காட்டுகிறது.
அடிக்கடி கேட்கப்படும் கேள்விகள்
இது Google-இன் robots.txt Tester போன்றதா?
இல்லை. Google தனது தனி robots.txt Tester-ஐ 2023-இல் நிறுத்தியது; இப்போது Search Console-இல் உள்ள robots.txt அறிக்கை Google பெற்ற கோப்பையும் parsing பிழைகளையும் Google-இன் கிராலர்களுக்கு மட்டுமே காட்டுகிறது. இந்த tester அதே RFC 9309 விதிகளை 16 AI மற்றும் தேடல் கிராலர்களுக்கு ஒரே நேரத்தில் பயன்படுத்துகிறது.
அனுமதிக்கப்பட்டது என்றால் கிராலர் என் பக்கத்தைப் படிக்கும் அல்லது மேற்கோள் காட்டும் என்று பொருளா?
இல்லை. robots.txt அதைத் தடை செய்யவில்லை என்று மட்டுமே பொருள். கிராலருக்குப் பக்கம் கிடைக்குமா என்பது உங்கள் சர்வரையும் ஃபயர்வாலையும் பொறுத்தது; ஓர் உதவியாளர் அதை மேற்கோள் காட்டுமா என்பது உங்கள் உள்ளடக்கத்தையும் கேட்கப்பட்ட கேள்வியையும் பொறுத்தது.
ஒரு கிராலர் ஏன் “விதி இல்லை” என்று காட்டுகிறது?
உங்கள் கோப்பில் அதன் token-க்கான குழுவும் இல்லை, User-agent: * குழுவும் இல்லை; எனவே அதற்கு எதுவும் பொருந்தாது, ஒவ்வொரு பாதையும் அனுமதிக்கப்படுகிறது.
இன்னும் வெளியிடப்படாத robots.txt-ஐச் சோதிக்க முடியுமா?
ஆம். உரையை இரண்டாவது புலத்தில் ஒட்டி, சோதிக்க வேண்டிய பாதையை உள்ளிடுங்கள். உங்கள் தளத்திலிருந்து எதுவும் பெறப்படாது, ஒட்டிய உரை சேமிக்கப்படாது.
tester, GPTBot அல்லது மற்ற கிராலர்களாகக் கோரிக்கைகளை அனுப்புகிறதா?
இல்லை. அது உங்கள் robots.txt-ஐப் படித்து விதிகளைப் பயன்படுத்துகிறது, அவ்வளவுதான். ஒவ்வொரு கிராலரும் உங்கள் சர்வரிடமிருந்து உண்மையில் என்ன பெறுகிறது என்று பார்க்க, முழுச் சரிபார்ப்பை இயக்குங்கள்.
இதை எவ்வளவு அடிக்கடி பயன்படுத்தலாம்?
இது இலவசம், கணக்கு தேவையில்லை. அனைவருக்கும் கிடைக்கும்படி வைக்க, ஒவ்வொரு நெட்வொர்க்கும் ஒரு மணிநேரத்துக்கு வரம்புக்குட்பட்ட எண்ணிக்கையிலான சோதனைகளை மட்டுமே இயக்க முடியும்.