எந்த AI கிராலர்கள் உங்கள் தளத்தைப் படிக்கலாம் என்று தேர்வுசெய்து, உருவாக்கப்பட்ட robots.txt-ஐ நகலெடுங்கள். GPTBot, ClaudeBot போன்ற AI பயிற்சி கிராலர்களைத் தடுத்து, OAI-SearchBot, PerplexityBot போன்ற AI தேடல் கிராலர்களை அனுமதிப்பது ஒரு பொதுவான தேர்வு; அப்போது உங்கள் பக்கங்கள் AI பதில்களில் தொடர்ந்து தோன்றி மேற்கோள் காட்டப்படலாம்.
பயனர் கோரிய பெறுதல்களைத் தடுப்பதன் விளைவு குறைவு: ஒரு நபர் பக்கத்தைக் கேட்டதால், இந்த ஏஜென்ட்கள் robots.txt-ஐப் பின்பற்றாமல் போகலாம் என்று சில நிறுவனங்கள் சொல்கின்றன. வெளியிடும் முன் robots.txt சரிபார்ப்புக் கருவியில் முடிவைச் சோதியுங்கள். AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு →
இதை எப்படிப் பயன்படுத்துவது
கோப்பை உங்கள் டொமைனின் root-இல் வையுங்கள் (https://example.com/robots.txt). பிற கிராலர்களுக்கு ஏற்கெனவே விதிகள் இருந்தால், அவற்றை அப்படியே வைத்து AI குழுக்களை மட்டும் சேருங்கள். ஒவ்வொரு கிராலரும் அடுத்த முறை கோப்பைப் படிக்கும்போது மாற்றங்கள் நடைமுறைக்கு வரும், பொதுவாக ஒரு நாளுக்குள்.
இந்த உரை ஆங்கிலத்திலிருந்து இயந்திரம் மூலம் மொழிபெயர்க்கப்பட்டது.
generator என்ன எழுதுகிறது
உங்கள் தளத்தைப் படிக்கக்கூடிய கிராலர்களைத் தேர்வுசெய்து, தடுக்க விரும்புபவற்றின் தேர்வை நீக்குங்கள். generator தடுக்கப்பட்ட ஒவ்வொரு கிராலருக்கும் ஒரு குழுவுடன் robots.txt-ஐ எழுதுகிறது, User-agent: <token> அதைத் தொடர்ந்து Disallow: /, பிறகு மற்ற அனைத்தையும் அனுமதிக்கும் இறுதி User-agent: * குழு. sitemap முகவரியைச் சேர்த்தால் அது Sitemap வரியைச் சேர்க்கும். Content-Signal விருப்பங்களைத் தேர்வுசெய்தால், உங்கள் உள்ளடக்கம் எப்படிப் பயன்படுத்தப்படலாம் என்று கூறும் Content-Signal வரியைச் சேர்க்கும்.
எதுவும் உங்கள் உலாவியை விட்டு வெளியேறுவதில்லை: நீங்கள் கிளிக் செய்யும்போதே பக்கத்தில் கோப்பு உருவாகிறது, output பெட்டியிலிருந்து அதை நகலெடுக்கிறீர்கள்.
எந்த preset-இலிருந்து தொடங்குவது
அனைத்தையும் அனுமதி: ஒவ்வொரு கிராலரும் ஒவ்வொரு பக்கத்தையும் படிக்கலாம். கண்டறியப்பட்டு மேற்கோள் காட்டப்பட விரும்பும் பெரும்பாலான தளங்களுக்குச் சரியானது.
பயிற்சியைத் தடு, AI தேடலை அனுமதி: GPTBot, ClaudeBot, CCBot, Google-Extended போன்ற பயிற்சிக் கிராலர்கள் தடுக்கப்படுகின்றன; OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User போன்ற தேடல் மற்றும் பயனர் கிராலர்கள் அனுமதிக்கப்பட்டே இருக்கின்றன. உங்கள் பக்கங்கள் AI பதில்களில் தோன்றி மேற்கோள் காட்டப்படலாம்.
எல்லா AI கிராலர்களையும் தடு: பட்டியலில் உள்ள ஒவ்வொரு AI கிராலரும் தடுக்கப்படுகிறது. அந்தக் கிராலர்கள் AI பதில்களுக்காக உங்கள் பக்கங்களைப் பெறாது; இது பொதுவாகக் குறைவான மேற்கோள்களையும் உதவியாளர்களிடமிருந்து குறைவான traffic-ஐயும் குறிக்கிறது.
ஓர் உதாரணம்: பயிற்சியைத் தடு, AI தேடலை அனுமதி
தடுக்கப்பட்ட ஒவ்வொரு கிராலருக்கும் தனிக் குழு உள்ளது, எனவே அதன் Disallow: / அதற்கு மட்டுமே பொருந்தும். OAI-SearchBot, Googlebot உட்பட மற்ற எல்லாக் கிராலர்களும் User-agent: *-க்குச் சென்று எல்லாவற்றையும் படிக்கலாம். Content-Signal வரி அதைப் படிக்கும் கிராலர்களுக்கு அதே நோக்கத்தை மீண்டும் சொல்கிறது: தேடலும் நிகழ்நேரப் பதில்களும் ஆம், பயிற்சி இல்லை.
இணையுங்கள், மாற்றாதீர்கள். உங்கள் தற்போதைய robots.txt-இல் admin பகுதிகள், carts அல்லது தேடல் பக்கங்களுக்கான விதிகள் இருந்தால், அவற்றைப் புதிய கோப்பின் User-agent: * குழுவில் நகலெடுங்கள்; இல்லையெனில் அந்தப் பகுதிகளை எல்லாக் கிராலர்களுக்கும் திறந்துவிடுவீர்கள்.
கோப்பை ஒவ்வொரு host-இன் root-இலும் வையுங்கள்: https://example.com/robots.txt. subdomain-க்குத் தனிக் கோப்பு தேவை.
அதை status 200 உடன் சாதாரண உரையாக வழங்குங்கள். அந்த முகவரியில் உள்ள HTML பக்கம் அல்லது பிழை robots.txt ஆக வேலை செய்யாது.
முடிவை robots.txt tester-இல் ஒட்டி, உங்களுக்கு முக்கியமான கிராலர்களுக்குச் சில உண்மையான பாதைகளைச் சரிபாருங்கள்.
robots.txt ஒரு வேண்டுகோள் என்பதை நினைவில் கொள்ளுங்கள். நீங்கள் அனுமதிக்கும் கிராலரை ஃபயர்வால் தடுத்தால், கோப்பால் அதைச் சரிசெய்ய முடியாது; முழுச் சரிபார்ப்பு அதைக் காட்டுகிறது.
பொதுவான தவறுகள்
பயிற்சியை நிறுத்த OAI-SearchBot அல்லது PerplexityBot-ஐத் தடுப்பது. அவை தேடல் கிராலர்கள்; அவற்றைத் தடுப்பது உங்களைப் பதில்களிலிருந்து நீக்குகிறது.
அவற்றில் ஒன்றை மட்டும் தடுக்க நினைத்தபோது, ஒரே Disallow: /-க்கு மேலே பல User-agent வரிகளை எழுதுவது: அடுக்கிய வரிகள் ஒரே குழுவாகின்றன.
ChatGPT-User போன்ற பயனர் கோரும் fetchers தடையை மதிக்கும் என்று எதிர்பார்ப்பது. ஒருவர் பக்கத்தைக் கேட்டபோது இந்த ஏஜென்ட்கள் robots.txt-ஐப் பின்பற்றாமல் போகலாம் என்று சில நிறுவனங்கள் கூறுகின்றன.
Crawl-delay அல்லது Noindex வரிகளைச் சேர்ப்பது. அவை RFC 9309-இன் பகுதி அல்ல, Google இரண்டையும் புறக்கணிக்கிறது.
அடிக்கடி கேட்கப்படும் கேள்விகள்
GPTBot-ஐத் தடுத்தால் என் தளம் ChatGPT-இலிருந்து நீக்கப்படுமா?
இல்லை. GPTBot பயிற்சித் தரவைச் சேகரிக்கிறது. ChatGPT தேடல் OAI-SearchBot-ஐப் பயன்படுத்துகிறது, மக்கள் கேட்கும் பக்கங்களை ChatGPT-User திறக்கிறது. மேற்கோள் காட்டப்பட விரும்பினால் அவற்றை அனுமதித்தே வையுங்கள்.
Content-Signal என்றால் என்ன?
உங்கள் உள்ளடக்கம் எப்படிப் பயன்படுத்தப்படலாம் என்று கூறும் robots.txt வரி: search, ai-input (நிகழ்நேரப் பதில்கள்), ai-train (பயிற்சி), ஒவ்வொன்றும் yes அல்லது no. ஆதரவு நிறுவனத்துக்கு நிறுவனம் மாறுபடுகிறது; கிராலர் சார்ந்த குழுக்களே கிராலர்கள் பின்பற்றும் விதியாக இருக்கின்றன.
Google-Extended, Google Search-ஐப் பாதிக்கிறதா?
இல்லை. இது robots.txt-க்கு மட்டுமான token; Google தன் AI மாடல்களுக்கு உங்கள் பக்கங்களைப் பயன்படுத்தலாமா என்பதைக் கட்டுப்படுத்துகிறது; Google Search-இல் கிராலிங்கையோ தரவரிசையையோ மாற்றாது.
என் தேர்வு எங்காவது அனுப்பப்படுகிறதா?
இல்லை. generator உங்கள் உலாவியில் இயங்குகிறது; கோப்பைச் சோதிக்க நீங்கள் தேர்ந்தெடுக்கும் வரை எதுவும் எங்கள் சர்வருக்கு அனுப்பப்படுவதில்லை.