AI கிராலர்களுக்கான robots.txt ஜெனரேட்டர்

எந்த AI கிராலர்கள் உங்கள் தளத்தைப் படிக்கலாம் என்று தேர்வுசெய்து, உருவாக்கப்பட்ட robots.txt-ஐ நகலெடுங்கள். GPTBot, ClaudeBot போன்ற AI பயிற்சி கிராலர்களைத் தடுத்து, OAI-SearchBot, PerplexityBot போன்ற AI தேடல் கிராலர்களை அனுமதிப்பது ஒரு பொதுவான தேர்வு; அப்போது உங்கள் பக்கங்கள் AI பதில்களில் தொடர்ந்து தோன்றி மேற்கோள் காட்டப்படலாம்.

இதிலிருந்து தொடங்கு
AI பயிற்சி
AI தேடல்
பயனர் கோரிய பெறுதல்
Content-Signal (விருப்பத்தேர்வு): நீங்கள் அனுமதிப்பதைத் தேர்வுசெய்யுங்கள்

பயனர் கோரிய பெறுதல்களைத் தடுப்பதன் விளைவு குறைவு: ஒரு நபர் பக்கத்தைக் கேட்டதால், இந்த ஏஜென்ட்கள் robots.txt-ஐப் பின்பற்றாமல் போகலாம் என்று சில நிறுவனங்கள் சொல்கின்றன. வெளியிடும் முன் robots.txt சரிபார்ப்புக் கருவியில் முடிவைச் சோதியுங்கள். AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு →

இதை எப்படிப் பயன்படுத்துவது

கோப்பை உங்கள் டொமைனின் root-இல் வையுங்கள் (https://example.com/robots.txt). பிற கிராலர்களுக்கு ஏற்கெனவே விதிகள் இருந்தால், அவற்றை அப்படியே வைத்து AI குழுக்களை மட்டும் சேருங்கள். ஒவ்வொரு கிராலரும் அடுத்த முறை கோப்பைப் படிக்கும்போது மாற்றங்கள் நடைமுறைக்கு வரும், பொதுவாக ஒரு நாளுக்குள்.

முழுச் சரிபார்ப்பை இயக்கு →

வழிகாட்டி

robots.txt generator-ஐ எப்படிப் பயன்படுத்துவது

இந்த உரை ஆங்கிலத்திலிருந்து இயந்திரம் மூலம் மொழிபெயர்க்கப்பட்டது.

generator என்ன எழுதுகிறது

உங்கள் தளத்தைப் படிக்கக்கூடிய கிராலர்களைத் தேர்வுசெய்து, தடுக்க விரும்புபவற்றின் தேர்வை நீக்குங்கள். generator தடுக்கப்பட்ட ஒவ்வொரு கிராலருக்கும் ஒரு குழுவுடன் robots.txt-ஐ எழுதுகிறது, User-agent: <token> அதைத் தொடர்ந்து Disallow: /, பிறகு மற்ற அனைத்தையும் அனுமதிக்கும் இறுதி User-agent: * குழு. sitemap முகவரியைச் சேர்த்தால் அது Sitemap வரியைச் சேர்க்கும். Content-Signal விருப்பங்களைத் தேர்வுசெய்தால், உங்கள் உள்ளடக்கம் எப்படிப் பயன்படுத்தப்படலாம் என்று கூறும் Content-Signal வரியைச் சேர்க்கும்.

எதுவும் உங்கள் உலாவியை விட்டு வெளியேறுவதில்லை: நீங்கள் கிளிக் செய்யும்போதே பக்கத்தில் கோப்பு உருவாகிறது, output பெட்டியிலிருந்து அதை நகலெடுக்கிறீர்கள்.

எந்த preset-இலிருந்து தொடங்குவது

ஓர் உதாரணம்: பயிற்சியைத் தடு, AI தேடலை அனுமதி

தடுக்கப்பட்ட ஒவ்வொரு கிராலருக்கும் தனிக் குழு உள்ளது, எனவே அதன் Disallow: / அதற்கு மட்டுமே பொருந்தும். OAI-SearchBot, Googlebot உட்பட மற்ற எல்லாக் கிராலர்களும் User-agent: *-க்குச் சென்று எல்லாவற்றையும் படிக்கலாம். Content-Signal வரி அதைப் படிக்கும் கிராலர்களுக்கு அதே நோக்கத்தை மீண்டும் சொல்கிறது: தேடலும் நிகழ்நேரப் பதில்களும் ஆம், பயிற்சி இல்லை.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

வெளியிடும் முன்

பொதுவான தவறுகள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

GPTBot-ஐத் தடுத்தால் என் தளம் ChatGPT-இலிருந்து நீக்கப்படுமா?

இல்லை. GPTBot பயிற்சித் தரவைச் சேகரிக்கிறது. ChatGPT தேடல் OAI-SearchBot-ஐப் பயன்படுத்துகிறது, மக்கள் கேட்கும் பக்கங்களை ChatGPT-User திறக்கிறது. மேற்கோள் காட்டப்பட விரும்பினால் அவற்றை அனுமதித்தே வையுங்கள்.

Content-Signal என்றால் என்ன?

உங்கள் உள்ளடக்கம் எப்படிப் பயன்படுத்தப்படலாம் என்று கூறும் robots.txt வரி: search, ai-input (நிகழ்நேரப் பதில்கள்), ai-train (பயிற்சி), ஒவ்வொன்றும் yes அல்லது no. ஆதரவு நிறுவனத்துக்கு நிறுவனம் மாறுபடுகிறது; கிராலர் சார்ந்த குழுக்களே கிராலர்கள் பின்பற்றும் விதியாக இருக்கின்றன.

Google-Extended, Google Search-ஐப் பாதிக்கிறதா?

இல்லை. இது robots.txt-க்கு மட்டுமான token; Google தன் AI மாடல்களுக்கு உங்கள் பக்கங்களைப் பயன்படுத்தலாமா என்பதைக் கட்டுப்படுத்துகிறது; Google Search-இல் கிராலிங்கையோ தரவரிசையையோ மாற்றாது.

என் தேர்வு எங்காவது அனுப்பப்படுகிறதா?

இல்லை. generator உங்கள் உலாவியில் இயங்குகிறது; கோப்பைச் சோதிக்க நீங்கள் தேர்ந்தெடுக்கும் வரை எதுவும் எங்கள் சர்வருக்கு அனுப்பப்படுவதில்லை.

தொடர்புடைய கருவிகளும் வழிகாட்டிகளும்