Perplexity கிராலர்கள்: PerplexityBot, Perplexity-User
தன் தேடல் முடிவுகளில் இணையதளங்களைக் காட்டவும் இணைக்கவும் PerplexityBot-ஐயும், ஒரு பயனரின் கேள்விக்குத் தேவைப்படும்போது பக்கங்களைப் பார்வையிட Perplexity-User-ஐயும் Perplexity பயன்படுத்துகிறது. PerplexityBot robots.txt-ஐப் பின்பற்றுவதாகவும் அடிப்படை மாடல்களுக்குப் பயிற்சி அளிக்கப் பயன்படுத்தப்படுவதில்லை என்றும் Perplexity கூறுகிறது; ஒரு பயனர் கோரியதால் Perplexity-User பொதுவாக robots.txt-ஐப் புறக்கணிக்கிறது. Perplexity-இன் தேடல் உங்கள் பக்கங்களைப் பயன்படுத்தாமல் இருக்க robots.txt-இல் PerplexityBot-ஐ disallow செய்யுங்கள்; Perplexity-User-ஐ நிறுத்த, அதன் வெளியிடப்பட்ட IP வரம்புகளுடன் பொருந்தும் ஃபயர்வால் விதியைப் பயன்படுத்துங்கள்.
Perplexity மேற்கோள்களை மையமாகக் கொண்டு உருவாக்கப்பட்டது: பதில்கள் அவை பயன்படுத்தும் பக்கங்களுக்கான எண்ணிட்ட இணைப்புகளுடன் வருகின்றன. அதன் கிராலர் ஆவணங்கள் சுருக்கமானவை; எந்த ஏஜென்ட் robots.txt-ஐப் பின்பற்றுகிறது, எது பின்பற்றுவதில்லை என்பதைத் தெளிவாகக் கூறுகின்றன. இரண்டில் எதையாவது கட்டுப்படுத்த விரும்பினால் எந்தக் கருவியைப் பயன்படுத்துவது என்பதை அந்த வேறுபாடே தீர்மானிக்கிறது.
இந்தப் பக்கத்தில்
- PerplexityBot என்ன செய்கிறது?
- Perplexity-User என்ன செய்கிறது?
- robots.txt எதைக் கட்டுப்படுத்துகிறது, எதைக் கட்டுப்படுத்துவதில்லை?
- Perplexity, ChatGPT மற்றும் Claude-இலிருந்து எப்படி வேறுபடுகிறது?
- Perplexity-க்கு எந்த robots.txt-ஐப் பயன்படுத்த வேண்டும்?
- ஃபயர்வால் Perplexity-ஐத் தடுக்கவில்லை என்று எப்படி உறுதிசெய்வது?
PerplexityBot என்ன செய்கிறது?
PerplexityBot Perplexity தேடல் முடிவுகளில் இணையதளங்களைக் காட்டவும் இணைக்கவும் வடிவமைக்கப்பட்டது. AI அடிப்படை மாடல்களுக்காக உள்ளடக்கத்தைக் கிரால் செய்ய அது பயன்படுத்தப்படுவதில்லை என்று Perplexity கூறுகிறது. Perplexity தேடல் முடிவுகளில் தோன்ற, robots.txt-இல் PerplexityBot-ஐ அனுமதிக்குமாறு Perplexity பரிந்துரைக்கிறது.
Perplexity இந்த user agent-ஐ ஆவணப்படுத்துகிறது:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) பதிப்பு எண் மாறலாம், எனவே ஃபயர்வால் விதிகள் PerplexityBot டோக்கனைப் பொருத்த வேண்டும். Perplexity IP வரம்புகளை perplexity.ai/perplexitybot.json-இல் வெளியிடுகிறது.
Perplexity-User என்ன செய்கிறது?
Perplexity-User பயனர் செயல்களுக்கு உதவுகிறது. யாராவது Perplexity-இடம் ஒரு கேள்வி கேட்கும்போது, துல்லியமான பதிலைத் தர உதவ அது ஒரு வலைப் பக்கத்தைப் பார்வையிட்டு அந்தப் பக்கத்துக்கான இணைப்பைச் சேர்க்கலாம். இது வலையைக் கிரால் செய்யவோ பயிற்சித் தரவைச் சேகரிக்கவோ பயன்படுத்தப்படுவதில்லை என்று Perplexity கூறுகிறது.
அதன் ஆவணப்படுத்தப்பட்ட user agent Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user); அதன் IP வரம்புகள் perplexity.ai/perplexity-user.json-இல் வெளியிடப்படுகின்றன.
robots.txt எதைக் கட்டுப்படுத்துகிறது, எதைக் கட்டுப்படுத்துவதில்லை?
இதுவே முக்கியக் கருத்து. ஒரு பயனர் கோரியதால் Perplexity-User பொதுவாக robots.txt விதிகளைப் புறக்கணிக்கிறது என்று Perplexity கூறுகிறது. PerplexityBot-க்கான robots.txt குழு தேடலுக்கான குறியிடலைப் பாதிக்கிறது; பயனர் சார்பான நேரலைப் பெறுதல்களை அது நம்பகமாக நிறுத்தாது.
- robots.txt-இல்
PerplexityBot-ஐத் தடுத்தால்: உங்கள் பக்கங்கள் Perplexity-இன் தேடல் குறியீட்டுக்காகக் கிரால் செய்யப்படாது, எனவே அவை காட்டப்படவும் இணைக்கப்படவும் வாய்ப்பு குறைவு. - robots.txt-இல்
Perplexity-User-ஐத் தடுத்தால்: Perplexity ஆவணங்களின்படி fetcher பொதுவாக இதைப் புறக்கணிக்கிறது, எனவே இது நம்பகமான கட்டுப்பாடு அல்ல. - ஃபயர்வாலில்
Perplexity-User-ஐத் தடுத்தால்: பெறுதல் தோல்வியடையும், உங்கள் பக்கத்தைப் பற்றிக் கேட்கும் பயனர்களுக்கு அது இல்லாமல் பதில் கிடைக்கும். - இரண்டையும் அனுமதித்தால்: Perplexity உங்கள் பக்கங்களைக் குறியிடவும், பயனர் கேட்கும்போது நேரலையாகப் படிக்கவும் முடியும்.
ஒவ்வொரு robots.txt அமைப்பும் தனித்துச் செயல்படுவதாகவும், மாற்றங்கள் பிரதிபலிக்க 24 மணிநேரம் வரை ஆகலாம் என்றும் Perplexity கூறுகிறது.
Perplexity, ChatGPT மற்றும் Claude-இலிருந்து எப்படி வேறுபடுகிறது?
மூன்று நிறுவனங்களும் தேடல் கிராலரையும் பயனர் கோரும் fetcher-ஐயும் பிரிக்கின்றன. இரண்டு விவரங்கள் Perplexity-ஐ வேறுபடுத்துகின்றன. முதலாவது, அது தனிப் பயிற்சி கிராலரை இயக்குவதில்லை: AI அடிப்படை மாடல்களுக்காக உள்ளடக்கத்தைக் கிரால் செய்ய PerplexityBot பயன்படுத்தப்படுவதில்லை என்று அது கூறுகிறது, எனவே முடிவு செய்ய வேண்டிய பயிற்சி டோக்கன் எதுவும் இல்லை. இரண்டாவது, தன் பயனர் fetcher பொதுவாக robots.txt-ஐப் புறக்கணிக்கிறது என்று அது வெளிப்படையாகக் கூறுகிறது; OpenAI ChatGPT-User-க்கு robots.txt பொருந்தாமல் போகலாம் என்று கூறுகிறது, Anthropic Claude-User உட்பட தன் பாட்கள் robots.txt-ஐ மதிப்பதாகக் கூறுகிறது.
நடைமுறையில் இதன் பொருள்: robots.txt-இல் Perplexity-இன் தேடல் கிராலருக்கு ஒரே முடிவு, பயனர் கோரும் fetches-ஐ எப்போதாவது நிறுத்த விரும்பினால் ஒரு ஃபயர்வால் முடிவு.
Perplexity-க்கு எந்த robots.txt-ஐப் பயன்படுத்த வேண்டும்?
மேற்கோள் காட்டப்பட விரும்பினால், தேடல் கிராலரை வெளிப்படையாக அனுமதியுங்கள். பெயரிடப்பட்ட குழு *-இடமிருந்து விதிகளைப் பெறுவதில்லை என்பதை நினைவில் கொண்டு, தனிப்பட்ட பாதைகளை மீண்டும் எழுதுங்கள்:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot பயிற்சி கிராலர் அல்ல என்பதால், மாடல் பயிற்சியிலிருந்து விலக அதைத் தடுப்பது அந்த நோக்கத்தை நிறைவேற்றாமல் தேடல் தெரிவுநிலையை இழக்கச் செய்யும்.
robots.txt-இல் sitemap-ஐப் பட்டியலிட்டால், Sitemap: வரியை எந்தக் குழுவுக்கும் வெளியே அல்லது கோப்பின் இறுதியில் வையுங்கள்; அது எல்லா கிராலர்களுக்கும் பொருந்தும். Sitemap-ஐயே உங்கள் ஃபயர்வால் தடுக்கவில்லை என்பதையும் உறுதிசெய்யுங்கள், ஏனெனில் அதைப் பெற முடியாத கிராலர் புதிய அல்லது மாறிய பக்கங்களைக் கண்டறிய அதைப் பயன்படுத்த முடியாது.
ஃபயர்வால் Perplexity-ஐத் தடுக்கவில்லை என்று எப்படி உறுதிசெய்வது?
பாட் பாதுகாப்பு பெரும்பாலும் உலாவி அல்லாத எந்தக் கோரிக்கையையும் சந்தேகத்துக்குரியதாகக் கருதுகிறது. ஒவ்வொரு Perplexity user agent-உடனும் உங்கள் பக்கத்தைக் கோரி, பதிலை உலாவிக் கோரிக்கையுடன் ஒப்பிடுங்கள். கிராலருக்கு 403, 429 அல்லது challenge பக்கம் கிடைத்தால், டோக்கனையும், முடிந்தால் வெளியிடப்பட்ட IP வரம்புகளையும் பொருத்தும் அனுமதி விதியைச் சேருங்கள்; அப்போது உண்மையான Perplexity போக்குவரத்து மட்டுமே உள்ளே வரும். Cloudflare-இல், AI Crawl Control ஒவ்வொரு AI கிராலருக்கும் Allow அல்லது Block செயலுடன் அவற்றைப் பட்டியலிடுகிறது.
User agent-ஐ நம்பாமல் சரிபாருங்கள். யார் வேண்டுமானாலும் PerplexityBot எனக் கூறும் கோரிக்கையை அனுப்பலாம்; எனவே user agent-ஐ மட்டும் சார்ந்த அனுமதி விதி போலிகளையும் உள்ளே விடுகிறது, அதைச் சார்ந்த தடையை எளிதில் தவிர்க்கலாம். மூல IP-ஐ Perplexity வெளியிட்ட பட்டியல்களுடன் சரிபார்ப்பது இரண்டு வகை விதிகளையும் நம்பகமானதாக்குகிறது.
AISeeWhy PerplexityBot, Perplexity-User-ஐ 12 பிற கிராலர்களுடன் சேர்த்துச் சோதிக்கிறது. Perplexity உங்கள் பக்கத்தைப் பதிலில் பயன்படுத்த முடியுமா என்பதை இரண்டுமே தீர்மானிப்பதால், இரண்டில் எதன் தடையும் சரிசெய்ய வேண்டிய விதியுடன் P1 எனப் புகாரளிக்கப்படுகிறது.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
Perplexity என் உள்ளடக்கத்தை AI மாடல்களுக்குப் பயிற்சி அளிக்கப் பயன்படுத்துகிறதா?
AI அடிப்படை மாடல்களுக்குப் பயிற்சி அளிக்க உள்ளடக்கத்தைச் சேகரிக்க PerplexityBot, Perplexity-User இரண்டுமே பயன்படுத்தப்படுவதில்லை என்று Perplexity கூறுகிறது.
Perplexity-User ஏன் robots.txt-ஐப் புறக்கணிக்கிறது?
ஒரு பயனர் பக்கத்தைக் கேட்டதால், பெறுதல் தானியங்கிக் கிராலிங்காக அல்லாமல் அந்தப் பயனரின் சார்பாகச் செயல்படுகிறது என்பதே Perplexity-இன் காரணம். அதனால்தான் fetcher பொதுவாக robots.txt-ஐப் புறக்கணிக்கிறது என்று அதன் ஆவணங்கள் கூறுகின்றன.
தேவைப்பட்டால் Perplexity-User-ஐ எப்படித் தடுப்பது?
User agent டோக்கனையும் Perplexity வெளியிட்ட IP வரம்புகளையும் பொருத்தி, உங்கள் ஃபயர்வால் அல்லது CDN-ஐப் பயன்படுத்துங்கள். இந்த ஏஜென்ட்டுக்கு robots.txt நம்பகமான கட்டுப்பாடு அல்ல.
robots.txt மாற்றம் நடைமுறைக்கு வர எவ்வளவு நேரம் ஆகும்?
மாற்றங்களை அதன் அமைப்புகள் பிரதிபலிக்க 24 மணிநேரம் வரை ஆகலாம் என்று Perplexity கூறுகிறது.
PerplexityBot-ஐத் தடுத்தால் Perplexity என் உள்ளடக்கத்தை முழுமையாகப் பயன்படுத்தாமல் இருக்குமா?
இல்லை. அது Perplexity-இன் தேடல் குறியீட்டுக்கான கிராலிலிருந்து உங்கள் பக்கங்களை விலக்கி வைக்கிறது; ஆனால் ஒரு பயனர் கேட்கும்போது Perplexity-User இன்னும் பக்கத்தைப் பெறலாம், ஏனெனில் அந்த fetcher பொதுவாக robots.txt-ஐப் புறக்கணிக்கிறது.
மூலங்கள்
- Perplexity: Perplexity கிராலர்கள்
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI கிராலர்களை நிர்வகித்தல் (AI Crawl Control)