என் தளம் Perplexity-இல் ஏன் தெரியவில்லை?
PerplexityBot உங்கள் பக்கத்தை அடைய முடிகிறதா, எந்தத் தடை (robots.txt, ஃபயர்வால் அல்லது JavaScript) உங்களை அதன் பதில்களிலிருந்து விலக்குகிறது என்பதை சுமார் 30 விநாடிகளில் அறியுங்கள்.
இலவசம் · பதிவு தேவையில்லை · 30 வினாடிகளில் முடிவு
PerplexityBot-க்கான robots.txt
PerplexityBot-க்குப் பொருந்தும் குழு RFC 9309 விதிகளின்படி படிக்கப்பட்டு, முடிவு செய்யும் வரி காட்டப்படும்.
ஃபயர்வால் மற்றும் CDN தடைகள்
கிராலர்களுக்கு மட்டும் வரும் 403, 429 அல்லது challenge பக்கம் குறிக்கப்பட்டு, பதிலளித்த ஃபயர்வால் பெயரிடப்படும்.
பக்கம் என்ன தருகிறது
கிராலருக்கான நிலை, அளவு, திசைதிருப்பல்கள் சாதாரண உலாவியுடன் ஒப்பிடப்படும்; அதனால் கிராலர்களுக்குக் குறைவான பதில் தெளிவாகத் தெரியும்.
ஒவ்வொரு கண்டுபிடிப்புக்கும் தீர்வு
ஒவ்வொரு கண்டுபிடிப்புடனும் செய்ய வேண்டிய மாற்றம் வரும். இலவச சோதனை உங்கள் மதிப்பெண்ணையும் முதல் கண்டுபிடிப்பையும் காட்டும்; முழு அறிக்கை $29, ஒருமுறை மட்டும்.
PerplexityBot கிரால் செய்ய அனுமதிக்கப்பட்டு உண்மையில் பெறும் பக்கங்களை மட்டுமே Perplexity காட்டவும் இணைக்கவும் முடியும். வழக்கமான காரணங்கள்: PerplexityBot-ஐத் தடுக்கும் robots.txt விதி, அதற்கு 403 அல்லது challenge பக்கத்துடன் பதிலளிக்கும் ஃபயர்வால் அல்லது CDN, JavaScript இயங்கிய பிறகே தோன்றும் உரை. மூன்றையும் சரிபார்த்து, பிறகு Perplexity வெளியிட்ட IP வரம்புகளை அனுமதியுங்கள். Perplexity உங்களை அல்ல, போட்டியாளரை மேற்கோள் காட்டினால், முதலில் இந்தத் தடைகளை விலக்கி, பிறகு அதே கேள்விக்கு அது மேற்கோள் காட்டும் பக்கத்துடன் உங்கள் பக்கத்தை ஒப்பிடுங்கள்.
3 படிகளில் தடையைக் கண்டறியுங்கள்
- robots.txt-ஐச் சரிபாருங்கள்
PerplexityBotபெயர் உள்ள குழுவைத் தேடுங்கள். இல்லையெனில்User-agent: *குழு பொருந்தும்; பெயரிட்ட குழு*-ஐ முழுமையாக மாற்றிவிடும். - உலாவியையும் கிராலரையும் ஒப்பிடுங்கள்
பக்கத்தை உலாவியாகவும், ஒவ்வொரு Perplexity ஏஜென்டாகவும் கோருங்கள். ஏஜென்ட்களுக்கு மட்டும் 403, 429 அல்லது 503,
Just a moment...பக்கம், அல்லது மிகச் சிறிய 200 என்றால் ஃபயர்வால் காரணம். - பக்க மூலத்தைப் பாருங்கள்
curlமூலம் பக்கத்தைப் பெற்று, உங்கள் முக்கிய உள்ளடக்கத்திலிருந்து ஒரு வாக்கியத்தைத் தேடுங்கள். அது இல்லையெனில் ஸ்கிரிப்ட்கள் உரையைச் சேர்க்கின்றன: சர்வரிலேயே அதை உருவாக்குங்கள்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
Perplexity ஏன் என்னை அல்ல, என் போட்டியாளரைப் பரிந்துரைக்கிறது?
Perplexity மூலங்களை எப்படித் தேர்ந்தெடுக்கிறது என்று வெளியிடுவதில்லை, ஆனால் தன் agent-கள் படிக்கக்கூடிய பக்கங்களை மட்டுமே அது மேற்கோள் காட்ட முடியும். முதலில் PerplexityBot, Perplexity-User உங்கள் பக்கத்தைப் பெறுகின்றனவா என்று உறுதிசெய்யுங்கள். பெற்றால், அதே கேள்விக்கு Perplexity மேற்கோள் காட்டும் பக்கத்தைத் திறந்து ஒப்பிடுங்கள்: உங்களுடையது அந்தக் குறிப்பிட்ட கேள்விக்குப் பக்கத்தின் மேலேயே, தகவல்களை உரையில் சொல்லிப் பதிலளிக்கிறதா? AISeeWhy-இன் AI-யில் தெரிவுநிலைச் சரிபார்ப்பு உங்கள் வாங்குபவர்களின் கேள்விகளை Perplexity-இலும் மற்ற மூன்று உதவியாளர்களிலும் கேட்டு, உங்களுக்கு அருகில் எந்தப் போட்டியாளர்கள் பெயரிடப்படுகிறார்கள் என்று காட்டுகிறது.
Perplexity என் உள்ளடக்கத்தில் தன் மாடல்களுக்குப் பயிற்சி அளிக்கிறதா?
AI அடிப்படை மாடல்களுக்காக உள்ளடக்கத்தைக் கிரால் செய்ய PerplexityBot பயன்படுத்தப்படுவதில்லை என்றும், Perplexity-User பயிற்சிக்காக உள்ளடக்கத்தைச் சேகரிப்பதில்லை என்றும் Perplexity கூறுகிறது. எனவே PerplexityBot-ஐத் தடுப்பது பயிற்சியிலிருந்து விலகும் வழியாகச் செயல்படாது; Perplexity தேடல் முடிவுகளில் உங்கள் தெரிவுநிலையை மட்டுமே குறைக்கும்.
robots.txt-ஐச் சரிசெய்த பிறகு Perplexity எவ்வளவு நேரத்தில் கவனிக்கும்?
robots.txt மாற்றங்களை அதன் அமைப்புகள் பிரதிபலிக்க 24 மணிநேரம் வரை ஆகலாம் என்று Perplexity கூறுகிறது. ஃபயர்வால் மாற்றங்கள் உங்கள் வழங்குநர் அவற்றைப் பயன்படுத்தும்போது நடைமுறைக்கு வரும்; ஆனால் முடிவை மதிப்பிடும் முன் கிராலர் திரும்ப வர நேரம் கொடுங்கள்.
robots.txt மூலம் Perplexity-User-ஐத் தடுக்க முடியுமா?
நம்பகமாக முடியாது. ஒரு பயனர் கோரியதால் இந்த fetcher பொதுவாக robots.txt-ஐப் புறக்கணிக்கிறது என்று Perplexity கூறுகிறது. அதை நிறுத்த வேண்டுமெனில், அதன் வெளியிடப்பட்ட IP வரம்புகளுடன் பொருத்தப்பட்ட ஃபயர்வால் விதியே நம்பகமான கட்டுப்பாடு.
Perplexity போக்குவரத்தை அடையாளம் காண user agent சோதனை போதுமா?
இல்லை. User agent-களை எளிதில் நகலெடுக்கலாம். மூல IP-ஐ perplexitybot.json மற்றும் perplexity-user.json-இல் Perplexity வெளியிடும் வரம்புகளுடன் ஒப்பிட்டு, ஃபயர்வால் விதிகளில் user agent, IP இரண்டையும் பொருத்துங்கள்.
முழு வழிகாட்டியைப் படியுங்கள்
உங்கள் தயாரிப்பைப் பற்றி Perplexity-இடம் கேட்கிறீர்கள்; அது ஒரு போட்டியாளரையோ, மதிப்புரைத் தளத்தையோ, ஒரு மன்ற உரையாடலையோ மேற்கோள் காட்டுகிறது, உங்கள் சொந்தப் பக்கங்களை மட்டும் ஒருபோதும் காட்டுவதில்லை. சில நேரம் அது பொருத்தம் சார்ந்த விஷயம். பெரும்பாலும் அது சில நிமிடங்களில் கண்டுபிடிக்கக்கூடிய ஒரு தொழில்நுட்பத் தடை. Perplexity எந்த ஏஜென்ட்களைப் பயன்படுத்துகிறது, ஒவ்வொன்றும் என்ன செய்கிறது, அதன் போக்குவரத்து எங்கிருந்து வருகிறது என்பதை ஆவணப்படுத்தியுள்ளது; எனவே சங்கிலியின் ஒவ்வொரு கண்ணியையும் சரிபார்க்கலாம்: robots.txt, உங்கள் சர்வர் அனுப்பும் பதில், அந்தப் பதிலில் உள்ளவை.
Perplexity பக்கங்களை எப்படிக் கண்டுபிடித்துப் படிக்கிறது?
Perplexity இரண்டு ஏஜென்ட்களை ஆவணப்படுத்துகிறது. அவற்றின் வேலைகள் வேறுபட்டவை; இரண்டில் எதில் சிக்கல் இருந்தாலும் உங்கள் பக்கம் பதிலில் இடம்பெறாமல் போகலாம்.
PerplexityBotPerplexity தேடல் முடிவுகளில் இணையதளங்களைக் காட்டவும் இணைக்கவும் வடிவமைக்கப்பட்டது. அங்கே தோன்ற வேண்டுமெனில் robots.txt-இல் அதை அனுமதிக்குமாறு Perplexity பரிந்துரைக்கிறது; AI அடிப்படை மாடல்களுக்காக உள்ளடக்கத்தைக் கிரால் செய்ய அது பயன்படுத்தப்படுவதில்லை என்றும் கூறுகிறது.Perplexity-Userபயனர் செயல்களுக்கு உதவுகிறது. யாராவது ஒரு கேள்வி கேட்கும்போது, பதிலளிக்க உதவ அது ஒரு பக்கத்தைப் பார்வையிட்டு அந்தப் பக்கத்துக்கு இணைப்பு தரலாம். இது வலை கிராலிங்குக்கோ பயிற்சித் தரவைச் சேகரிக்கவோ பயன்படுத்தப்படுவதில்லை என்று Perplexity கூறுகிறது.
நடைமுறையில், யாரும் கேட்பதற்கு முன்பே உங்கள் பக்கங்கள் Perplexity-க்குத் தெரியுமா என்பதை PerplexityBot தீர்மானிக்கிறது; ஒரு கேள்விக்குத் தேவைப்படும்போது பக்கத்தை நேரலையாகத் திறக்க முடியுமா என்பதை Perplexity-User தீர்மானிக்கிறது. நீங்கள் மேற்கோள் காட்டப்பட விரும்பினால், உலாவி பெறும் அதே பக்கத்தை இரண்டும் பெற வேண்டும்.
உங்கள் robots.txt PerplexityBot-ஐத் தடுக்கிறதா?
https://yourdomain.com/robots.txt-ஐத் திறந்து PerplexityBot எனப் பெயரிடும் ஒரு குழுவைத் தேடுங்கள். அப்படி எதுவும் இல்லையெனில், கிராலர் User-agent: * குழுவைப் பின்பற்றும். RFC 9309-இன்படி பொருத்தம் எழுத்து அளவை (case) பொருட்படுத்தாது; பெயரிடப்பட்ட குழு * குழுவுடன் சேர்வதில்லை, அதை முழுமையாக மாற்றிவிடுகிறது.
இந்தத் தடை பொதுவானது. மிகப் பிரபலமான 1,000 டொமைன்களின் robots.txt கோப்புகள் குறித்த எங்கள் ஆய்வில், robots.txt வழங்கிய 518 தளங்களில் 86 (16.6%) PerplexityBot-க்கு முகப்புப் பக்கத்தைத் தடுத்திருந்தன. நாங்கள் சோதித்த AI தேடல் கிராலர்களில் இதுவே அதிகப் பங்கு; OAI-SearchBot 58 தளங்களில் (11.2%) தடுக்கப்பட்டிருந்தது. இவற்றில் சில தளங்கள் AI பயிற்சியை நிறுத்த எண்ணியிருக்கலாம்; ஆனால் PerplexityBot பயிற்சி கிராலர் அல்ல என்று Perplexity கூறுகிறது, எனவே அதைத் தடுப்பது அந்த நோக்கத்தை நிறைவேற்றாமல் தேடல் தெரிவுநிலையை மட்டும் இழக்கச் செய்கிறது.
Perplexity-ஐ உள்ளே விட்டு ஒரு தனிப்பட்ட பகுதியை மூடியே வைக்கும் அமைப்பு இப்படி இருக்கும்:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml கோப்பே சரியாகப் பதிலளிக்கிறதா என்பதையும் சரிபாருங்கள். robots.txt சர்வர் பிழையைத் தந்தால், முழுத் தளமும் தடுக்கப்பட்டதாகக் கிராலர் கருத வேண்டும் என்று RFC 9309 கூறுகிறது. நிலை 200 உடன் HTML பக்கத்தைத் தரும் robots.txt முகவரியில் செல்லுபடியான விதிகள் எதுவும் இல்லை. மாற்றங்கள் பிரதிபலிக்க 24 மணிநேரம் வரை ஆகலாம் என்று Perplexity கூறுகிறது.
உங்கள் ஃபயர்வால் அல்லது CDN Perplexity-ஐத் தடுக்கிறதா?
robots.txt ஒரு வேண்டுகோள், அணுகல் கட்டுப்பாடு அல்ல. உண்மையில் என்ன திருப்பி அனுப்பப்படுகிறது என்பதை உங்கள் ஃபயர்வால், CDN அல்லது பாட் பாதுகாப்பு தீர்மானிக்கிறது; உங்கள் சொந்த உலாவி வருகைகள் இயல்பாகத் தெரியும்போதே அது Perplexity-க்கு 403, 429 அல்லது challenge பக்கத்துடன் பதிலளிக்கலாம். web application firewall-க்குப் பின்னால் உள்ள தளங்கள் அதன் பாட்களை வெளிப்படையாக அனுமதிக்க வேண்டியிருக்கலாம் என்று Perplexity ஆவணங்கள் கூறுகின்றன.
அதே URL-ஐ ஒரு உலாவியாகவும் ஒவ்வொரு Perplexity ஏஜென்ட்டாகவும் கோரி, நிலையையும் அளவையும் ஒப்பிட்டுச் சோதியுங்கள்:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Perplexity ஏஜென்ட்களுக்கு மட்டும் 403, 429 அல்லது 503, Just a moment... என்ற தலைப்புள்ள பக்கம், அல்லது உலாவியின் பதிலைவிட மிகச் சிறிய 200 பதில் ஆகிய அனைத்தும் ஃபயர்வாலைச் சுட்டுகின்றன. இந்தச் சோதனை Perplexity-இன் IP முகவரியிலிருந்து அல்ல, உங்கள் IP முகவரியிலிருந்து வருகிறது; எனவே உங்கள் விதிகள் user agent-ஐ எப்படிக் கையாளுகின்றன என்பதை அது காட்டுகிறது. IP அடிப்படையிலான விதிகள் உண்மையான கிராலருக்கு வேறுபடலாம்.
நீங்கள் Cloudflare பயன்படுத்தினால், இரண்டு விஷயங்களைக் கவனியுங்கள். Bot Fight Mode-ஐ WAF custom rules மூலம் தவிர்க்க முடியாது என்ற Cloudflare-இன் சொந்தக் கூற்றை Perplexity ஆவணங்கள் மீண்டும் குறிப்பிடுகின்றன; எனவே அந்த அம்சம் Perplexity-க்கு challenge காட்டினால், அனுமதி விதி உதவாது. மேலும் ஆகஸ்ட் 2025-இல், அறிவிக்கப்படாத கிராலிங் என்று தான் விவரித்ததைக் கவனித்த பிறகு Perplexity-ஐ verified bots பட்டியலிலிருந்து நீக்கியதாக Cloudflare கூறியது; Perplexity அந்த விவரிப்பை மறுத்தது. எனவே verified bots-ஐ மட்டும் அனுமதிக்கும் விதிகள் Perplexity-ஐ உள்ளடக்காமல் போகலாம். ஊகிக்காமல், உங்கள் dashboard-இல் தற்போதைய நிலையைச் சரிபாருங்கள்.
வெளியிடப்பட்ட IP வரம்புகள் மூலம் Perplexity-ஐ எப்படி அனுமதிப்பது?
யார் வேண்டுமானாலும் தன்னை PerplexityBot என்று கூறும் கோரிக்கையை அனுப்பலாம்; எனவே user agent-ஐ மட்டும் பொருத்தும் அனுமதி விதி போலிகளையும் உள்ளே விடுகிறது. Perplexity இரண்டு ஏஜென்ட்களின் முகவரி வரம்புகளையும் வெளியிடுகிறது, user agent-ஐயும் IP முகவரியையும் சேர்த்துப் பொருத்துமாறு பரிந்துரைக்கிறது:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' இந்தப் பட்டியல்கள் தொடர்ந்து புதுப்பிக்கப்படுவதாகக் கூறும் Perplexity, உங்கள் WAF விதிகளின் புதுப்பிப்பைத் தானியக்கமாக்குமாறு பரிந்துரைக்கிறது. கோரிக்கைகளைத் தடுக்கும் அல்லது challenge செய்யும் எந்த விதிக்கும் மேலே அனுமதி விதியை வையுங்கள்: Cloudflare custom rules-இல் முதலிடத்தில், அல்லது AWS WAF-இல் குறைந்த priority எண்ணுடன். பிறகு உங்கள் logs-ஐக் கவனியுங்கள், ஏனெனில் ஃபயர்வால் மாற்றங்கள் பரவ நேரம் ஆகலாம்.
JavaScript rendering, Perplexity பக்கத்தைப் படிப்பதைத் தடுக்குமா?
தடுக்கலாம். தன் ஏஜென்ட்கள் JavaScript-ஐ இயக்குகின்றனவா என்று Perplexity கிராலர் ஆவணங்கள் கூறவில்லை; எனவே கிராலருக்குத் தேவையான உரை சர்வர் அனுப்பும் HTML-இலேயே இருக்க வேண்டும் என்று கருதுவதே பாதுகாப்பானது. சர்வர் rendering இல்லாத single-page ஆப்கள் போல முழுவதும் உலாவியில் உருவாக்கப்படும் பக்கங்கள், loading spinner உள்ள வெற்று shell-ஆக வந்து சேரலாம்.
curl மூலம் பக்கத்தைப் பெற்று, உங்கள் முக்கிய உள்ளடக்கத்திலிருந்து ஒரு வாக்கியத்தை வெளியீட்டில் தேடுவது விரைவான சோதனை. அது இல்லையெனில், உரை scripts மூலம் சேர்க்கப்படுகிறது. Server-side rendering, static generation அல்லது கிராலர்களுக்கான prerendering இதை Perplexity-க்கு மட்டுமல்ல, எல்லா AI கிராலர்களுக்கும் ஒரே நேரத்தில் சரிசெய்கிறது.
எல்லாம் திறந்திருந்தும் என் தளம் தோன்றவில்லை என்றால் என்ன செய்வது?
படிக்கக்கூடியதாக இருப்பது ஒரு முன்நிபந்தனை, உத்தரவாதம் அல்ல. எந்த மூலங்களை மேற்கோள் காட்டுவது என்பதை எப்படித் தேர்வு செய்கிறது என்று Perplexity வெளியிடுவதில்லை; எனவே எல்லா ஏஜென்ட்களும் படிக்கக்கூடிய பக்கம்கூட, கேள்விக்கு நேரடியாகப் பதிலளிக்கும் பக்கங்களிடம் தோற்கலாம். நீங்கள் கட்டுப்படுத்தக்கூடியது, எந்தத் தொழில்நுட்பத் தடையும் குறுக்கே இல்லாமல் பார்த்துக்கொள்வதுதான்: தெளிவான பக்கத் தலைப்பு, உரையின் தொடக்கத்திலேயே சொல்லப்படும் பதில், நீங்கள் மற்ற இடங்களில் சொல்வதுடன் ஒத்துப்போகும் துல்லியமான தகவல்கள்.
robots.txt எதை உள்ளடக்காது என்பதையும் நினைவில் கொள்ளுங்கள். ஒரு பயனர் கோரியதால் Perplexity-User பொதுவாக robots.txt-ஐப் புறக்கணிக்கிறது என்று Perplexity கூறுகிறது. எனவே Perplexity-User-க்கான விதி நேரலை வருகைகளைத் தடுக்க நம்பகமான வழி அல்ல; அதை அனுமதிக்கும் robots.txt, அது உங்கள் ஃபயர்வாலைக் கடந்து செல்கிறது என்பதற்குச் சான்றும் அல்ல.
AISeeWhy உங்கள் பக்கத்தை ஒரு உலாவியுடன் சேர்த்து PerplexityBot, Perplexity-User மற்றும் 12 பிற கிராலர்களாகக் கோருகிறது, ஒவ்வொன்றுக்கும் உங்கள் robots.txt விதிகளைப் பயன்படுத்துகிறது, challenge பக்கங்களை அடையாளம் காண்கிறது, JavaScript இல்லாமல் உரையில் எவ்வளவு வந்து சேர்கிறது என்பதைக் காட்டுகிறது; இதனால் சங்கிலியின் எந்தக் கண்ணி தோல்வியடைகிறது என்பதைப் பார்க்கலாம்.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
மூலங்கள்
- Perplexity: Perplexity கிராலர்கள்
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: வலைத்தளங்களின் no-crawl கட்டளைகளைத் தவிர்க்க Perplexity மறைமுகமான, அறிவிக்கப்படாத கிராலர்களைப் பயன்படுத்துகிறது
- Perplexity: ஏஜென்ட்களா, பாட்களா? திறந்த வலையில் AI-ஐப் புரிந்துகொள்வது
- AISeeWhy: AI கிராலர் அணுகல் அறிக்கை, 2026-11