Perplexity క్రాలర్లు: PerplexityBot, Perplexity-User
Perplexity తన సెర్చ్ ఫలితాల్లో వెబ్సైట్లను చూపించడానికి, లింక్ చేయడానికి PerplexityBotను, యూజర్ ప్రశ్నకు అవసరమైనప్పుడు పేజీలను సందర్శించడానికి Perplexity-Userను ఉపయోగిస్తుంది. PerplexityBot robots.txtను పాటిస్తుందని, ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు ఉపయోగించబడదని Perplexity చెబుతుంది; Perplexity-User మాత్రం యూజర్ అభ్యర్థించినందున సాధారణంగా robots.txtను విస్మరిస్తుంది. Perplexity సెర్చ్ మీ పేజీలను ఉపయోగించకుండా ఉండాలంటే robots.txtలో PerplexityBotను నిషేధించండి; Perplexity-Userను ఆపడానికి, దాని ప్రచురించిన IP పరిధులకు సరిపోలే ఫైర్వాల్ రూల్ ఉపయోగించండి.
Perplexity ఉటంకింపుల చుట్టూ నిర్మించబడింది: జవాబులతో పాటు అవి ఆధారపడిన పేజీలకు నంబర్ వేసిన లింక్లు వస్తాయి. దాని క్రాలర్ డాక్యుమెంటేషన్ చిన్నది, ఏ ఏజెంట్ robots.txtను పాటిస్తుందో, ఏది పాటించదో అది స్పష్టంగా చెబుతుంది. ఈ రెండింటిలో దేన్నైనా నియంత్రించాలనుకుంటే ఏ సాధనాన్ని ఉపయోగించాలో ఆ తేడానే నిర్ణయిస్తుంది.
ఈ పేజీలో
PerplexityBot ఏమి చేస్తుంది?
PerplexityBot Perplexity సెర్చ్ ఫలితాల్లో వెబ్సైట్లను చూపించడానికి, లింక్ చేయడానికి రూపొందించబడింది. ఇది AI ఫౌండేషన్ మోడల్ల కోసం కంటెంట్ క్రాల్ చేయడానికి ఉపయోగించబడదని Perplexity చెబుతుంది. Perplexity సెర్చ్ ఫలితాల్లో కనిపించడానికి robots.txtలో PerplexityBotను అనుమతించమని Perplexity సిఫార్సు చేస్తుంది.
Perplexity ఈ యూజర్ ఏజెంట్ను డాక్యుమెంట్ చేస్తుంది:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) వెర్షన్ నంబర్ మారవచ్చు, కాబట్టి ఫైర్వాల్ నియమాలు PerplexityBot టోకెన్ను సరిపోల్చాలి. Perplexity IP పరిధులను perplexity.ai/perplexitybot.jsonలో ప్రచురిస్తుంది.
Perplexity-User ఏమి చేస్తుంది?
Perplexity-User యూజర్ చర్యలకు తోడ్పడుతుంది. ఎవరైనా Perplexityని ప్రశ్న అడిగినప్పుడు, కచ్చితమైన జవాబు ఇవ్వడానికి అది ఒక వెబ్ పేజీని సందర్శించి, ఆ పేజీకి లింక్ను చేర్చవచ్చు. ఇది వెబ్ క్రాలింగ్కు గానీ ట్రైనింగ్ డేటా సేకరణకు గానీ ఉపయోగించబడదని Perplexity చెబుతుంది.
దాని డాక్యుమెంట్ చేసిన యూజర్ ఏజెంట్ Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), దాని IP పరిధులు perplexity.ai/perplexity-user.jsonలో ప్రచురించబడ్డాయి.
robots.txt దేన్ని నియంత్రిస్తుంది, దేన్ని నియంత్రించదు?
ఇదే ముఖ్యమైన అంశం. యూజర్ అభ్యర్థించినందున Perplexity-User సాధారణంగా robots.txt నియమాలను విస్మరిస్తుందని Perplexity చెబుతుంది. PerplexityBot కోసం robots.txt గ్రూప్ సెర్చ్ ఇండెక్సింగ్ను ప్రభావితం చేస్తుంది; యూజర్ తరఫున జరిగే లైవ్ ఫెచ్లను అది నమ్మదగినంతగా ఆపదు.
- robots.txtలో
PerplexityBotను నిషేధిస్తే: మీ పేజీలు Perplexity సెర్చ్ ఇండెక్స్ కోసం క్రాల్ కావు, కాబట్టి అవి చూపించబడటానికి, లింక్ అవ్వడానికి అవకాశం తక్కువ. - robots.txtలో
Perplexity-Userను నిషేధిస్తే: Perplexity డాక్యుమెంటేషన్ ప్రకారం, ఫెచర్ సాధారణంగా దీన్ని విస్మరిస్తుంది, కాబట్టి ఇది నమ్మదగిన నియంత్రణ కాదు. - ఫైర్వాల్లో
Perplexity-Userను బ్లాక్ చేస్తే: ఫెచ్ విఫలమవుతుంది, మీ పేజీ గురించి అడిగే యూజర్లకు అది లేకుండానే జవాబు వస్తుంది. - రెండింటినీ అనుమతిస్తే: Perplexity మీ పేజీలను ఇండెక్స్ చేయగలదు, యూజర్ అడిగినప్పుడు వాటిని లైవ్గా చదవగలదు.
ప్రతి robots.txt సెట్టింగ్ స్వతంత్రంగా పనిచేస్తుందని, మార్పులు ప్రతిఫలించడానికి 24 గంటల వరకు పట్టవచ్చని Perplexity చెబుతుంది.
Perplexity ChatGPT, Claude నుంచి ఎలా భిన్నమైనది?
మూడు సంస్థలూ సెర్చ్ క్రాలర్ను యూజర్ అభ్యర్థించే ఫెచర్ నుంచి వేరు చేస్తాయి. రెండు వివరాలు Perplexityని ప్రత్యేకంగా నిలుపుతాయి. మొదటిది, అది ప్రత్యేక ట్రైనింగ్ క్రాలర్ను నడపదు: PerplexityBot AI ఫౌండేషన్ మోడల్ల కోసం కంటెంట్ క్రాల్ చేయడానికి ఉపయోగించబడదని అది చెబుతుంది, కాబట్టి నిర్ణయించాల్సిన ట్రైనింగ్ టోకెన్ ఏదీ లేదు. రెండోది, తన యూజర్ ఫెచర్ సాధారణంగా robots.txtను విస్మరిస్తుందని అది స్పష్టంగా చెబుతుంది; OpenAI మాత్రం ChatGPT-Userకు robots.txt వర్తించకపోవచ్చని, Anthropic తన బాట్లు, Claude-Userతో సహా, robots.txtను గౌరవిస్తాయని చెబుతాయి.
ఆచరణలో దీని అర్థం: robots.txtలో Perplexity సెర్చ్ క్రాలర్ కోసం ఒకే ఒక నిర్ణయం, ఎప్పుడైనా యూజర్ అభ్యర్థించే ఫెచ్లను ఆపాలనుకుంటే ఫైర్వాల్ నిర్ణయం.
Perplexity కోసం ఏ robots.txt ఉపయోగించాలి?
మీరు ఉటంకించబడాలనుకుంటే, సెర్చ్ క్రాలర్ను స్పష్టంగా అనుమతించండి. పేరు ఉన్న గ్రూప్ * నుంచి నియమాలను వారసత్వంగా పొందదని గుర్తుంచుకోండి, కాబట్టి ప్రైవేట్ పాత్లను మళ్లీ రాయండి:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot ట్రైనింగ్ క్రాలర్ కాదు కాబట్టి, మోడల్ ట్రైనింగ్ నుంచి వైదొలగడానికి దాన్ని బ్లాక్ చేస్తే ఆ లక్ష్యం నెరవేరకుండానే మీ సెర్చ్ విజిబిలిటీ పోతుంది.
robots.txtలో sitemapను పేర్కొంటే, Sitemap: లైన్ను ఏ గ్రూప్ బయటైనా లేదా ఫైల్ చివరలో ఉంచండి; అది అన్ని క్రాలర్లకూ వర్తిస్తుంది. sitemap కూడా మీ ఫైర్వాల్ వల్ల బ్లాక్ కాలేదని నిర్ధారించుకోండి, ఎందుకంటే దాన్ని తెచ్చుకోలేని క్రాలర్ కొత్త లేదా మారిన పేజీలను కనుగొనడానికి దాన్ని ఉపయోగించలేదు.
ఫైర్వాల్ Perplexityని బ్లాక్ చేయడం లేదని ఎలా నిర్ధారించుకోవాలి?
బాట్ ప్రొటెక్షన్ తరచుగా బ్రౌజర్ కాని ఏ అభ్యర్థననైనా అనుమానాస్పదంగా చూస్తుంది. ప్రతి Perplexity యూజర్ ఏజెంట్తో మీ పేజీని అభ్యర్థించి, ప్రతిస్పందనను బ్రౌజర్ అభ్యర్థనతో పోల్చండి. క్రాలర్కు 403, 429 లేదా ఛాలెంజ్ పేజీ వస్తే, టోకెన్కు, వీలైతే ప్రచురించిన IP పరిధులకు కూడా సరిపోలే అనుమతి నియమాన్ని జోడించండి, అలా నిజమైన Perplexity ట్రాఫిక్ మాత్రమే లోపలికి వస్తుంది. Cloudflareలో AI Crawl Control AI క్రాలర్లను ఒక్కోదానికి Allow లేదా Block చర్యతో జాబితా చేస్తుంది.
యూజర్ ఏజెంట్ను నమ్మకండి, ధృవీకరించండి. ఎవరైనా PerplexityBot అని చెప్పే అభ్యర్థనను పంపవచ్చు, కాబట్టి యూజర్ ఏజెంట్ ఒక్కదానిపైనే ఆధారపడిన అనుమతి నియమం అనుకరించేవారిని కూడా లోపలికి రానిస్తుంది, దానిపై ఆధారపడిన బ్లాక్ను తప్పించుకోవచ్చు. సోర్స్ IPని Perplexity ప్రచురించిన జాబితాలతో తనిఖీ చేస్తే రెండు రకాల నియమాలూ నమ్మదగినవిగా మారుతాయి.
AISeeWhy PerplexityBot, Perplexity-Userలను మరో 12 క్రాలర్లతో పాటు పరీక్షిస్తుంది. Perplexity మీ పేజీని జవాబులో ఉపయోగించగలదా అని రెండూ నిర్ణయిస్తాయి కాబట్టి, వాటిలో దేని బ్లాక్ అయినా సరిచేసే నియమంతో పాటు P1గా రిపోర్ట్ అవుతుంది.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
Perplexity AI మోడల్ల ట్రైనింగ్కు నా కంటెంట్ను ఉపయోగిస్తుందా?
PerplexityBot గానీ Perplexity-User గానీ AI ఫౌండేషన్ మోడల్ల ట్రైనింగ్ కోసం కంటెంట్ సేకరించడానికి ఉపయోగించబడవని Perplexity చెబుతుంది.
Perplexity-User robots.txtను ఎందుకు విస్మరిస్తుంది?
Perplexity వాదన ఏమిటంటే ఒక యూజర్ పేజీని అడిగారు, కాబట్టి ఫెచ్ ఆటోమేటెడ్ క్రాలింగ్గా కాకుండా ఆ యూజర్ తరఫున పనిచేస్తుంది. ఆ కారణంగానే ఫెచర్ సాధారణంగా robots.txtను విస్మరిస్తుందని దాని డాక్యుమెంటేషన్ చెబుతుంది.
అవసరమైతే Perplexity-Userను ఎలా బ్లాక్ చేయాలి?
యూజర్ ఏజెంట్ టోకెన్ను, Perplexity ప్రచురించిన IP పరిధులను సరిపోల్చి మీ ఫైర్వాల్ లేదా CDNను ఉపయోగించండి. ఈ ఏజెంట్కు robots.txt నమ్మదగిన నియంత్రణ కాదు.
robots.txt మార్పు వర్తించడానికి ఎంత సమయం పడుతుంది?
మార్పులు దాని సిస్టమ్లలో ప్రతిఫలించడానికి 24 గంటల వరకు పట్టవచ్చని Perplexity చెబుతుంది.
PerplexityBotను బ్లాక్ చేస్తే Perplexity నా కంటెంట్ను అసలు ఉపయోగించకుండా ఆగుతుందా?
లేదు. అది Perplexity సెర్చ్ ఇండెక్స్ కోసం జరిగే క్రాల్ నుంచి మీ పేజీలను దూరంగా ఉంచుతుంది, కానీ యూజర్ ఒక పేజీ గురించి అడిగినప్పుడు Perplexity-User దాన్ని ఇంకా తెచ్చుకోగలదు, ఎందుకంటే ఆ ఫెచర్ సాధారణంగా robots.txtను విస్మరిస్తుంది.
మూలాలు
- Perplexity: Perplexity క్రాలర్లు
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI క్రాలర్లను నిర్వహించడం (AI Crawl Control)