Perplexity rāpuļprogrammas: PerplexityBot un Perplexity-User
Perplexity izmanto PerplexityBot, lai parādītu un saistītu vietnes savos meklēšanas rezultātos, un Perplexity-User, lai apmeklētu lapas, kad tās vajadzīgas lietotāja jautājumam. Perplexity norāda, ka PerplexityBot ievēro robots.txt un netiek izmantota pamatmodeļu apmācībai, bet Perplexity-User parasti ignorē robots.txt, jo ielādi pieprasīja lietotājs. Lai Perplexity meklēšana neizmantotu jūsu lapas, aizliedziet PerplexityBot robots.txt; lai apturētu Perplexity-User, izmantojiet ugunsmūra noteikumu, kas atbilst tās publicētajiem IP diapazoniem.
Perplexity ir veidota ap citātiem: atbildēm pievienotas numurētas saites uz lapām, no kurām tās smeļas. Tās rāpuļprogrammu dokumentācija ir īsa, un tajā skaidri norādīts, kurš aģents ievēro robots.txt un kurš ne. Šī atšķirība nosaka, kuru rīku izmantot, ja vēlaties kontrolēt kādu no tiem.
Šajā lapā
Ko dara PerplexityBot?
PerplexityBot ir paredzēta, lai parādītu un saistītu vietnes Perplexity meklēšanas rezultātos. Perplexity norāda, ka tā netiek izmantota satura vākšanai MI pamatmodeļiem. Lai parādītos Perplexity meklēšanas rezultātos, Perplexity iesaka atļaut PerplexityBot robots.txt.
Perplexity dokumentē šo user-agent:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Versijas numurs var mainīties, tāpēc ugunsmūra noteikumiem jāpārbauda marķieris PerplexityBot. Perplexity publicē IP diapazonus perplexity.ai/perplexitybot.json.
Ko dara Perplexity-User?
Perplexity-User atbalsta lietotāju darbības. Kad kāds uzdod Perplexity jautājumu, tā var apmeklēt tīmekļa lapu, lai palīdzētu sniegt precīzu atbildi, un iekļaut saiti uz šo lapu. Perplexity norāda, ka to neizmanto tīmekļa apstaigāšanai vai apmācības datu vākšanai.
Tās dokumentētais user-agent ir Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), un tās IP diapazoni publicēti perplexity.ai/perplexity-user.json.
Ko robots.txt kontrolē un ko ne?
Tas ir galvenais. Perplexity norāda, ka, tā kā ielādi pieprasīja lietotājs, Perplexity-User parasti ignorē robots.txt kārtulas. robots.txt grupa PerplexityBot ietekmē indeksēšanu meklēšanai; tā uzticami neaptur tiešsaistes ielādes lietotāja vārdā.
- Aizliegt
PerplexityBotrobots.txt: jūsu lapas netiek apstaigātas Perplexity meklēšanas indeksam, tāpēc mazāka iespēja, ka tās tiks parādītas un saistītas. - Aizliegt
Perplexity-Userrobots.txt: saskaņā ar Perplexity dokumentāciju šis rīks to parasti ignorē, tāpēc tas nav uzticams līdzeklis. - Bloķēt
Perplexity-Userugunsmūrī: ielāde neizdodas, un lietotāji, kas jautā par jūsu lapu, saņem atbildi bez tās. - Atļaut abas: Perplexity var indeksēt jūsu lapas un nolasīt tās tiešsaistē, kad lietotājs jautā.
Perplexity norāda, ka katrs robots.txt iestatījums darbojas neatkarīgi un ka izmaiņas var tikt ņemtas vērā līdz 24 stundu laikā.
Ar ko Perplexity atšķiras no ChatGPT un Claude?
Visi trīs piegādātāji nodala meklēšanas rāpuļprogrammu no lietotāja pieprasītas ielādes rīka. Perplexity izceļas ar divām detaļām. Pirmkārt, tai nav atsevišķas apmācības rāpuļprogrammas: tā norāda, ka PerplexityBot netiek izmantota satura vākšanai MI pamatmodeļiem, tāpēc nav apmācības marķiera, par ko lemt. Otrkārt, tā skaidri norāda, ka tās lietotāju ielādes rīks parasti ignorē robots.txt, kamēr OpenAI norāda, ka robots.txt uz ChatGPT-User var neattiekties, un Anthropic norāda, ka tās roboti, tostarp Claude-User, ievēro robots.txt.
Praksē tas nozīmē vienu lēmumu par Perplexity meklēšanas rāpuļprogrammu robots.txt un ugunsmūra lēmumu, ja kādreiz vēlaties apturēt lietotāju pieprasītas ielādes.
Kādu robots.txt izmantot Perplexity?
Ja vēlaties, lai jūs citē, atļaujiet meklēšanas rāpuļprogrammu skaidri. Atcerieties, ka nosaukta grupa nemanto kārtulas no *, tāpēc atkārtojiet privātos ceļus:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ Tā kā PerplexityBot nav apmācības rāpuļprogramma, tās bloķēšana, lai atteiktos no modeļu apmācības, maksātu jums redzamību meklēšanā, nesasniedzot šo mērķi.
Ja robots.txt norādāt sitemap, turiet rindu Sitemap: ārpus grupām vai faila beigās; tā attiecas uz visām rāpuļprogrammām. Pārliecinieties arī, ka jūsu ugunsmūris nebloķē pašu sitemap, jo rāpuļprogramma, kas to nevar ielādēt, nevar to izmantot jaunu vai mainītu lapu atrašanai.
Kā pārliecināties, ka ugunsmūris nebloķē Perplexity?
Aizsardzība pret robotiem bieži uzskata par aizdomīgu jebkuru pieprasījumu, kas nav no pārlūka. Pieprasiet savu lapu ar katru Perplexity user-agent un salīdziniet atbildi ar pārlūka pieprasījumu. Ja rāpuļprogramma saņem 403, 429 vai pārbaudes lapu, pievienojiet atļaujošu noteikumu, kas pārbauda marķieri un, ideālā gadījumā, publicētos IP diapazonus, lai cauri tiktu tikai īsta Perplexity datplūsma. Cloudflare sadaļā AI Crawl Control uzskaitītas MI rāpuļprogrammas ar darbību Allow vai Block katrai.
Verificējiet, nevis uzticieties user-agent. Ikviens var nosūtīt pieprasījumu, kas saka PerplexityBot, tāpēc atļaujošs noteikums, kas balstīts tikai uz user-agent, ielaiž arī atdarinātājus, un uz to balstītu bloķējumu var apiet. Avota IP pārbaude pret Perplexity publicētajiem sarakstiem padara uzticamus abu veidu noteikumus.
AISeeWhy testē PerplexityBot un Perplexity-User kopā ar vēl 12 rāpuļprogrammām. Tā kā abas nosaka, vai Perplexity var izmantot jūsu lapu atbildē, jebkuras no tām bloķējums tiek ziņots kā P1 kopā ar noteikumu tā labošanai.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai Perplexity izmanto manu saturu MI modeļu apmācībai?
Perplexity norāda, ka ne PerplexityBot, ne Perplexity-User netiek izmantota satura vākšanai MI pamatmodeļu apmācībai.
Kāpēc Perplexity-User ignorē robots.txt?
Perplexity pamatojums ir tāds, ka lapu lūdza lietotājs, tāpēc ielāde notiek šī lietotāja vārdā, nevis kā automātiska apstaigāšana. Tās dokumentācijā teikts, ka šī iemesla dēļ rīks parasti ignorē robots.txt.
Kā bloķēt Perplexity-User, ja tas vajadzīgs?
Izmantojiet ugunsmūri vai CDN, pārbaudot user-agent marķieri un Perplexity publicētos IP diapazonus. robots.txt šim aģentam nav uzticams līdzeklis.
Cik ilgā laikā robots.txt izmaiņas stājas spēkā?
Perplexity norāda, ka tās sistēmām izmaiņu ņemšana vērā var aizņemt līdz 24 stundām.
Vai PerplexityBot bloķēšana pilnībā aptur Perplexity piekļuvi manam saturam?
Nē. Tā tur jūsu lapas ārpus Perplexity meklēšanas indeksa apstaigāšanas, bet Perplexity-User joprojām var ielādēt lapu, kad lietotājs par to jautā, jo šis rīks parasti ignorē robots.txt.
Avoti
- Perplexity: Perplexity rāpuļprogrammas
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: MI rāpuļprogrammu pārvaldība (AI Crawl Control)