Mga crawler ng Perplexity: PerplexityBot at Perplexity-User
Ginagamit ng Perplexity ang PerplexityBot para ipakita at i-link ang mga website sa mga resulta ng search nito, at ang Perplexity-User para bumisita sa mga pahina kapag kailangan ng tanong ng user. Sinasabi ng Perplexity na sinusunod ng PerplexityBot ang robots.txt at hindi ito ginagamit sa pag-train ng mga foundation model, habang karaniwang hindi pinapansin ng Perplexity-User ang robots.txt dahil user ang humiling ng pagkuha. Para hindi magamit ng search ng Perplexity ang mga pahina mo, i-disallow ang PerplexityBot sa robots.txt; para pigilan ang Perplexity-User, gumamit ng firewall rule na tugma sa mga inilathala nitong IP range.
Nakabatay sa mga pagsipi ang Perplexity: may kasamang mga numeradong link ang mga sagot sa mga pahinang pinagkunan nila. Maikli ang dokumentasyon ng crawler nito, at malinaw nitong sinasabi kung aling agent ang sumusunod sa robots.txt at alin ang hindi. Ang pagkakaibang iyon ang nagpapasya kung anong tool ang gagamitin mo kung gusto mong kontrolin ang alinman sa dalawa.
Sa pahinang ito
Ano ang ginagawa ng PerplexityBot?
Ginawa ang PerplexityBot para ipakita at i-link ang mga website sa mga resulta ng search ng Perplexity. Sinasabi ng Perplexity na hindi ito ginagamit para mag-crawl ng content para sa mga AI foundation model. Para lumabas sa mga resulta ng search ng Perplexity, inirerekomenda ng Perplexity na payagan ang PerplexityBot sa robots.txt.
Inilalarawan ng Perplexity ang user agent na ito:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Maaaring magbago ang version number, kaya dapat tumugma ang mga firewall rule sa token na PerplexityBot. Inilalathala ng Perplexity ang mga IP range sa perplexity.ai/perplexitybot.json.
Ano ang ginagawa ng Perplexity-User?
Sumusuporta ang Perplexity-User sa mga aksyon ng user. Kapag may nagtanong sa Perplexity, maaari itong bumisita sa isang web page para makatulong sa pagbibigay ng tumpak na sagot at magsama ng link sa pahinang iyon. Sinasabi ng Perplexity na hindi ito ginagamit para mag-crawl ng web o mangolekta ng training data.
Ang dokumentadong user agent nito ay Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), at inilalathala ang mga IP range nito sa perplexity.ai/perplexity-user.json.
Ano ang kinokontrol ng robots.txt, at ano ang hindi?
Ito ang pangunahing punto. Sinasabi ng Perplexity na dahil user ang humiling ng pagkuha, karaniwang hindi pinapansin ng Perplexity-User ang mga rule sa robots.txt. Naaapektuhan ng grupo sa robots.txt para sa PerplexityBot ang pag-index para sa search; hindi nito maaasahang napipigilan ang mga live na pagkuha para sa user.
- I-disallow ang
PerplexityBotsa robots.txt: hindi nako-crawl ang mga pahina mo para sa search index ng Perplexity, kaya mas maliit ang tsansang maipakita at ma-link sila. - I-disallow ang
Perplexity-Usersa robots.txt: ayon sa dokumentasyon ng Perplexity, karaniwang hindi ito pinapansin ng fetcher, kaya hindi ito maaasahang kontrol. - I-block ang
Perplexity-Usersa firewall: pumapalya ang pagkuha, at nakakakuha ng sagot nang wala ang pahina mo ang mga user na nagtatanong tungkol dito. - Payagan ang dalawa: kayang i-index ng Perplexity ang mga pahina mo at basahin ang mga ito nang live kapag nagtanong ang user.
Sinasabi ng Perplexity na independiyenteng gumagana ang bawat robots.txt setting, at maaaring umabot nang hanggang 24 oras bago makita ang mga pagbabago.
Paano naiiba ang Perplexity sa ChatGPT at Claude?
Pinaghihiwalay ng tatlong vendor ang search crawler at ang fetcher na hinihiling ng user. Dalawang detalye ang nagpapaiba sa Perplexity. Una, wala itong hiwalay na training crawler: sinasabi nitong hindi ginagamit ang PerplexityBot para mag-crawl ng content para sa mga AI foundation model, kaya walang training token na pagpapasyahan. Pangalawa, tahasan nitong sinasabi na karaniwang hindi pinapansin ng user fetcher nito ang robots.txt, samantalang sinasabi ng OpenAI na maaaring hindi nalalapat ang robots.txt sa ChatGPT-User at sinasabi ng Anthropic na sinusunod ng mga bot nito, kasama ang Claude-User, ang robots.txt.
Sa praktika, ibig sabihin nito ay iisang desisyon sa robots.txt para sa search crawler ng Perplexity, at desisyon sa firewall kung sakaling gusto mong pigilan ang mga pagkuhang hinihiling ng user.
Anong robots.txt ang dapat kong gamitin para sa Perplexity?
Kung gusto mong masipi, tahasang payagan ang search crawler. Tandaan na hindi nagmamana ng mga rule mula sa * ang grupong may pangalan, kaya ulitin ang anumang pribadong path:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ Dahil hindi training crawler ang PerplexityBot, ang pag-block dito para mag-opt out sa model training ay magpapawala sa iyo ng visibility sa search nang hindi naaabot ang layuning iyon.
Kung naglilista ka ng sitemap sa robots.txt, ilagay ang linyang Sitemap: sa labas ng anumang grupo o sa dulo ng file; nalalapat ito sa lahat ng crawler. Tiyakin din na hindi bina-block ng firewall mo ang mismong sitemap, dahil hindi ito magagamit ng crawler na hindi makakuha nito para maghanap ng mga bago o binagong pahina.
Paano ko matitiyak na hindi bina-block ng firewall ang Perplexity?
Madalas ituring ng bot protection na kahina-hinala ang anumang request na hindi galing sa browser. I-request ang pahina mo gamit ang bawat user agent ng Perplexity at ihambing ang sagot sa isang request ng browser. Kung 403, 429 o challenge page ang nakukuha ng crawler, magdagdag ng allow rule na tumutugma sa token at, mas mainam, sa mga inilathalang IP range, para totoong traffic lang ng Perplexity ang makalampas. Sa Cloudflare, inililista ng AI Crawl Control ang mga AI crawler na may action na Allow o Block para sa bawat isa.
Magberipika sa halip na pagkatiwalaan ang user agent. Kahit sino ay puwedeng magpadala ng request na nagsasabing PerplexityBot, kaya ang allow rule na batay lang sa user agent ay nagpapapasok din sa mga gumagaya, at malulusutan ang block na batay dito. Ang pagsuri sa pinagmulang IP laban sa mga inilathalang listahan ng Perplexity ang nagpapamaaasahan sa dalawang uri ng rule.
Sinusubukan ng AISeeWhy ang PerplexityBot at Perplexity-User kasama ng 12 iba pang crawler. Dahil pareho silang nagpapasya kung magagamit ng Perplexity ang pahina mo sa isang sagot, iniuulat bilang P1 ang block sa alinman sa dalawa, kasama ang rule para maayos ito.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Ginagamit ba ng Perplexity ang content ko para mag-train ng mga AI model?
Sinasabi ng Perplexity na hindi ginagamit ang PerplexityBot o ang Perplexity-User para mangolekta ng content para sa pag-train ng mga AI foundation model.
Bakit hindi pinapansin ng Perplexity-User ang robots.txt?
Ang katwiran ng Perplexity ay user ang humiling ng pahina, kaya kumikilos ang pagkuha para sa user na iyon sa halip na bilang awtomatikong crawling. Sinasabi ng dokumentasyon nito na dahil dito, karaniwang hindi pinapansin ng fetcher ang robots.txt.
Paano ko iba-block ang Perplexity-User kung kailangan ko?
Gamitin ang firewall o CDN mo, at itugma ang token ng user agent at ang mga inilathalang IP range ng Perplexity. Hindi maaasahang kontrol ang robots.txt para sa agent na ito.
Gaano katagal bago mailapat ang pagbabago sa robots.txt?
Sinasabi ng Perplexity na maaaring umabot nang hanggang 24 oras bago makita ng mga system nito ang mga pagbabago.
Mapipigilan ba ng pag-block sa PerplexityBot ang Perplexity na gamitin ang content ko nang tuluyan?
Hindi. Inilalayo nito ang mga pahina mo sa crawl para sa search index ng Perplexity, pero puwede pa ring kunin ng Perplexity-User ang isang pahina kapag nagtanong ang user tungkol dito, dahil karaniwang hindi pinapansin ng fetcher na iyon ang robots.txt.
Mga pinagmulan
- Perplexity: Perplexity crawlers
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Manage AI crawlers (AI Crawl Control)