AISeeWhy
NL
Start gratis proefperiode

De crawlers van Perplexity: PerplexityBot en Perplexity-User

Gepubliceerd

Kort antwoord

Perplexity gebruikt PerplexityBot om websites te tonen en te linken in zijn zoekresultaten, en Perplexity-User om pagina's te bezoeken wanneer de vraag van een gebruiker dat vereist. Volgens Perplexity volgt PerplexityBot robots.txt en wordt hij niet gebruikt om foundation models te trainen, terwijl Perplexity-User robots.txt over het algemeen negeert omdat een gebruiker het ophalen heeft gevraagd.

Perplexity is gebouwd rond bronvermelding: antwoorden komen met genummerde links naar de pagina's waarop ze steunen. De crawlerdocumentatie is kort en zegt duidelijk welke agent robots.txt volgt en welke niet. Dat verschil bepaalt welk middel je gebruikt als je een van beide wilt sturen.

Op deze pagina
  1. Wat doet PerplexityBot?
  2. Wat doet Perplexity-User?
  3. Wat regelt robots.txt wel en niet?
  4. Hoe verschilt Perplexity van ChatGPT en Claude?
  5. Welke robots.txt moet ik gebruiken voor Perplexity?
  6. Hoe zorg ik dat de firewall Perplexity niet blokkeert?

Wat doet PerplexityBot?

PerplexityBot is bedoeld om websites te tonen en te linken in de zoekresultaten van Perplexity. Volgens Perplexity wordt hij niet gebruikt om content voor AI-foundation models te crawlen. Om in de zoekresultaten van Perplexity te verschijnen, adviseert Perplexity PerplexityBot toe te staan in robots.txt.

Perplexity documenteert deze user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Het versienummer kan veranderen, dus firewallregels horen te matchen op het token PerplexityBot. Perplexity publiceert de IP-bereiken op perplexity.ai/perplexitybot.json.

Wat doet Perplexity-User?

Perplexity-User ondersteunt acties van gebruikers. Wanneer iemand Perplexity een vraag stelt, kan het een webpagina bezoeken om een juist antwoord te geven en een link naar die pagina opnemen. Volgens Perplexity wordt hij niet gebruikt om het web te crawlen of trainingsdata te verzamelen.

De gedocumenteerde user agent is Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), en de IP-bereiken staan op perplexity.ai/perplexity-user.json.

Wat regelt robots.txt wel en niet?

Dit is het belangrijkste punt. Perplexity stelt dat Perplexity-User robots.txt-regels over het algemeen negeert, omdat een gebruiker het ophalen heeft gevraagd. Een robots.txt-groep voor PerplexityBot heeft invloed op indexering voor zoeken; live ophalen namens een gebruiker houdt ze niet betrouwbaar tegen.

Perplexity zegt dat elke robots.txt-instelling onafhankelijk werkt en dat het tot 24 uur kan duren voordat wijzigingen zichtbaar zijn.

Hoe verschilt Perplexity van ChatGPT en Claude?

Alle drie de aanbieders scheiden een zoekcrawler van een fetcher voor gebruikersverzoeken. Twee details onderscheiden Perplexity. Ten eerste draait het geen aparte trainingscrawler: het zegt dat PerplexityBot niet wordt gebruikt om content voor AI-foundation models te crawlen, dus er is geen trainingstoken om over te beslissen. Ten tweede is het uitdrukkelijk over zijn gebruikersfetcher, die robots.txt over het algemeen negeert, terwijl OpenAI zegt dat robots.txt mogelijk niet geldt voor ChatGPT-User en Anthropic zegt dat zijn bots, inclusief Claude-User, robots.txt respecteren.

In de praktijk betekent dit één beslissing voor de zoekcrawler van Perplexity in robots.txt, en een firewallbeslissing als je ooit het ophalen op verzoek van gebruikers wilt stoppen.

Welke robots.txt moet ik gebruiken voor Perplexity?

Wil je geciteerd worden, sta de zoekcrawler dan expliciet toe. Bedenk dat een benoemde groep geen regels van * erft, dus herhaal alle privépaden:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Omdat PerplexityBot geen trainingscrawler is, kost blokkeren om modeltraining uit te sluiten je zichtbaarheid in zoeken zonder dat doel te dienen.

Staat er een sitemap in robots.txt, zet de regel Sitemap: dan buiten elke groep of aan het eind van het bestand; hij geldt voor alle crawlers. Zorg er ook voor dat de sitemap zelf niet door je firewall wordt geblokkeerd, want een crawler die hem niet kan ophalen, kan er geen nieuwe of gewijzigde pagina's mee vinden.

Hoe zorg ik dat de firewall Perplexity niet blokkeert?

Botbeveiliging behandelt vaak elk verzoek dat niet van een browser komt als verdacht. Vraag je pagina op met elke Perplexity-user agent en vergelijk het antwoord met een browserverzoek. Krijgt de crawler een 403, een 429 of een challenge-pagina, voeg dan een allow-regel toe die matcht op het token en bij voorkeur op de gepubliceerde IP-bereiken, zodat alleen echt Perplexity-verkeer doorkomt. In Cloudflare toont AI Crawl Control AI-crawlers met per crawler een actie Allow of Block.

Verifieer in plaats van de user agent te vertrouwen. Iedereen kan een verzoek sturen dat PerplexityBot zegt te zijn, dus een allow-regel die alleen op de user agent is gebaseerd, laat ook nabootsers door, en een blokkade erop is te omzeilen. Het bron-IP controleren aan de hand van de gepubliceerde lijsten van Perplexity maakt beide soorten regels betrouwbaar.

AISeeWhy test PerplexityBot en Perplexity-User naast 12 andere crawlers. Omdat beide bepalen of Perplexity je pagina in een antwoord kan gebruiken, wordt een blokkade van een van beide gemeld als P1, met de regel om het op te lossen.

Veelgestelde vragen

Gebruikt Perplexity mijn content om AI-modellen te trainen?

Volgens Perplexity wordt noch PerplexityBot noch Perplexity-User gebruikt om content te verzamelen voor het trainen van AI-foundation models.

Waarom negeert Perplexity-User robots.txt?

De redenering van Perplexity is dat een gebruiker om de pagina heeft gevraagd, zodat het ophalen namens die gebruiker gebeurt en niet als geautomatiseerd crawlen. Volgens de documentatie negeert de fetcher robots.txt daarom over het algemeen.

Hoe kan ik Perplexity-User blokkeren als dat nodig is?

Gebruik je firewall of cdn, met matching op het user agent-token en de gepubliceerde IP-bereiken van Perplexity. robots.txt is voor deze agent geen betrouwbare maatregel.

Hoe lang duurt het voordat een robots.txt-wijziging van kracht is?

Volgens Perplexity kan het tot 24 uur duren voordat zijn systemen wijzigingen overnemen.

Stopt het blokkeren van PerplexityBot dat Perplexity mijn content helemaal gebruikt?

Nee. Je pagina's blijven daarmee buiten de crawl voor de zoekindex van Perplexity, maar Perplexity-User kan een pagina nog steeds ophalen als een gebruiker ernaar vraagt, omdat die fetcher robots.txt over het algemeen negeert.

Bronnen

Meer artikelen