Waarom verschijnt mijn site niet in Perplexity?

Q: Traint Perplexity zijn modellen op mijn content?

Volgens Perplexity wordt PerplexityBot niet gebruikt om content voor AI-foundation models te crawlen en verzamelt Perplexity-User geen content voor training. Het uitsluiten van PerplexityBot werkt dus niet als opt-out voor training; het verlaagt alleen je zichtbaarheid in de zoekresultaten van Perplexity.

Gepubliceerd 2026-11-12

Kort antwoord

Perplexity kan alleen pagina's tonen en linken die PerplexityBot mag crawlen en daadwerkelijk ontvangt. De gebruikelijke oorzaken zijn een robots.txt-regel die PerplexityBot uitsluit, een firewall of cdn die hem antwoordt met een 403 of een challenge-pagina, en tekst die pas verschijnt nadat JavaScript is uitgevoerd. Controleer alle drie en sta daarna de gepubliceerde IP-bereiken van Perplexity toe.

Je vraagt Perplexity naar je product en het citeert een concurrent, een reviewsite of een forumdraad, maar nooit je eigen pagina's. Soms is dat een kwestie van relevantie. Vaker is het een technische blokkade die je in een paar minuten kunt vinden. Perplexity documenteert welke agents het gebruikt, wat elk ervan doet en waar het verkeer vandaan komt, dus elke schakel in de keten is te controleren: robots.txt, het antwoord dat je server stuurt en wat dat antwoord bevat.

Op deze pagina

Hoe vindt en leest Perplexity pagina's?
Blokkeert je robots.txt PerplexityBot?
Blokkeert je firewall of cdn Perplexity?
Hoe sta ik Perplexity toe via de gepubliceerde IP-bereiken?
Kan JavaScript-rendering voorkomen dat Perplexity een pagina leest?
Wat als alles openstaat en mijn site toch niet verschijnt?

Hoe vindt en leest Perplexity pagina's?

Perplexity documenteert twee agents. Ze hebben verschillende taken en een probleem met een van beide kan je pagina uit een antwoord houden.

PerplexityBot is bedoeld om websites te tonen en te linken in de zoekresultaten van Perplexity. Perplexity adviseert hem in robots.txt toe te staan als je daar wilt verschijnen, en zegt dat hij niet wordt gebruikt om content voor AI-foundation models te crawlen.
Perplexity-User ondersteunt acties van gebruikers. Wanneer iemand een vraag stelt, kan hij een pagina bezoeken om die te helpen beantwoorden en naar die pagina linken. Volgens Perplexity wordt hij niet gebruikt om het web te crawlen of trainingsdata te verzamelen.

In de praktijk bepaalt PerplexityBot of Perplexity je pagina's kent voordat iemand iets vraagt, en bepaalt Perplexity-User of hij een pagina live kan openen als een vraag dat nodig heeft. Wil je geciteerd worden, dan moeten beide dezelfde pagina krijgen als een browser.

Blokkeert je robots.txt PerplexityBot?

Open https://yourdomain.com/robots.txt en zoek een groep waarin PerplexityBot genoemd wordt. Is die er niet, dan volgt de crawler de groep User-agent: *. Volgens RFC 9309 is de matching hoofdletterongevoelig en vervangt een benoemde groep de *-groep volledig in plaats van eraan toe te voegen.

Deze blokkade komt vaak voor. In ons onderzoek naar de robots.txt-bestanden van de 1.000 populairste domeinen sloten 86 van de 518 sites die een robots.txt leverden (16,6%) de homepage uit voor PerplexityBot. Dat was het hoogste aandeel van alle AI-zoekcrawlers die we testten; OAI-SearchBot werd op 58 sites geblokkeerd (11,2%). Sommige van deze sites wilden misschien AI-training tegengaan, maar Perplexity zegt dat PerplexityBot geen trainingscrawler is, dus blokkeren kost zichtbaarheid in zoeken zonder dat doel te dienen.

Een opzet die Perplexity binnenlaat en een privégedeelte gesloten houdt, ziet er zo uit:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Controleer ook of het bestand zelf goed antwoordt. Geeft robots.txt een serverfout, dan moet een crawler volgens RFC 9309 aannemen dat de hele site verboden is. Een robots.txt-adres dat een HTML-pagina met status 200 teruggeeft, bevat geen geldige regels. Perplexity zegt dat het tot 24 uur kan duren voordat wijzigingen zichtbaar zijn.

Blokkeert je firewall of cdn Perplexity?

robots.txt is een verzoek, geen toegangscontrole. Je firewall, cdn of botbeveiliging bepaalt wat er daadwerkelijk wordt teruggestuurd, en die kan Perplexity antwoorden met een 403, een 429 of een challenge-pagina terwijl je eigen browserbezoeken er normaal uitzien. In de documentatie van Perplexity staat dat sites achter een webapplicatiefirewall (WAF) de bots mogelijk expliciet moeten toestaan.

Test het door dezelfde URL op te vragen als browser en als elke Perplexity-agent, en vergelijk de status en de grootte:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Een 403, 429 of 503 alleen voor de Perplexity-agents, een pagina met de titel Just a moment..., of een 200-antwoord dat veel kleiner is dan dat van de browser wijst allemaal op de firewall. Deze test komt van jouw IP-adres, niet van dat van Perplexity, dus hij laat zien hoe je regels de user agent behandelen; IP-gebaseerde regels kunnen voor de echte crawler nog anders uitpakken.

Gebruik je Cloudflare, let dan op twee dingen. De documentatie van Perplexity herhaalt de eigen uitspraak van Cloudflare dat Bot Fight Mode niet kan worden overgeslagen met aangepaste WAF-regels, dus als die functie Perplexity een challenge geeft, helpt een allow-regel niet. En in augustus 2025 zei Cloudflare dat het Perplexity van zijn lijst met geverifieerde bots had gehaald na waarneming van wat het beschreef als niet-gedeclareerd crawlen; Perplexity betwistte die voorstelling. Regels die alleen geverifieerde bots doorlaten, dekken Perplexity dus mogelijk niet. Controleer de actuele status in je dashboard in plaats van die aan te nemen.

Hoe sta ik Perplexity toe via de gepubliceerde IP-bereiken?

Iedereen kan een verzoek sturen dat beweert PerplexityBot te zijn, dus een allow-regel die alleen op de user agent matcht, laat ook nabootsers door. Perplexity publiceert de adresbereiken van beide agents en adviseert user agent en IP-adres samen te matchen:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity zegt dat deze lijsten regelmatig worden bijgewerkt en stelt voor de updates van je WAF-regels te automatiseren. Zet de allow-regel boven elke regel die verzoeken blokkeert of een challenge geeft: eerst in de aangepaste regels van Cloudflare, of met een lager prioriteitsnummer in AWS WAF. Houd daarna je logs in de gaten, want firewallwijzigingen kunnen tijd nodig hebben om zich te verspreiden.

Kan JavaScript-rendering voorkomen dat Perplexity een pagina leest?

Dat kan. De crawlerdocumentatie van Perplexity zegt niet of de agents JavaScript uitvoeren, dus de veilige aanname is dat de tekst die een crawler nodig heeft in de HTML moet staan die de server verstuurt. Pagina's die volledig in de browser worden opgebouwd, zoals single-page apps zonder serverrendering, kunnen aankomen als een leeg skelet met een laadspinner.

Een snelle controle is de pagina op te halen met curl en in de uitvoer te zoeken naar een zin uit je hoofdcontent. Staat die er niet in, dan wordt de tekst door scripts toegevoegd. Serverrendering, statische generatie of prerendering voor crawlers lost dit voor alle AI-crawlers tegelijk op, niet alleen voor Perplexity.

Wat als alles openstaat en mijn site toch niet verschijnt?

Leesbaar zijn is een voorwaarde, geen garantie. Perplexity publiceert niet hoe het kiest welke bronnen het citeert, dus een pagina die elke agent kan lezen, kan toch verliezen van pagina's die de vraag directer beantwoorden. Wat je zelf kunt beïnvloeden, is dat er technisch niets in de weg staat: een duidelijke paginatitel, het antwoord vroeg in de tekst en juiste feiten die overeenkomen met wat je elders zegt.

Bedenk ook wat robots.txt niet dekt. Perplexity zegt dat Perplexity-User robots.txt over het algemeen negeert omdat een gebruiker het ophalen heeft gevraagd. Een regel voor Perplexity-User is dus geen betrouwbare manier om live bezoeken te blokkeren, en een robots.txt die hem toestaat, bewijst niet dat hij door je firewall komt.

AISeeWhy vraagt je pagina op als PerplexityBot, Perplexity-User en 12 andere crawlers naast een browser, past je robots.txt-regels voor elk ervan toe, herkent challenge-pagina's en laat zien hoeveel van de tekst zonder JavaScript aankomt, zodat je ziet welke schakel in de keten faalt.

Veelgestelde vragen

Traint Perplexity zijn modellen op mijn content?

Volgens Perplexity wordt PerplexityBot niet gebruikt om content voor AI-foundation models te crawlen en verzamelt Perplexity-User geen content voor training. Het uitsluiten van PerplexityBot werkt dus niet als opt-out voor training; het verlaagt alleen je zichtbaarheid in de zoekresultaten van Perplexity.

Hoe lang nadat ik robots.txt heb aangepast merkt Perplexity dat?

Volgens Perplexity kan het tot 24 uur duren voordat zijn systemen wijzigingen in robots.txt overnemen. Firewallwijzigingen gaan in zodra je provider ze toepast, maar geef de crawler de tijd om terug te komen voordat je het resultaat beoordeelt.

Kan ik Perplexity-User blokkeren met robots.txt?

Niet betrouwbaar. Volgens Perplexity negeert de fetcher robots.txt over het algemeen omdat een gebruiker het ophalen heeft gevraagd. Moet je hem tegenhouden, dan is een firewallregel op basis van de gepubliceerde IP-bereiken de betrouwbare maatregel.

Is een controle van de user agent genoeg om Perplexity-verkeer te herkennen?

Nee. User agents zijn eenvoudig te kopiëren. Vergelijk het bron-IP met de bereiken die Perplexity publiceert in perplexitybot.json en perplexity-user.json, en match in firewallregels zowel de user agent als het IP.