Bakit hindi lumalabas ang site ko sa Perplexity?
Alamin sa loob ng mga 30 segundo kung maaabot ng PerplexityBot ang pahina mo, at kung aling block (robots.txt, firewall o JavaScript) ang nagpapalayo sa iyo sa mga sagot nito.
Libre · Walang sign-up · Resulta sa loob ng 30 segundo
robots.txt para sa PerplexityBot
Binabasa ang grupong umiiral sa PerplexityBot ayon sa mga patakaran ng RFC 9309, at ipinapakita ang linyang nagpapasya.
Mga block ng firewall at CDN
Minamarkahan ang 403, 429 o challenge page na crawler lang ang nakakakuha, at pinapangalanan ang firewall na sumagot.
Ang isinasagot ng pahina
Inihahambing ang status, laki at redirect para sa crawler sa nakukuha ng karaniwang browser, kaya lumilitaw ang mas manipis na sagot para sa mga crawler.
May ayos para sa bawat natuklasan
Bawat natuklasan ay may kasamang pagbabagong dapat gawin. Ipinapakita ng libreng check ang score mo at ang unang natuklasan; ang buong ulat ay $29, minsanan lang.
Maipapakita at mali-link lang ng Perplexity ang mga pahinang pinapayagang i-crawl ng PerplexityBot at talagang nakukuha nito. Ang karaniwang dahilan ay isang rule sa robots.txt na hindi nagpapapasok sa PerplexityBot, isang firewall o CDN na sumasagot dito ng 403 o challenge page, at text na lumalabas lang pagkatapos tumakbo ang JavaScript. Suriin ang tatlo, saka papasukin ang mga inilathalang IP range ng Perplexity. Kung kakumpitensya ang sinisipi ng Perplexity at hindi ikaw, alisin muna ang mga block na ito bilang sanhi, saka ihambing ang pahina mo sa pahinang sinisipi nito para sa parehong tanong.
Hanapin ang block sa 3 hakbang
- Suriin ang robots.txt
Maghanap ng grupong nagpapangalan sa
PerplexityBot. Kung wala, ang grupongUser-agent: *ang umiiral, at ganap na pinapalitan ng pinangalanang grupo ang*. - Ihambing ang browser at crawler
I-request ang pahina bilang browser at bilang bawat agent ng Perplexity. Ang 403, 429 o 503 para lang sa mga agent, isang pahinang
Just a moment...o mas maliit na 200 ay tumutukoy sa firewall. - Tingnan ang source ng pahina
Kunin ang pahina gamit ang
curlat hanapin ang isang pangungusap mula sa pangunahing nilalaman mo. Kung wala ito, mga script ang nagdaragdag ng text: i-render ito sa server.
Mga madalas itanong
Bakit kakumpitensya ko ang inirerekomenda ng Perplexity at hindi ako?
Hindi inilalathala ng Perplexity kung paano ito pumipili ng mga source, pero ang mga pahinang nababasa lang ng mga agent nito ang masisipi nito. Kumpirmahin muna na natatanggap ng PerplexityBot at Perplexity-User ang pahina mo. Kung oo, buksan ang pahinang sinisipi ng Perplexity para sa parehong tanong at ihambing: sinasagot ba ng sa iyo ang mismong tanong na iyon malapit sa itaas, na nakasulat sa text ang mga detalye? Itinatanong ng AI visibility check ng AISeeWhy ang mga tanong ng mga buyer mo sa Perplexity at sa tatlo pang assistant at ipinapakita kung aling mga kakumpitensya ang nababanggit katabi mo.
Tine-train ba ng Perplexity ang mga model nito sa content ko?
Sinasabi ng Perplexity na hindi ginagamit ang PerplexityBot para mag-crawl ng content para sa mga AI foundation model at hindi nangongolekta ng content para sa training ang Perplexity-User. Kaya hindi nagsisilbing training opt-out ang pag-disallow sa PerplexityBot; binabawasan lang nito ang visibility mo sa mga resulta ng search ng Perplexity.
Gaano katagal bago mapansin ng Perplexity ang inayos kong robots.txt?
Sinasabi ng Perplexity na maaaring umabot nang hanggang 24 oras bago makita ng mga system nito ang mga pagbabago sa robots.txt. Nagkakabisa ang mga pagbabago sa firewall kapag inilapat na ng provider mo, pero bigyan ng panahon ang crawler na bumalik bago husgahan ang resulta.
Puwede ko bang i-block ang Perplexity-User gamit ang robots.txt?
Hindi maaasahan. Sinasabi ng Perplexity na karaniwang hindi pinapansin ng fetcher ang robots.txt dahil user ang humiling ng pagkuha. Kung kailangan mo itong pigilan, ang firewall rule na tinutugma sa mga inilathala nitong IP range ang maaasahang kontrol.
Sapat na ba ang pagsuri sa user agent para makilala ang traffic ng Perplexity?
Hindi. Madaling kopyahin ang mga user agent. Ihambing ang pinagmulang IP sa mga range na inilalathala ng Perplexity sa perplexitybot.json at perplexity-user.json, at itugma ang user agent at ang IP sa mga firewall rule.
Basahin ang buong gabay
Tinanong mo ang Perplexity tungkol sa produkto mo, at ang sinipi nito ay isang kakumpitensya, review site o thread sa forum, pero hindi kailanman ang sarili mong mga pahina. Minsan usapin iyon ng relevance. Madalas, technical block ito na mahahanap mo sa loob ng ilang minuto. Inilalathala ng Perplexity kung aling mga agent ang ginagamit nito, ano ang ginagawa ng bawat isa at saan nanggagaling ang traffic nito, kaya masusuri ang bawat bahagi ng kadena: ang robots.txt, ang sagot na ipinapadala ng server mo, at ang laman ng sagot na iyon.
Paano nahahanap at binabasa ng Perplexity ang mga pahina?
Dalawang agent ang inilalarawan ng Perplexity. Magkaiba ang trabaho nila, at ang problema sa alinman sa dalawa ay puwedeng magpalabas sa pahina mo mula sa isang sagot.
- Ang
PerplexityBotay ginawa para ipakita at i-link ang mga website sa mga resulta ng search ng Perplexity. Inirerekomenda ng Perplexity na payagan ito sa robots.txt kung gusto mong lumabas doon, at sinasabi nitong hindi ito ginagamit para mag-crawl ng content para sa mga AI foundation model. - Ang
Perplexity-Useray sumusuporta sa mga aksyon ng user. Kapag may nagtanong, maaari itong bumisita sa isang pahina para tumulong sa pagsagot at i-link ang pahinang iyon. Sinasabi ng Perplexity na hindi ito ginagamit para sa web crawling o para mangolekta ng training data.
Sa praktika, ang PerplexityBot ang nagpapasya kung alam ng Perplexity ang mga pahina mo bago pa may magtanong, at ang Perplexity-User ang nagpapasya kung mabubuksan nito nang live ang isang pahina kapag kailangan ng tanong. Kung gusto mong masipi, dapat makuha ng dalawa ang parehong pahinang nakukuha ng browser.
Bina-block ba ng robots.txt mo ang PerplexityBot?
Buksan ang https://yourdomain.com/robots.txt at hanapin ang grupong nagbabanggit sa PerplexityBot. Kung wala, susundin ng crawler ang grupong User-agent: *. Ayon sa RFC 9309, hindi case-sensitive ang pagtutugma, at ganap na pinapalitan ng isang grupong may pangalan ang grupong * sa halip na dagdagan ito.
Karaniwan ang block na ito. Sa pag-aaral namin sa mga robots.txt file ng 1,000 pinakasikat na domain, 86 sa 518 site na may robots.txt (16.6%) ang hindi nagpapapasok sa PerplexityBot sa home page. Iyon ang pinakamataas na bahagi sa lahat ng AI search crawler na sinubukan namin; na-block ang OAI-SearchBot sa 58 site (11.2%). Maaaring ang balak ng ilan sa mga site na ito ay pigilan ang AI training, pero sinasabi ng Perplexity na hindi training crawler ang PerplexityBot, kaya nawawalan sila ng visibility sa search nang hindi naaabot ang layuning iyon.
Ganito ang hitsura ng setup na nagpapapasok sa Perplexity at nagpapanatiling sarado ang isang pribadong bahagi:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Tiyakin din na tama ang sagot ng mismong file. Kung server error ang ibinabalik ng robots.txt, sinasabi ng RFC 9309 na dapat ituring ng crawler na hindi pinapayagan ang buong site. Ang robots.txt address na nagbabalik ng HTML page na may status 200 ay walang valid na rule. Sinasabi ng Perplexity na puwedeng umabot nang hanggang 24 oras bago makita ang mga pagbabago.
Bina-block ba ng firewall o CDN mo ang Perplexity?
Ang robots.txt ay kahilingan, hindi access control. Ang firewall, CDN o bot protection mo ang nagpapasya kung ano talaga ang ibinabalik, at puwede nitong sagutin ang Perplexity ng 403, 429 o challenge page habang mukhang normal ang sarili mong mga pagbisita gamit ang browser. Sinasabi ng dokumentasyon ng Perplexity na ang mga site na nasa likod ng web application firewall ay maaaring kailangang tahasang papasukin ang mga bot nito.
Subukan ito sa pamamagitan ng pag-request sa parehong URL bilang browser at bilang bawat agent ng Perplexity, saka ihambing ang status at laki:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Ang 403, 429 o 503 para lang sa mga agent ng Perplexity, isang pahinang may pamagat na Just a moment..., o isang 200 na sagot na mas maliit nang husto kaysa sa nakuha ng browser ay pawang tumuturo sa firewall. Galing ang test na ito sa IP address mo, hindi sa IP ng Perplexity, kaya ipinapakita nito kung paano tinatrato ng mga rule mo ang user agent; puwede pa ring iba ang epekto ng mga rule na batay sa IP sa totoong crawler.
Kung gumagamit ka ng Cloudflare, tandaan ang dalawang bagay. Inuulit ng dokumentasyon ng Perplexity ang pahayag mismo ng Cloudflare na hindi malalampasan ang Bot Fight Mode gamit ang mga WAF custom rule, kaya kung hina-challenge ng feature na iyon ang Perplexity, hindi makakatulong ang isang allow rule. At noong Agosto 2025, sinabi ng Cloudflare na inalis nito ang Perplexity sa listahan ng verified bots matapos makita ang tinawag nitong hindi idinedeklarang crawling; tinutulan ng Perplexity ang salaysay na iyon. Kaya maaaring hindi saklaw ng mga rule na verified bots lang ang pinapapasok ang Perplexity. Tingnan ang kasalukuyang status sa dashboard mo sa halip na mag-assume.
Paano papasukin ang Perplexity batay sa mga inilathala nitong IP range?
Kahit sino ay puwedeng magpadala ng request na nagpapanggap na PerplexityBot, kaya ang allow rule na user agent lang ang tinutugma ay nagpapapasok din sa mga gumagaya. Inilalathala ng Perplexity ang mga address range ng dalawang agent at inirerekomenda nitong sabay na itugma ang user agent at ang IP address:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Sinasabi ng Perplexity na regular na ina-update ang mga listahang ito at iminumungkahi nitong i-automate ang pag-update sa mga WAF rule mo. Ilagay ang allow rule sa itaas ng anumang rule na nagba-block o nagcha-challenge ng mga request: una sa mga custom rule ng Cloudflare, o may mas mababang priority number sa AWS WAF. Pagkatapos ay bantayan ang mga log mo, dahil puwedeng tumagal bago kumalat ang mga pagbabago sa firewall.
Mapipigilan ba ng JavaScript rendering ang Perplexity na basahin ang isang pahina?
Oo. Hindi sinasabi ng dokumentasyon ng crawler ng Perplexity kung nagpapatakbo ng JavaScript ang mga agent nito, kaya ang ligtas na palagay ay dapat nasa HTML na ipinapadala ng server ang text na kailangan ng crawler. Ang mga pahinang buong binubuo sa browser, gaya ng mga single-page app na walang server rendering, ay maaaring dumating bilang walang lamang shell na may loading spinner.
Mabilis na paraan ng pagsusuri ang kunin ang pahina gamit ang curl at hanapin sa output ang isang pangungusap mula sa pangunahing content mo. Kung wala ito roon, idinadagdag ng mga script ang text. Inaayos ito ng server-side rendering, static generation o prerendering para sa mga crawler para sa lahat ng AI crawler nang sabay-sabay, hindi lang sa Perplexity.
Paano kung bukas ang lahat at hindi pa rin lumalabas ang site ko?
Ang pagiging nababasa ay paunang kondisyon, hindi garantiya. Hindi inilalathala ng Perplexity kung paano nito pinipili ang mga sisipiing pinagmulan, kaya ang pahinang nababasa ng bawat agent ay puwede pa ring matalo ng mga pahinang mas direktang sumasagot sa tanong. Ang kontrolado mo ay walang technical na hadlang: malinaw na pamagat ng pahina, ang sagot na nakasaad nang maaga sa text, at tumpak na mga detalye na tugma sa sinasabi mo sa ibang lugar.
Tandaan din kung ano ang hindi saklaw ng robots.txt. Sinasabi ng Perplexity na karaniwang hindi pinapansin ng Perplexity-User ang robots.txt dahil user ang humiling ng pagkuha. Kaya hindi maaasahang paraan ang rule para sa Perplexity-User para i-block ang mga live na pagbisita, at ang robots.txt na nagpapapasok dito ay hindi patunay na nakakalampas ito sa firewall mo.
Nire-request ng AISeeWhy ang pahina mo bilang PerplexityBot, Perplexity-User at 12 iba pang crawler katabi ng isang browser, inilalapat ang mga rule ng robots.txt mo para sa bawat isa, nakikilala ang mga challenge page at ipinapakita kung gaano karami sa text ang dumarating nang walang JavaScript, para makita mo kung aling bahagi ng kadena ang pumapalya.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga pinagmulan
- Perplexity: Perplexity crawlers
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives
- Perplexity: Agents or bots? Making sense of AI on the open web
- AISeeWhy: AI Crawler Access Report, 2026-11