რატომ არ ჩანს ჩემი საიტი Perplexity-ში?
დაახლოებით 30 წამში გაიგეთ, წვდება თუ არა PerplexityBot თქვენს გვერდს და რომელი ბლოკი (robots.txt, ფაირვოლი თუ JavaScript) გიშლით ხელს მის პასუხებში მოხვედრაში.
უფასოდ · რეგისტრაციის გარეშე · შედეგი 30 წამში
robots.txt PerplexityBot-ისთვის
ჯგუფი, რომელიც PerplexityBot-ზე ვრცელდება, იკითხება RFC 9309-ის წესებით და ნაჩვენებია სტრიქონი, რომელიც გადაწყვეტს.
ფაირვოლისა და CDN-ის ბლოკები
403, 429 ან ბოტის შემოწმების გვერდი, რომელსაც მხოლოდ კრაულერები იღებენ, აღინიშნება და ფაირვოლი, რომელმაც უპასუხა, დასახელებულია.
რას აბრუნებს გვერდი
კრაულერისთვის სტატუსი, ზომა და გადამისამართებები შედარებულია ჩვეულებრივი ბრაუზერის მონაცემებთან, ამიტომ კრაულერებისთვის უფრო მწირი პასუხი თვალში გვხვდება.
გამოსწორება ყოველი პრობლემისთვის
ყოველ პრობლემას თან ახლავს შესატანი ცვლილება. უფასო შემოწმება აჩვენებს თქვენს ქულას და პირველ პრობლემას; სრული ანგარიში $29-ია, ერთჯერადად.
Perplexity-ს შეუძლია აჩვენოს და ბმულით მიუთითოს მხოლოდ ის გვერდები, რომელთა კრაულინგიც PerplexityBot-ს ეშვება და რომლებსაც ის რეალურად იღებს. ჩვეულებრივი მიზეზებია robots.txt-ის წესი, რომელიც PerplexityBot-ს კრძალავს, ფაირვოლი ან CDN, რომელიც მას 403-ით ან ბოტის შემოწმების გვერდით პასუხობს, და ტექსტი, რომელიც მხოლოდ JavaScript-ის შესრულების შემდეგ ჩნდება. შეამოწმეთ სამივე, შემდეგ კი დაუშვით Perplexity-ის გამოქვეყნებული IP დიაპაზონები. თუ Perplexity კონკურენტს ციტირებს და არა თქვენ, ჯერ ეს ბლოკები გამორიცხეთ, შემდეგ კი თქვენი გვერდი შეადარეთ იმ გვერდს, რომელსაც ის იმავე კითხვისთვის ციტირებს.
იპოვეთ ბლოკი 3 ნაბიჯში
- შეამოწმეთ robots.txt
მოძებნეთ ჯგუფი, რომელიც
PerplexityBot-ს ასახელებს. თუ ასეთი არ არის, მოქმედებსUser-agent: *ჯგუფი, ხოლო დასახელებული ჯგუფი*-ს მთლიანად ანაცვლებს. - შეადარეთ ბრაუზერი და კრაულერი
მოითხოვეთ გვერდი ბრაუზერით და Perplexity-ის თითოეული აგენტით. 403, 429 ან 503 მხოლოდ აგენტებისთვის,
Just a moment...გვერდი ან გაცილებით პატარა 200 ფაირვოლზე მიუთითებს. - ნახეთ გვერდის წყარო
მიიღეთ გვერდი
curl-ით და მოძებნეთ წინადადება თქვენი ძირითადი ტექსტიდან. თუ ის არ არის, ტექსტს სკრიპტები ამატებენ: გამოსახეთ ის სერვერზე.
ხშირად დასმული კითხვები
რატომ გირჩევთ Perplexity ჩემს კონკურენტს და არა მე?
Perplexity არ აქვეყნებს, როგორ ირჩევს წყაროებს, მაგრამ მას მხოლოდ იმ გვერდების ციტირება შეუძლია, რომლებსაც მისი აგენტები კითხულობენ. ჯერ დარწმუნდით, რომ PerplexityBot და Perplexity-User თქვენს გვერდს იღებენ. თუ იღებენ, გახსენით გვერდი, რომელსაც Perplexity იმავე კითხვისთვის ციტირებს, და შეადარეთ: პასუხობს თუ არა თქვენი გვერდი ზუსტად ამ კითხვას თავშივე, ფაქტებით ტექსტად? AISeeWhy-ის „ხილვადობა AI-ში“ თქვენი მყიდველების კითხვებს სვამს Perplexity-სა და სამ სხვა ასისტენტში და აჩვენებს, რომელი კონკურენტები სახელდება თქვენ გვერდით.
წვრთნის თუ არა Perplexity თავის მოდელებს ჩემს კონტენტზე?
Perplexity აცხადებს, რომ PerplexityBot AI საბაზისო მოდელებისთვის კონტენტის კრაულინგისთვის არ გამოიყენება და რომ Perplexity-User სწავლებისთვის კონტენტს არ აგროვებს. ამიტომ PerplexityBot-ის აკრძალვა სწავლებაზე უარის თქმის საშუალება არ არის; ის მხოლოდ Perplexity-ის ძიების შედეგებში თქვენს ხილვადობას ამცირებს.
robots.txt-ის გასწორებიდან რამდენ ხანში შეამჩნევს Perplexity?
Perplexity-ის თქმით, robots.txt-ის ცვლილებების ასახვას მის სისტემებში შეიძლება 24 საათამდე დასჭირდეს. ფაირვოლის ცვლილებები მოქმედებს მაშინ, როცა თქვენი პროვაიდერი მათ გამოიყენებს, მაგრამ შედეგის შეფასებამდე კრაულერს დაბრუნების დრო მიეცით.
შემიძლია Perplexity-User-ის დაბლოკვა robots.txt-ით?
საიმედოდ არა. Perplexity-ის თქმით, ეს აგენტი ზოგადად robots.txt-ს უგულებელყოფს, რადგან მოთხოვნა მომხმარებელმა გააკეთა. თუ მისი შეჩერება გჭირდებათ, საიმედო საშუალებაა ფაირვოლის წესი, რომელიც მის გამოქვეყნებულ IP დიაპაზონებს ემთხვევა.
საკმარისია თუ არა user agent-ის შემოწმება Perplexity-ის ტრაფიკის ამოსაცნობად?
არა. user agent-ის კოპირება მარტივია. შეადარეთ წყაროს IP იმ დიაპაზონებს, რომლებსაც Perplexity perplexitybot.json-სა და perplexity-user.json-ში აქვეყნებს, და ფაირვოლის წესებში ერთდროულად შეამოწმეთ user agent და IP.
წაიკითხეთ სრული გზამკვლევი
Perplexity-ს თქვენს პროდუქტზე ეკითხებით, ის კი კონკურენტს, მიმოხილვების საიტს ან ფორუმის თემას ციტირებს, თქვენს გვერდებს კი არასდროს. ზოგჯერ ეს რელევანტურობის საკითხია. ხშირად კი ეს ტექნიკური ბლოკია, რომლის პოვნაც რამდენიმე წუთში შეგიძლიათ. Perplexity აქვეყნებს, რომელ აგენტებს იყენებს, რას აკეთებს თითოეული და საიდან მოდის მათი ტრაფიკი, ამიტომ ჯაჭვის ყოველი რგოლის შემოწმება შესაძლებელია: robots.txt, პასუხი, რომელსაც თქვენი სერვერი აგზავნის, და ის, რასაც ეს პასუხი შეიცავს.
როგორ პოულობს და კითხულობს Perplexity გვერდებს?
Perplexity ორ აგენტს აღწერს. მათ განსხვავებული ამოცანები აქვთ და რომელიმეს პრობლემამ შეიძლება თქვენი გვერდი პასუხის გარეთ დატოვოს.
PerplexityBotშექმნილია იმისთვის, რომ ვებსაიტები Perplexity-ის ძიების შედეგებში აჩვენოს და მათზე ბმული მიუთითოს. Perplexity გირჩევთ, დაუშვათ ის robots.txt-ში, თუ იქ გამოჩენა გსურთ, და აცხადებს, რომ ის AI საბაზისო მოდელებისთვის კონტენტის კრაულინგისთვის არ გამოიყენება.Perplexity-Userმომხმარებლის ქმედებებს ემსახურება. როცა ვინმე კითხვას სვამს, მას შეუძლია გვერდი გახსნას პასუხის მოსამზადებლად და მასზე ბმული მიუთითოს. Perplexity აცხადებს, რომ ის ვების კრაულინგისთვის ან სასწავლო მონაცემების შესაგროვებლად არ გამოიყენება.
პრაქტიკაში PerplexityBot განსაზღვრავს, იცის თუ არა Perplexity-მ თქვენი გვერდების შესახებ მანამდე, სანამ ვინმე იკითხავს, Perplexity-User კი იმას, შეუძლია თუ არა გვერდის პირდაპირ გახსნა, როცა კითხვა ამას მოითხოვს. თუ ციტირება გსურთ, ორივემ ის გვერდი უნდა მიიღოს, რასაც ბრაუზერი იღებს.
ბლოკავს თუ არა თქვენი robots.txt PerplexityBot-ს?
გახსენით https://yourdomain.com/robots.txt და მოძებნეთ ჯგუფი, რომელიც PerplexityBot-ს ასახელებს. თუ ასეთი არ არის, კრაულერი User-agent: * ჯგუფს მიჰყვება. RFC 9309-ის მიხედვით, შედარება რეგისტრს არ ითვალისწინებს, ხოლო სახელით მითითებული ჯგუფი * ჯგუფს მთლიანად ცვლის და არ ემატება მას.
ეს ბლოკი ხშირია. 1000 ყველაზე პოპულარული დომენის robots.txt ფაილების ჩვენს კვლევაში 518 საიტიდან, რომლებიც robots.txt-ს აბრუნებდნენ, 86-მა (16,6%) მთავარი გვერდი PerplexityBot-ისთვის აკრძალა. ეს ყველაზე მაღალი წილი იყო ჩვენ მიერ შემოწმებულ AI საძიებო კრაულერებს შორის; OAI-SearchBot დაბლოკილი იყო 58 საიტზე (11,2%). ამ საიტებიდან ზოგიერთს შესაძლოა AI-ის სწავლების შეჩერება სურდა, მაგრამ Perplexity აცხადებს, რომ PerplexityBot სასწავლო კრაულერი არ არის, ამიტომ მისი დაბლოკვა ძიებაში ხილვადობას გიკარგავთ და ამ მიზანს კი არ ემსახურება.
კონფიგურაცია, რომელიც Perplexity-ს უშვებს და დახურულ ზონას დახურულად ტოვებს, ასე გამოიყურება:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ასევე შეამოწმეთ, რომ თავად ფაილი სწორად პასუხობს. თუ robots.txt სერვერის შეცდომას აბრუნებს, RFC 9309-ის მიხედვით კრაულერმა უნდა ჩათვალოს, რომ მთელი საიტი აკრძალულია. robots.txt-ის მისამართი, რომელიც HTML გვერდს 200 სტატუსით აბრუნებს, ვალიდურ წესებს არ შეიცავს. Perplexity-ის თქმით, ცვლილებების ასახვას შეიძლება 24 საათამდე დასჭირდეს.
ბლოკავს თუ არა თქვენი ფაირვოლი ან CDN Perplexity-ს?
robots.txt თხოვნაა და არა წვდომის კონტროლი. რეალურად რა იგზავნება, ამას თქვენი ფაირვოლი, CDN ან ბოტებისგან დაცვა წყვეტს და მას შეუძლია Perplexity-ს 403-ით, 429-ით ან ბოტის შემოწმების გვერდით უპასუხოს, მაშინ როცა თქვენი ბრაუზერიდან ყველაფერი ნორმალურად ჩანს. Perplexity-ის დოკუმენტაციის მიხედვით, ვებაპლიკაციების ფაირვოლის (WAF) უკან მდგომ საიტებს შეიძლება მისი ბოტების პირდაპირ დაშვება დასჭირდეთ.
შეამოწმეთ ეს: მოითხოვეთ ერთი და იგივე URL როგორც ბრაუზერმა და როგორც Perplexity-ის თითოეულმა აგენტმა, შემდეგ კი შეადარეთ სტატუსი და ზომა:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done 403, 429 ან 503 მხოლოდ Perplexity-ის აგენტებისთვის, გვერდი სათაურით Just a moment... ან 200 პასუხი, რომელიც ბრაუზერისაზე გაცილებით მცირეა, ფაირვოლზე მიუთითებს. ეს ტესტი თქვენი IP მისამართიდან მიდის და არა Perplexity-ისიდან, ამიტომ ის აჩვენებს, როგორ ეპყრობა თქვენი წესები user agent-ს; IP-ზე დაფუძნებული წესები რეალური კრაულერისთვის მაინც შეიძლება სხვაგვარად მუშაობდეს.
თუ Cloudflare-ს იყენებთ, ორ რამეს მიაქციეთ ყურადღება. Perplexity-ის დოკუმენტაცია იმეორებს Cloudflare-ის განცხადებას, რომ Bot Fight Mode-ის გამოტოვება WAF-ის custom rules-ით შეუძლებელია, ამიტომ თუ ეს ფუნქცია Perplexity-ს შემოწმებას უგზავნის, დამშვები წესი არ დაგეხმარებათ. გარდა ამისა, 2025 წლის აგვისტოში Cloudflare-მა განაცხადა, რომ Perplexity თავისი verified bots სიიდან ამოიღო მას შემდეგ, რაც შენიშნა, მისი სიტყვებით, გამოუცხადებელი კრაულინგი; Perplexity ამ ვერსიას არ დაეთანხმა. შესაბამისად, წესები, რომლებიც მხოლოდ დადასტურებულ ბოტებს უშვებს, შეიძლება Perplexity-ს არ მოიცავდეს. ვარაუდის ნაცვლად შეამოწმეთ მიმდინარე სტატუსი თქვენს პანელში.
როგორ დავუშვა Perplexity მისი გამოქვეყნებული IP დიაპაზონებით?
ნებისმიერს შეუძლია გაგზავნოს მოთხოვნა, რომელიც თავს PerplexityBot-ად ასაღებს, ამიტომ დამშვები წესი, რომელიც მხოლოდ user agent-ს ამოწმებს, იმიტატორებსაც უშვებს. Perplexity ორივე აგენტის მისამართების დიაპაზონებს აქვეყნებს და გირჩევთ, user agent და IP მისამართი ერთად შეამოწმოთ:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Perplexity-ის თქმით, ეს სიები რეგულარულად ახლდება და გირჩევთ, WAF-ის წესების განახლება ავტომატიზოთ. დამშვები წესი განათავსეთ ყველა იმ წესზე მაღლა, რომელიც მოთხოვნებს ბლოკავს ან შემოწმებას უგზავნის: Cloudflare-ის custom rules-ში პირველად, AWS WAF-ში კი უფრო დაბალი პრიორიტეტის ნომრით. შემდეგ თვალი ადევნეთ ლოგებს, რადგან ფაირვოლის ცვლილებების გავრცელებას დრო სჭირდება.
შეიძლება თუ არა JavaScript-ით რენდერინგმა Perplexity-ს გვერდის წაკითხვა შეუშალოს?
შეიძლება. Perplexity-ის კრაულერების დოკუმენტაციაში არ წერია, ასრულებენ თუ არა მისი აგენტები JavaScript-ს, ამიტომ უსაფრთხო ვარაუდია, რომ კრაულერისთვის საჭირო ტექსტი სერვერის მიერ გაგზავნილ HTML-ში უნდა იყოს. გვერდები, რომლებიც მთლიანად ბრაუზერში იქმნება, მაგალითად ერთგვერდიანი აპლიკაციები სერვერული რენდერინგის გარეშე, შეიძლება ცარიელ გარსად ჩამოვიდეს ჩატვირთვის ინდიკატორით.
სწრაფი შემოწმებაა გვერდის მიღება curl-ით და შედეგში თქვენი მთავარი კონტენტის რომელიმე წინადადების მოძებნა. თუ ის იქ არ არის, ტექსტს სკრიპტები ამატებენ. სერვერული რენდერინგი, სტატიკური გენერაცია ან კრაულერებისთვის წინასწარი რენდერინგი ამას ყველა AI კრაულერისთვის ერთბაშად აგვარებს და არა მხოლოდ Perplexity-ისთვის.
რა ვქნა, თუ ყველაფერი ღიაა, ჩემი საიტი კი მაინც არ ჩანს?
წაკითხვადობა წინაპირობაა და არა გარანტია. Perplexity არ აქვეყნებს, როგორ ირჩევს ციტირებისთვის წყაროებს, ამიტომ გვერდმა, რომელსაც ყველა აგენტი კითხულობს, შეიძლება მაინც დაუთმოს გვერდებს, რომლებიც კითხვას უფრო პირდაპირ პასუხობენ. თქვენ შეგიძლიათ უზრუნველყოთ, რომ ტექნიკურად არაფერი უშლიდეს ხელს: მკაფიო სათაური, პასუხი ტექსტის დასაწყისში და ზუსტი ფაქტები, რომლებიც სხვაგან ნათქვამს ემთხვევა.
ასევე გახსოვდეთ, რას არ მოიცავს robots.txt. Perplexity-ის თქმით, Perplexity-User ზოგადად robots.txt-ს უგულებელყოფს, რადგან მოთხოვნა მომხმარებელმა გააკეთა. ამიტომ Perplexity-User-ის წესი პირდაპირი ვიზიტების დაბლოკვის საიმედო გზა არ არის, ხოლო robots.txt, რომელიც მას უშვებს, არ ამტკიცებს, რომ ის თქვენს ფაირვოლს გადის.
AISeeWhy თქვენს გვერდს ითხოვს როგორც PerplexityBot, Perplexity-User და კიდევ 12 კრაულერი ბრაუზერთან ერთად, თითოეულისთვის იყენებს თქვენი robots.txt-ის წესებს, ცნობს ბოტის შემოწმების გვერდებს და აჩვენებს, ტექსტის რა ნაწილი მოდის JavaScript-ის გარეშე, ასე რომ ხედავთ, ჯაჭვის რომელი რგოლი ვერ მუშაობს.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- AI კრაულერების IP შემოწმება
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
წყაროები
- Perplexity: Perplexity-ის კრაულერები
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: Perplexity იყენებს ფარულ, გამოუცხადებელ კრაულერებს საიტების აკრძალვების გვერდის ასავლელად
- Perplexity: აგენტები თუ ბოტები? AI-ის გააზრება ღია ვებში
- AISeeWhy: AI კრაულერების წვდომის ანგარიში, 2026-11