Perplexity-ის კრაულერები: PerplexityBot და Perplexity-User
Perplexity იყენებს PerplexityBot-ს ვებსაიტების საჩვენებლად და მათზე ბმულების მისათითებლად თავის ძიების შედეგებში, ხოლო Perplexity-User-ს გვერდების მოსანახულებლად, როცა მომხმარებლის კითხვას ეს სჭირდება. Perplexity-ის თქმით, PerplexityBot robots.txt-ს იცავს და საბაზისო მოდელების სწავლებისთვის არ გამოიყენება, Perplexity-User კი robots.txt-ს ზოგადად უგულებელყოფს, რადგან მოთხოვნა მომხმარებელმა გააკეთა. იმისთვის, რომ Perplexity-ის ძიებამ თქვენი გვერდები არ გამოიყენოს, robots.txt-ში აუკრძალეთ PerplexityBot; Perplexity-User-ის შესაჩერებლად გამოიყენეთ ფაირვოლის წესი, რომელიც მის გამოქვეყნებულ IP დიაპაზონებს ემთხვევა.
Perplexity ციტირებაზეა აგებული: პასუხებს ახლავს დანომრილი ბმულები გვერდებზე, რომლებსაც ისინი ეყრდნობა. მისი კრაულერების დოკუმენტაცია მოკლეა და მკაფიოდ აცხადებს, რომელი აგენტი იცავს robots.txt-ს და რომელი არა. სწორედ ეს განსხვავება წყვეტს, რომელი ხელსაწყო გამოიყენოთ, თუ რომელიმეს მართვა გსურთ.
ამ გვერდზე
რას აკეთებს PerplexityBot?
PerplexityBot შექმნილია იმისთვის, რომ ვებსაიტები Perplexity-ის ძიების შედეგებში აჩვენოს და მათზე ბმული მიუთითოს. Perplexity-ის თქმით, ის AI საბაზისო მოდელებისთვის კონტენტის კრაულინგისთვის არ გამოიყენება. Perplexity-ის ძიების შედეგებში გამოსაჩენად Perplexity გირჩევთ, PerplexityBot robots.txt-ში დაუშვათ.
Perplexity ამ user agent-ს აღწერს:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) ვერსიის ნომერი შეიძლება შეიცვალოს, ამიტომ ფაირვოლის წესებმა PerplexityBot ტოკენი უნდა შეამოწმონ. Perplexity IP დიაპაზონებს perplexity.ai/perplexitybot.json-ზე აქვეყნებს.
რას აკეთებს Perplexity-User?
Perplexity-User მომხმარებლის ქმედებებს ემსახურება. როცა ვინმე Perplexity-ს კითხვას უსვამს, მას შეუძლია ვებგვერდი მოინახულოს ზუსტი პასუხის მოსამზადებლად და ამ გვერდზე ბმული დაურთოს. Perplexity-ის თქმით, ის ვების კრაულინგისთვის ან სასწავლო მონაცემების შესაგროვებლად არ გამოიყენება.
მისი დოკუმენტირებული user agent არის Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), ხოლო მისი IP დიაპაზონები გამოქვეყნებულია perplexity.ai/perplexity-user.json-ზე.
რას მართავს robots.txt და რას არა?
ეს მთავარი საკითხია. Perplexity აცხადებს, რომ რადგან მოთხოვნა მომხმარებელმა გააკეთა, Perplexity-User robots.txt-ის წესებს ზოგადად უგულებელყოფს. robots.txt-ის ჯგუფი PerplexityBot-ისთვის ძიებისთვის ინდექსირებაზე მოქმედებს; ის მომხმარებლის სახელით პირდაპირ მოთხოვნებს საიმედოდ არ აჩერებს.
PerplexityBot-ის აკრძალვა robots.txt-ში: თქვენი გვერდების კრაულინგი Perplexity-ის საძიებო ინდექსისთვის არ ხდება, ამიტომ მათი ჩვენებისა და მათზე ბმულის მითითების ალბათობა მცირდება.Perplexity-User-ის აკრძალვა robots.txt-ში: Perplexity-ის დოკუმენტაციის მიხედვით, აგენტი ამას ზოგადად უგულებელყოფს, ამიტომ ეს საიმედო საშუალება არ არის.Perplexity-User-ის დაბლოკვა ფაირვოლში: მოთხოვნა ვერ სრულდება და მომხმარებლები, რომლებიც თქვენს გვერდზე კითხულობენ, პასუხს მის გარეშე იღებენ.- ორივეს დაშვება: Perplexity-ს შეუძლია თქვენი გვერდების ინდექსირება და მათი პირდაპირ წაკითხვა, როცა მომხმარებელი კითხულობს.
Perplexity-ის თქმით, robots.txt-ის ყოველი პარამეტრი დამოუკიდებლად მუშაობს, ცვლილებების ასახვას კი შეიძლება 24 საათამდე დასჭირდეს.
რით განსხვავდება Perplexity ChatGPT-სა და Claude-ისგან?
სამივე მომწოდებელი საძიებო კრაულერს მომხმარებლის მოთხოვნით მომუშავე აგენტისგან გამოყოფს. Perplexity-ს ორი დეტალი განასხვავებს. პირველი: მას ცალკე სასწავლო კრაულერი არ აქვს: ის აცხადებს, რომ PerplexityBot AI საბაზისო მოდელებისთვის კონტენტის კრაულინგისთვის არ გამოიყენება, ამიტომ სასწავლო ტოკენზე გადასაწყვეტი არაფერია. მეორე: ის პირდაპირ ამბობს, რომ მისი მომხმარებლის აგენტი robots.txt-ს ზოგადად უგულებელყოფს, მაშინ როცა OpenAI ამბობს, რომ robots.txt ChatGPT-User-ზე შეიძლება არ ვრცელდებოდეს, Anthropic კი ამბობს, რომ მისი ბოტები, Claude-User-ის ჩათვლით, robots.txt-ს იცავენ.
პრაქტიკაში ეს ნიშნავს ერთ გადაწყვეტილებას Perplexity-ის საძიებო კრაულერზე robots.txt-ში და ფაირვოლის გადაწყვეტილებას, თუ ოდესმე მომხმარებლის მოთხოვნების შეჩერება მოგინდებათ.
რა robots.txt გამოვიყენო Perplexity-ისთვის?
თუ ციტირება გსურთ, საძიებო კრაულერი პირდაპირ დაუშვით. გახსოვდეთ, რომ სახელით მითითებული ჯგუფი *-დან წესებს არ იღებს, ამიტომ ყველა დახურული გზა გაიმეორეთ:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ რადგან PerplexityBot სასწავლო კრაულერი არ არის, მისი დაბლოკვა მოდელების სწავლებაზე უარის სათქმელად ძიებაში ხილვადობას დაგაკარგვინებთ და ამ მიზანს კი არ მოემსახურება.
თუ robots.txt-ში sitemap-ს უთითებთ, Sitemap: ხაზი ნებისმიერი ჯგუფის გარეთ ან ფაილის ბოლოს მოათავსეთ; ის ყველა კრაულერზე ვრცელდება. ასევე დარწმუნდით, რომ თავად sitemap-ს თქვენი ფაირვოლი არ ბლოკავს, რადგან კრაულერი, რომელიც მას ვერ იღებს, ვერც ახალი ან შეცვლილი გვერდების მოსაძებნად გამოიყენებს.
როგორ დავრწმუნდე, რომ ფაირვოლი Perplexity-ს არ ბლოკავს?
ბოტებისგან დაცვა ხშირად ნებისმიერ არაბრაუზერულ მოთხოვნას საეჭვოდ მიიჩნევს. მოითხოვეთ თქვენი გვერდი Perplexity-ის თითოეული user agent-ით და შეადარეთ პასუხი ბრაუზერის მოთხოვნას. თუ კრაულერი იღებს 403-ს, 429-ს ან ბოტის შემოწმების გვერდს, დაამატეთ დამშვები წესი, რომელიც ტოკენს და, იდეალურ შემთხვევაში, გამოქვეყნებულ IP დიაპაზონებს ამოწმებს, რომ მხოლოდ ნამდვილმა Perplexity-ის ტრაფიკმა გაიაროს. Cloudflare-ში AI Crawl Control აჩვენებს AI კრაულერებს Allow ან Block მოქმედებით თითოეულისთვის.
გადაამოწმეთ და ნუ ენდობით user agent-ს. ნებისმიერს შეუძლია გაგზავნოს მოთხოვნა, რომელიც PerplexityBot-ს ამბობს, ამიტომ მხოლოდ user agent-ზე დაფუძნებული დამშვები წესი იმიტატორებსაც უშვებს, მასზე დაფუძნებული ბლოკის გვერდის ავლა კი შესაძლებელია. წყაროს IP-ის შედარება Perplexity-ის გამოქვეყნებულ სიებთან ორივე სახის წესს საიმედოს ხდის.
AISeeWhy ამოწმებს PerplexityBot-სა და Perplexity-User-ს კიდევ 12 კრაულერთან ერთად. რადგან ორივე წყვეტს, შეუძლია თუ არა Perplexity-ს თქვენი გვერდის პასუხში გამოყენება, რომელიმეს ბლოკი P1-ად ფასდება, გამოსასწორებელი წესით.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- AI კრაულერების IP შემოწმება
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
იყენებს თუ არა Perplexity ჩემს კონტენტს AI მოდელების სწავლებისთვის?
Perplexity-ის თქმით, არც PerplexityBot და არც Perplexity-User არ გამოიყენება AI საბაზისო მოდელების სწავლებისთვის კონტენტის შესაგროვებლად.
რატომ უგულებელყოფს Perplexity-User robots.txt-ს?
Perplexity-ის არგუმენტი ისაა, რომ გვერდი მომხმარებელმა მოითხოვა, ამიტომ მოთხოვნა ამ მომხმარებლის სახელით სრულდება და არა როგორც ავტომატური კრაულინგი. მისი დოკუმენტაციის მიხედვით, სწორედ ამიტომ უგულებელყოფს აგენტი robots.txt-ს ზოგადად.
როგორ დავბლოკო Perplexity-User, თუ საჭიროა?
გამოიყენეთ ფაირვოლი ან CDN, რომელიც user agent-ის ტოკენსა და Perplexity-ის გამოქვეყნებულ IP დიაპაზონებს ამოწმებს. ამ აგენტისთვის robots.txt საიმედო საშუალება არ არის.
რამდენ ხანში მოქმედებს robots.txt-ის ცვლილება?
Perplexity-ის თქმით, ცვლილებების ასახვას მის სისტემებში შეიძლება 24 საათამდე დასჭირდეს.
შეაჩერებს თუ არა PerplexityBot-ის დაბლოკვა Perplexity-ის მიერ ჩემი კონტენტის გამოყენებას მთლიანად?
არა. ის თქვენს გვერდებს Perplexity-ის საძიებო ინდექსისთვის კრაულინგის გარეთ ტოვებს, მაგრამ Perplexity-User-ს მაინც შეუძლია გვერდის მიღება, როცა მომხმარებელი მასზე კითხულობს, რადგან ეს აგენტი robots.txt-ს ზოგადად უგულებელყოფს.
წყაროები
- Perplexity: Perplexity-ის კრაულერები
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI კრაულერების მართვა (AI Crawl Control)