Perplexity-ის კრაულერები: PerplexityBot და Perplexity-User

გამოქვეყნდა · განახლდა

მოკლე პასუხი

Perplexity იყენებს PerplexityBot-ს ვებსაიტების საჩვენებლად და მათზე ბმულების მისათითებლად თავის ძიების შედეგებში, ხოლო Perplexity-User-ს გვერდების მოსანახულებლად, როცა მომხმარებლის კითხვას ეს სჭირდება. Perplexity-ის თქმით, PerplexityBot robots.txt-ს იცავს და საბაზისო მოდელების სწავლებისთვის არ გამოიყენება, Perplexity-User კი robots.txt-ს ზოგადად უგულებელყოფს, რადგან მოთხოვნა მომხმარებელმა გააკეთა. იმისთვის, რომ Perplexity-ის ძიებამ თქვენი გვერდები არ გამოიყენოს, robots.txt-ში აუკრძალეთ PerplexityBot; Perplexity-User-ის შესაჩერებლად გამოიყენეთ ფაირვოლის წესი, რომელიც მის გამოქვეყნებულ IP დიაპაზონებს ემთხვევა.

Perplexity ციტირებაზეა აგებული: პასუხებს ახლავს დანომრილი ბმულები გვერდებზე, რომლებსაც ისინი ეყრდნობა. მისი კრაულერების დოკუმენტაცია მოკლეა და მკაფიოდ აცხადებს, რომელი აგენტი იცავს robots.txt-ს და რომელი არა. სწორედ ეს განსხვავება წყვეტს, რომელი ხელსაწყო გამოიყენოთ, თუ რომელიმეს მართვა გსურთ.

ამ გვერდზე
  1. რას აკეთებს PerplexityBot?
  2. რას აკეთებს Perplexity-User?
  3. რას მართავს robots.txt და რას არა?
  4. რით განსხვავდება Perplexity ChatGPT-სა და Claude-ისგან?
  5. რა robots.txt გამოვიყენო Perplexity-ისთვის?
  6. როგორ დავრწმუნდე, რომ ფაირვოლი Perplexity-ს არ ბლოკავს?

რას აკეთებს PerplexityBot?

PerplexityBot შექმნილია იმისთვის, რომ ვებსაიტები Perplexity-ის ძიების შედეგებში აჩვენოს და მათზე ბმული მიუთითოს. Perplexity-ის თქმით, ის AI საბაზისო მოდელებისთვის კონტენტის კრაულინგისთვის არ გამოიყენება. Perplexity-ის ძიების შედეგებში გამოსაჩენად Perplexity გირჩევთ, PerplexityBot robots.txt-ში დაუშვათ.

Perplexity ამ user agent-ს აღწერს:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

ვერსიის ნომერი შეიძლება შეიცვალოს, ამიტომ ფაირვოლის წესებმა PerplexityBot ტოკენი უნდა შეამოწმონ. Perplexity IP დიაპაზონებს perplexity.ai/perplexitybot.json-ზე აქვეყნებს.

რას აკეთებს Perplexity-User?

Perplexity-User მომხმარებლის ქმედებებს ემსახურება. როცა ვინმე Perplexity-ს კითხვას უსვამს, მას შეუძლია ვებგვერდი მოინახულოს ზუსტი პასუხის მოსამზადებლად და ამ გვერდზე ბმული დაურთოს. Perplexity-ის თქმით, ის ვების კრაულინგისთვის ან სასწავლო მონაცემების შესაგროვებლად არ გამოიყენება.

მისი დოკუმენტირებული user agent არის Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), ხოლო მისი IP დიაპაზონები გამოქვეყნებულია perplexity.ai/perplexity-user.json-ზე.

რას მართავს robots.txt და რას არა?

ეს მთავარი საკითხია. Perplexity აცხადებს, რომ რადგან მოთხოვნა მომხმარებელმა გააკეთა, Perplexity-User robots.txt-ის წესებს ზოგადად უგულებელყოფს. robots.txt-ის ჯგუფი PerplexityBot-ისთვის ძიებისთვის ინდექსირებაზე მოქმედებს; ის მომხმარებლის სახელით პირდაპირ მოთხოვნებს საიმედოდ არ აჩერებს.

Perplexity-ის თქმით, robots.txt-ის ყოველი პარამეტრი დამოუკიდებლად მუშაობს, ცვლილებების ასახვას კი შეიძლება 24 საათამდე დასჭირდეს.

რით განსხვავდება Perplexity ChatGPT-სა და Claude-ისგან?

სამივე მომწოდებელი საძიებო კრაულერს მომხმარებლის მოთხოვნით მომუშავე აგენტისგან გამოყოფს. Perplexity-ს ორი დეტალი განასხვავებს. პირველი: მას ცალკე სასწავლო კრაულერი არ აქვს: ის აცხადებს, რომ PerplexityBot AI საბაზისო მოდელებისთვის კონტენტის კრაულინგისთვის არ გამოიყენება, ამიტომ სასწავლო ტოკენზე გადასაწყვეტი არაფერია. მეორე: ის პირდაპირ ამბობს, რომ მისი მომხმარებლის აგენტი robots.txt-ს ზოგადად უგულებელყოფს, მაშინ როცა OpenAI ამბობს, რომ robots.txt ChatGPT-User-ზე შეიძლება არ ვრცელდებოდეს, Anthropic კი ამბობს, რომ მისი ბოტები, Claude-User-ის ჩათვლით, robots.txt-ს იცავენ.

პრაქტიკაში ეს ნიშნავს ერთ გადაწყვეტილებას Perplexity-ის საძიებო კრაულერზე robots.txt-ში და ფაირვოლის გადაწყვეტილებას, თუ ოდესმე მომხმარებლის მოთხოვნების შეჩერება მოგინდებათ.

რა robots.txt გამოვიყენო Perplexity-ისთვის?

თუ ციტირება გსურთ, საძიებო კრაულერი პირდაპირ დაუშვით. გახსოვდეთ, რომ სახელით მითითებული ჯგუფი *-დან წესებს არ იღებს, ამიტომ ყველა დახურული გზა გაიმეორეთ:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

რადგან PerplexityBot სასწავლო კრაულერი არ არის, მისი დაბლოკვა მოდელების სწავლებაზე უარის სათქმელად ძიებაში ხილვადობას დაგაკარგვინებთ და ამ მიზანს კი არ მოემსახურება.

თუ robots.txt-ში sitemap-ს უთითებთ, Sitemap: ხაზი ნებისმიერი ჯგუფის გარეთ ან ფაილის ბოლოს მოათავსეთ; ის ყველა კრაულერზე ვრცელდება. ასევე დარწმუნდით, რომ თავად sitemap-ს თქვენი ფაირვოლი არ ბლოკავს, რადგან კრაულერი, რომელიც მას ვერ იღებს, ვერც ახალი ან შეცვლილი გვერდების მოსაძებნად გამოიყენებს.

როგორ დავრწმუნდე, რომ ფაირვოლი Perplexity-ს არ ბლოკავს?

ბოტებისგან დაცვა ხშირად ნებისმიერ არაბრაუზერულ მოთხოვნას საეჭვოდ მიიჩნევს. მოითხოვეთ თქვენი გვერდი Perplexity-ის თითოეული user agent-ით და შეადარეთ პასუხი ბრაუზერის მოთხოვნას. თუ კრაულერი იღებს 403-ს, 429-ს ან ბოტის შემოწმების გვერდს, დაამატეთ დამშვები წესი, რომელიც ტოკენს და, იდეალურ შემთხვევაში, გამოქვეყნებულ IP დიაპაზონებს ამოწმებს, რომ მხოლოდ ნამდვილმა Perplexity-ის ტრაფიკმა გაიაროს. Cloudflare-ში AI Crawl Control აჩვენებს AI კრაულერებს Allow ან Block მოქმედებით თითოეულისთვის.

გადაამოწმეთ და ნუ ენდობით user agent-ს. ნებისმიერს შეუძლია გაგზავნოს მოთხოვნა, რომელიც PerplexityBot-ს ამბობს, ამიტომ მხოლოდ user agent-ზე დაფუძნებული დამშვები წესი იმიტატორებსაც უშვებს, მასზე დაფუძნებული ბლოკის გვერდის ავლა კი შესაძლებელია. წყაროს IP-ის შედარება Perplexity-ის გამოქვეყნებულ სიებთან ორივე სახის წესს საიმედოს ხდის.

AISeeWhy ამოწმებს PerplexityBot-სა და Perplexity-User-ს კიდევ 12 კრაულერთან ერთად. რადგან ორივე წყვეტს, შეუძლია თუ არა Perplexity-ს თქვენი გვერდის პასუხში გამოყენება, რომელიმეს ბლოკი P1-ად ფასდება, გამოსასწორებელი წესით.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

იყენებს თუ არა Perplexity ჩემს კონტენტს AI მოდელების სწავლებისთვის?

Perplexity-ის თქმით, არც PerplexityBot და არც Perplexity-User არ გამოიყენება AI საბაზისო მოდელების სწავლებისთვის კონტენტის შესაგროვებლად.

რატომ უგულებელყოფს Perplexity-User robots.txt-ს?

Perplexity-ის არგუმენტი ისაა, რომ გვერდი მომხმარებელმა მოითხოვა, ამიტომ მოთხოვნა ამ მომხმარებლის სახელით სრულდება და არა როგორც ავტომატური კრაულინგი. მისი დოკუმენტაციის მიხედვით, სწორედ ამიტომ უგულებელყოფს აგენტი robots.txt-ს ზოგადად.

როგორ დავბლოკო Perplexity-User, თუ საჭიროა?

გამოიყენეთ ფაირვოლი ან CDN, რომელიც user agent-ის ტოკენსა და Perplexity-ის გამოქვეყნებულ IP დიაპაზონებს ამოწმებს. ამ აგენტისთვის robots.txt საიმედო საშუალება არ არის.

რამდენ ხანში მოქმედებს robots.txt-ის ცვლილება?

Perplexity-ის თქმით, ცვლილებების ასახვას მის სისტემებში შეიძლება 24 საათამდე დასჭირდეს.

შეაჩერებს თუ არა PerplexityBot-ის დაბლოკვა Perplexity-ის მიერ ჩემი კონტენტის გამოყენებას მთლიანად?

არა. ის თქვენს გვერდებს Perplexity-ის საძიებო ინდექსისთვის კრაულინგის გარეთ ტოვებს, მაგრამ Perplexity-User-ს მაინც შეუძლია გვერდის მიღება, როცა მომხმარებელი მასზე კითხულობს, რადგან ეს აგენტი robots.txt-ს ზოგადად უგულებელყოფს.

წყაროები

სხვა სტატიები