OpenAI-ის კრაულერები: GPTBot, OAI-SearchBot და ChatGPT-User

გამოქვეყნდა · განახლდა

მოკლე პასუხი

OpenAI იყენებს GPTBot-ს კონტენტის შესაგროვებლად, რომელიც შეიძლება მისი მოდელების სწავლებას მოხმარდეს, OAI-SearchBot-ს გვერდების ChatGPT-ის ძიებისთვის ინდექსირებისთვის, ხოლო ChatGPT-User-ს ვიზიტებისთვის, რომლებსაც ადამიანი ითხოვს. GPTBot-ის დაბლოკვა მხოლოდ სწავლებაზე უარია. OAI-SearchBot-ის დაბლოკვა ChatGPT-ის საძიებო პასუხებიდან გაგრიცხავთ. robots.txt ChatGPT-User-ზე შეიძლება არ ვრცელდებოდეს.

ერთი კომპანიის სამი სხვადასხვა user agent, თითოეული საკუთარი robots.txt ტოკენით, დიდ დაბნეულობას იწვევს. ბევრმა საიტმა GPTBot მისი გამოჩენისთანავე დაბლოკა, ზოგმა კი მოგვიანებით აღმოაჩინა, რომ ის კრაულერიც დაბლოკა, რომელიც წყვეტს, შეუძლია თუ არა ChatGPT-ს მათი ციტირება, ხშირად ფაირვოლის ფართო წესით. ეს სტატია თითოეულ აგენტს OpenAI-ის საკუთარი დოკუმენტაციის მიხედვით განიხილავს.

ამ გვერდზე
  1. რას აკეთებს GPTBot?
  2. რას აკეთებს OAI-SearchBot?
  3. რას აკეთებს ChatGPT-User?
  4. რა ხდება, როცა თითოეულს ვბლოკავ?
  5. რა robots.txt გამოვიყენო OpenAI-ის კრაულერებისთვის?
  6. როგორ დავრწმუნდე, რომ ფაირვოლი მათ ატარებს?

რას აკეთებს GPTBot?

GPTBot აგროვებს კონტენტს, რომელიც შეიძლება OpenAI-ის გენერაციული AI საბაზისო მოდელების სწავლებისთვის გამოიყენონ. OpenAI-ის დოკუმენტაციის მიხედვით, GPTBot-ის აკრძალვა მიუთითებს, რომ საიტის კონტენტი ამ მოდელების სწავლებაში არ უნდა გამოიყენონ.

მისი user agent შეიცავს ტოკენს GPTBot, მაგალითად Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI აღნიშნავს, რომ ვერსიის ნომერი შეიძლება შეიცვალოს, ამიტომ შეამოწმეთ ტოკენი და არა მთელი სტრიქონი. OpenAI თავის IP დიაპაზონებს openai.com/gptbot.json-ზე აქვეყნებს.

მისი დაშვება პოლიტიკის საკითხია. ზოგ გამომცემელს სურს, რომ მისი კონტენტი სასწავლო მონაცემებში მოხვდეს, ზოგს არა. მისი დაბლოკვა ChatGPT-ის ძიებაზე არ მოქმედებს, რადგან ეს სხვა კრაულერია. თუ მოგვიანებით გადაიფიქრებთ, საკმარისია Disallow ხაზის წაშლა; არაფრის რეგისტრაცია ან მოთხოვნა არ არის საჭირო.

რას აკეთებს OAI-SearchBot?

OAI-SearchBot OpenAI-ის საძიებო კრაულერია. ის ვებსაიტებს ChatGPT-ის საძიებო ფუნქციებში აჩენს. OpenAI პირდაპირ აცხადებს, რომ საიტები, რომლებმაც OAI-SearchBot-ზე უარი თქვეს, ChatGPT-ის საძიებო პასუხებში არ გამოჩნდება.

თუ გსურთ, რომ ChatGPT-მა თქვენი გვერდები ციტიროს, სწორედ ეს კრაულერი უნდა დაუშვათ, როგორც robots.txt-ში, ისე ფაირვოლში. მისი IP დიაპაზონები გამოქვეყნებულია openai.com/searchbot.json-ზე, რაც ფაირვოლს საშუალებას აძლევს, გადაამოწმოს, რომ მოთხოვნა ნამდვილად OpenAI-იდან მოდის.

რას აკეთებს ChatGPT-User?

ChatGPT-User ჩვეულებრივი გაგებით კრაულერი არ არის. ის გვერდს იღებს, როცა ChatGPT-ის მომხმარებელი ან Custom GPT ამას ითხოვს, მაგალითად, როცა ვინმე თქვენს URL-ს ჩატში ჩასვამს და შეჯამებას ითხოვს. OpenAI-ის თქმით, ის ვების ავტომატური კრაულინგისთვის არ გამოიყენება.

აქ OpenAI-ის დოკუმენტაციიდან ორი დეტალია მნიშვნელოვანი. პირველი: რადგან ამ ქმედებებს მომხმარებელი იწყებს, robots.txt-ის წესები შეიძლება არ ვრცელდებოდეს. მეორე: ChatGPT-User არ გამოიყენება იმის დასადგენად, შეიძლება თუ არა კონტენტი ძიებაში გამოჩნდეს. ძიებისთვის მნიშვნელოვანი პარამეტრი OAI-SearchBot-ია.

რა ხდება, როცა თითოეულს ვბლოკავ?

OpenAI ასევე აღნიშნავს, რომ როცა GPTBot და OAI-SearchBot ორივე დაშვებულია, მას შეუძლია ერთი კრაულინგის შედეგები ორივე მიზნისთვის გამოიყენოს, რომ ორჯერ არ გააკეთოს კრაულინგი.

რა robots.txt გამოვიყენო OpenAI-ის კრაულერებისთვის?

საიტების უმეტესობისთვის, რომლებსაც ChatGPT-ის პასუხებში გამოჩენა სურთ, დაუშვით საძიებო კრაულერი და სწავლებაზე ცალკე გადაწყვიტეთ. ეს ფაილი ძიებას უშვებს და სწავლებაზე უარს ამბობს:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

გაითვალისწინეთ RFC 9309-ის ერთი დეტალი: კრაულერი მიჰყვება ჯგუფს, რომელიც მას ასახელებს, და * ჯგუფს უგულებელყოფს. ზემოთ მოცემულ მაგალითში OAI-SearchBot-ს /admin/-ში შესვლა ეშვება, რადგან მის საკუთარ ჯგუფში Disallow: /admin/ ხაზი არ არის. ყველა გზა, რომლის დახურულად შენახვაც გსურთ, თითოეულ სახელით მითითებულ ჯგუფში გაიმეორეთ. OpenAI-ის თქმით, ძიების ცვლილებების ამოქმედებას დაახლოებით 24 საათი შეიძლება დასჭირდეს.

როგორ დავრწმუნდე, რომ ფაირვოლი მათ ატარებს?

robots.txt მხოლოდ თქვენს პოლიტიკას აცხადებს. რას იღებს თითოეული მოთხოვნა რეალურად, ფაირვოლი ან CDN წყვეტს. მოითხოვეთ გვერდი თითოეული კრაულერის user agent-ით და შეადარეთ სტატუსის კოდი და შიგთავსის ზომა ბრაუზერის მოთხოვნას. 403, 429 ან ბოტის შემოწმების გვერდი კრაულერისთვის და ჩვეულებრივი გვერდი ბრაუზერისთვის ნიშნავს, რომ ფაირვოლი თქვენს robots.txt-ს უგულებელყოფს.

AISeeWhy ამ შედარებას OpenAI-ის სამივე აგენტისთვის ერთდროულად ატარებს, OAI-SearchBot-ისა და ChatGPT-User-ის ბლოკებს P1-ად აფასებს, რადგან ისინი ციტირებას გიკარგავთ, დაბლოკილ GPTBot-ს კი P3-ად, როგორც პოლიტიკის არჩევანს და არა შეცდომას.

ამ პრობლემის გამოსწორებები

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

როგორია OpenAI-ის კრაულერების user agent სტრიქონები?

OpenAI-ის დოკუმენტაცია GPTBot-ისთვის უთითებს Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot-ს, OAI-SearchBot-ისთვის Chrome-ის მსგავს სტრიქონს, რომელიც compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-ით მთავრდება, ხოლო ChatGPT-User-ისთვის Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot-ს. ვერსიის ნომრები შეიძლება შეიცვალოს, ამიტომ ტოკენი დაამთხვიეთ. IP დიაპაზონები გამოქვეყნებულია openai.com/gptbot.json-ზე, openai.com/searchbot.json-სა და openai.com/chatgpt-user.json-ზე; შეამოწმეთ წყაროს IP მათით, რომ ნამდვილი კრაულერი იმიტაციისგან გაარჩიოთ.

GPTBot და ChatGPT ერთი და იგივეა?

არა. GPTBot სასწავლო მონაცემების კრაულერია. ChatGPT-ის ძიება OAI-SearchBot-ს იყენებს, მომხმარებლების მიერ მოთხოვნილი პირდაპირი ვიზიტები კი ChatGPT-User-იდან მოდის.

შემიძლია დავუშვა ChatGPT-ის ძიება და დავბლოკო სწავლება?

დიახ. robots.txt-ში დაუშვით OAI-SearchBot და აკრძალეთ GPTBot. OpenAI ამ ორ პარამეტრს დამოუკიდებლად აღწერს.

უნდა დავბლოკო OpenAI IP მისამართით?

IP-ით დაბლოკვა კრაულერს თქვენი robots.txt-ის წაკითხვის საშუალებას ართმევს და თქვენი პოლიტიკის შეცვლას ართულებს. როგორც წესი, უმჯობესია პოლიტიკა robots.txt-ში გამოაცხადოთ, გამოქვეყნებული IP დიაპაზონები კი OpenAI-ის კრაულერების გადასამოწმებლად გამოიყენოთ და არა დასაბლოკად.

რატომ უნდა შევამოწმო ტოკენი და არა მთელი user agent?

OpenAI-ის თქმით, მისი user agent-ების ვერსიის ნომერი შეიძლება შეიცვალოს, ხოლო მის მიერ გამოქვეყნებული სტრიქონების მაგალითები კრაულერების მიხედვით განსხვავდება. წესები, რომლებიც GPTBot-ს ან OAI-SearchBot-ს ამოწმებს, განახლების შემდეგაც მუშაობს; ზუსტ სტრიქონზე დამოკიდებული წესები შეიძლება შეუმჩნევლად შეწყვეტდნენ დამთხვევას.

წყაროები

სხვა სტატიები