OpenAI kraulerlari: GPTBot, OAI-SearchBot va ChatGPT-User

Eʼlon qilingan · Yangilangan

Qisqa javob

OpenAI modellarini oʻqitishi mumkin boʻlgan kontentni toʻplash uchun GPTBotdan, ChatGPT qidiruvi uchun sahifalarni indekslashda OAI-SearchBotdan, odam soʻragan tashriflar uchun esa ChatGPT-Userdan foydalanadi. GPTBotni bloklash sizni faqat oʻqitishdan chiqaradi. OAI-SearchBotni bloklash sizni ChatGPT qidiruv javoblaridan olib tashlaydi. ChatGPT-Userga robots.txt qoʻllanmasligi mumkin.

Bitta kompaniyadan kelgan, har biri oʻz robots.txt tokeniga ega uchta turli user agent koʻp chalkashlik keltirib chiqaradi. GPTBot paydo boʻlganda koʻp saytlar uni bloklagan, ulardan baʼzilari keyinchalik ChatGPT ularga iqtibos keltira olishini hal qiladigan kraulerni ham, koʻpincha keng firewall qoidasi orqali, bloklab qoʻyganini aniqlagan. Bu maqola OpenAIʼning oʻz hujjatlari asosida har bir agentni koʻrib chiqadi.

Ushbu sahifada
  1. GPTBot nima qiladi?
  2. OAI-SearchBot nima qiladi?
  3. ChatGPT-User nima qiladi?
  4. Ularning har birini bloklasam nima boʻladi?
  5. OpenAI kraulerlari uchun qanday robots.txt ishlatishim kerak?
  6. Firewall ularni oʻtkazib yuborishini qanday tasdiqlayman?

GPTBot nima qiladi?

GPTBot OpenAIʼning generativ AI bazaviy modellarini oʻqitishda ishlatilishi mumkin boʻlgan kontentni kraul qiladi. OpenAI hujjatlarida aytilishicha, GPTBotni taqiqlash sayt kontenti bu modellarni oʻqitishda ishlatilmasligi kerakligini bildiradi.

Uning user agentida GPTBot tokeni bor, masalan Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI versiya raqami oʻzgarishi mumkinligini taʼkidlaydi, shuning uchun toʻliq qatorni emas, tokenni tekshiring. OpenAI oʻz IP diapazonlarini openai.com/gptbot.json da eʼlon qiladi.

Unga ruxsat berish-bermaslik — siyosat qarori. Baʼzi nashriyotchilar kontenti oʻqitish maʼlumotlarida boʻlishini istaydi, boshqalari yoʻq. Uni bloklash ChatGPT qidiruviga taʼsir qilmaydi, chunki bu boshqa krauler. Keyinroq fikringizni oʻzgartirsangiz, Disallow qatorini olib tashlash kifoya; hech narsani roʻyxatdan oʻtkazish yoki soʻrash shart emas.

OAI-SearchBot nima qiladi?

OAI-SearchBot — OpenAIʼning qidiruv krauleri. U veb-saytlarni ChatGPT qidiruv funksiyalarida koʻrsatadi. OpenAI ochiq aytadiki, OAI-SearchBotdan voz kechgan saytlar ChatGPT qidiruv javoblarida koʻrsatilmaydi.

Agar ChatGPT sahifalaringizga iqtibos keltirishini istasangiz, aynan shu kraulerga robots.txt da ham, firewallda ham ruxsat berish kerak. Uning IP diapazonlari openai.com/searchbot.json da eʼlon qilingan, bu esa firewallga soʻrov haqiqatan OpenAIʼdan kelayotganini tasdiqlash imkonini beradi.

ChatGPT-User nima qiladi?

ChatGPT-User odatiy maʼnodagi krauler emas. U ChatGPT foydalanuvchisi yoki Custom GPT soʻraganda sahifani yuklaydi, masalan kimdir URLʼingizni chatga joylashtirib, qisqacha mazmunini soʻraganda. OpenAI u vebni avtomatik kraul qilishda ishlatilmasligini aytadi.

Bu yerda OpenAI hujjatlaridagi ikki tafsilot muhim. Birinchidan, bu harakatlarni foydalanuvchi boshlagani uchun robots.txt qoidalari qoʻllanmasligi mumkin. Ikkinchidan, ChatGPT-User kontent qidiruvda chiqishi mumkinligini aniqlashda ishlatilmaydi. Qidiruv uchun OAI-SearchBot sozlamasi hisobga olinadi.

Ularning har birini bloklasam nima boʻladi?

OpenAI shuningdek, GPTBot va OAI-SearchBot ikkalasiga ham ruxsat berilganda ikki marta kraul qilmaslik uchun bitta kraul natijalarini ikkala maqsadda ishlatishi mumkinligini taʼkidlaydi.

OpenAI kraulerlari uchun qanday robots.txt ishlatishim kerak?

ChatGPT javoblarida chiqishni istagan koʻpchilik saytlar uchun qidiruv kraulerga ruxsat bering va oʻqitish haqida alohida qaror qiling. Bu fayl qidiruvga ruxsat beradi va oʻqitishdan voz kechadi:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

RFC 9309 dagi bir tafsilotga eʼtibor bering: krauler oʻzini nomlagan guruhga amal qiladi va * guruhini eʼtiborsiz qoldiradi. Yuqoridagi misolda OAI-SearchBotga /admin/ ga kirishga ruxsat beriladi, chunki uning oʻz guruhida Disallow: /admin/ qatori yoʻq. Yopiq saqlamoqchi boʻlgan har qanday yoʻllarni har bir nomlangan guruhda takrorlang. OpenAI qidiruv oʻzgarishlari kuchga kirishi taxminan 24 soat olishi mumkinligini aytadi.

Firewall ularni oʻtkazib yuborishini qanday tasdiqlayman?

robots.txt faqat siyosatingizni bildiradi. Har bir soʻrov amalda nima olishini firewall yoki CDN hal qiladi. Sahifani har bir kraulerning user agenti bilan soʻrang va status kodi hamda javob hajmini brauzer soʻrovi bilan solishtiring. Krauler uchun 403, 429 yoki challenge sahifasi, brauzer uchun esa oddiy sahifa — bu firewall robots.txt faylingizni bekor qilayotganini bildiradi.

AISeeWhy bu solishtirishni OpenAIʼning uchala agenti uchun birdaniga bajaradi, OAI-SearchBot va ChatGPT-User bloklanishini P1 deb belgilaydi, chunki ular iqtiboslarni yoʻqotadi, bloklangan GPTBotni esa xato emas, P3 siyosat tanlovi sifatida koʻrsatadi.

Bu muammo uchun tuzatishlar

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

OpenAI kraulerlarining user agent satrlari qanday?

OpenAI hujjatlarida GPTBot uchun Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot uchun compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot bilan tugaydigan Chromeʼga oʻxshash satr, ChatGPT-User uchun esa Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot keltirilgan. Versiya raqamlari oʻzgarishi mumkin, shuning uchun token boʻyicha solishtiring. IP diapazonlari openai.com/gptbot.json, openai.com/searchbot.json va openai.com/chatgpt-user.json da eʼlon qilingan; haqiqiy kraulerni taqlidchidan ajratish uchun manba IPʼni ular bilan tekshiring.

GPTBot va ChatGPT bir narsami?

Yoʻq. GPTBot — oʻqitish maʼlumotlari uchun krauler. ChatGPT qidiruvi OAI-SearchBotdan foydalanadi, foydalanuvchilar soʻragan jonli tashriflar esa ChatGPT-Userdan keladi.

ChatGPT qidiruviga ruxsat berib, oʻqitishni bloklay olamanmi?

Ha. robots.txt da OAI-SearchBotga ruxsat bering va GPTBotni taqiqlang. OpenAI bu ikki sozlamani mustaqil deb hujjatlashtirgan.

OpenAIʼni IP manzil boʻyicha bloklashim kerakmi?

IP boʻyicha bloklash kraulerga robots.txt faylingizni oʻqishga imkon bermaydi va siyosatingizni oʻzgartirishni qiyinlashtiradi. Odatda siyosatni robots.txt da bildirish, eʼlon qilingan IP diapazonlaridan esa OpenAI kraulerlarini bloklash uchun emas, tasdiqlash uchun foydalanish yaxshiroq.

Nega toʻliq user agentni emas, tokenni tekshirish kerak?

OpenAI user agentlaridagi versiya raqami oʻzgarishi mumkinligini aytadi, u eʼlon qiladigan namuna qatorlar esa kraulerlar orasida farq qiladi. GPTBot yoki OAI-SearchBotni tekshiradigan qoidalar yangilanishdan keyin ham ishlayveradi; aniq qatorni tekshiradigan qoidalar esa sezdirmasdan mos kelmay qolishi mumkin.

Manbalar

Boshqa maqolalar