خزندههای OpenAI به زبان ساده: GPTBot، OAI-SearchBot و ChatGPT-User
OpenAI از GPTBot برای جمعآوری محتوایی استفاده میکند که ممکن است مدلهایش را آموزش دهد، از OAI-SearchBot برای ایندکس صفحهها برای جستجوی ChatGPT و از ChatGPT-User برای بازدیدهایی که یک نفر درخواست میکند. مسدود کردن GPTBot فقط شما را از آموزش خارج میکند. مسدود کردن OAI-SearchBot شما را از پاسخهای جستجوی ChatGPT حذف میکند. ممکن است robots.txt روی ChatGPT-User اعمال نشود.
سه user agent مختلف از یک شرکت، هر کدام با توکن robots.txt خودش، سردرگمی زیادی ایجاد میکند. بسیاری از سایتها وقتی GPTBot پیدا شد آن را مسدود کردند و بعضی بعدها فهمیدند خزندهای را هم که تعیین میکند ChatGPT میتواند به آنها استناد کند یا نه مسدود کردهاند، اغلب با یک قانون گسترده فایروال. این مقاله با تکیه بر مستندات خود OpenAI تکتک این عاملها را مرور میکند.
در این صفحه
GPTBot چه کاری انجام میدهد؟
GPTBot محتوایی را میخزد که ممکن است برای آموزش مدلهای پایه هوش مصنوعی تولیدی OpenAI استفاده شود. مستندات OpenAI میگوید ممنوع کردن GPTBot نشان میدهد محتوای سایت نباید در آموزش آن مدلها استفاده شود.
user agent آن توکن GPTBot را دارد، برای مثال Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI یادآوری میکند که شماره نسخه ممکن است تغییر کند؛ پس توکن را تطبیق دهید، نه کل رشته را. OpenAI بازههای IP آن را در openai.com/gptbot.json منتشر میکند.
مجاز کردن یا نکردن آن یک تصمیم سیاستی است. بعضی ناشران میخواهند محتوایشان در دادههای آموزشی باشد و بعضی نه. مسدود کردن آن روی جستجوی ChatGPT اثری ندارد، چون آن کار خزنده دیگری است. اگر بعداً نظرتان عوض شد، حذف خط Disallow کافی است؛ چیزی برای ثبت یا درخواست وجود ندارد.
OAI-SearchBot چه کاری انجام میدهد؟
OAI-SearchBot خزنده جستجوی OpenAI است. وبسایتها را در قابلیتهای جستجوی ChatGPT نمایش میدهد. OpenAI صریحاً میگوید سایتهایی که OAI-SearchBot را کنار گذاشتهاند در پاسخهای جستجوی ChatGPT نمایش داده نمیشوند.
اگر میخواهید ChatGPT به صفحههایتان استناد کند، این همان خزندهای است که باید هم در robots.txt و هم در فایروال مجاز شود. بازههای IP آن در openai.com/searchbot.json منتشر شدهاند و به فایروال اجازه میدهند تأیید کند که درخواست واقعاً از OpenAI است.
ChatGPT-User چه کاری انجام میدهد؟
ChatGPT-User به معنای معمول خزنده نیست. وقتی کاربر ChatGPT یا یک Custom GPT درخواست کند صفحهای را دریافت میکند؛ مثلاً وقتی کسی URL شما را در گفتگو میچسباند و خلاصهاش را میخواهد. OpenAI میگوید از آن برای خزیدن خودکار وب استفاده نمیشود.
دو نکته از مستندات OpenAI اینجا اهمیت دارد. اول، چون این کارها را کاربر آغاز میکند، ممکن است قوانین robots.txt اعمال نشوند. دوم، از ChatGPT-User برای تعیین اینکه محتوا میتواند در جستجو ظاهر شود استفاده نمیشود. برای جستجو، تنظیمی که اهمیت دارد OAI-SearchBot است.
وقتی هر کدام را مسدود کنم چه اتفاقی میافتد؟
- مسدود کردن
GPTBot: محتوای شما بهعنوان «برای آموزش استفاده نشود» علامت میخورد. اگرOAI-SearchBotمجاز باشد، جستجوی ChatGPT همچنان میتواند شما را نمایش دهد و به شما استناد کند. - مسدود کردن
OAI-SearchBot: صفحههای شما در پاسخهای جستجوی ChatGPT نمایش داده نمیشوند. آموزش جداگانه باGPTBotکنترل میشود. - مسدود کردن
ChatGPT-Userدر robots.txt: OpenAI میگوید ممکن است robots.txt روی این بازدیدها اعمال نشود، پس اثرش تضمینی نیست. مسدود کردن آن در فایروال جلوی دریافت را میگیرد و کاربرانی که لینک شما را میچسبانند بهجای محتوای شما خطا میگیرند. - مسدود کردن هر سه در فایروال: ChatGPT نه میتواند صفحههای شما را ایندکس کند و نه دریافت؛ پس چیزی از شما برای نقل کردن ندارد.
- مجاز کردن هر سه: صفحههای شما میتوانند برای جستجو ایندکس شوند، به درخواست کاربر دریافت شوند و از طریق
GPTBotبرای آموزش استفاده شوند.
OpenAI همچنین یادآوری میکند که وقتی هم GPTBot و هم OAI-SearchBot مجاز باشند، ممکن است برای جلوگیری از دو بار خزیدن، نتایج یک بار خزیدن را برای هر دو هدف استفاده کند.
برای خزندههای OpenAI از چه robots.txt استفاده کنم؟
برای بیشتر سایتهایی که میخواهند در پاسخهای ChatGPT ظاهر شوند، خزنده جستجو را مجاز کنید و درباره آموزش جداگانه تصمیم بگیرید. این فایل جستجو را مجاز میکند و از آموزش کنار میکشد:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ به یک جزئیات RFC 9309 توجه کنید: خزنده از گروهی پیروی میکند که نامش را آورده و گروه * را نادیده میگیرد. در مثال بالا OAI-SearchBot اجازه ورود به /admin/ را دارد، چون گروه خودش خط Disallow: /admin/ ندارد. هر مسیری را که میخواهید خصوصی بماند در هر گروه نامدار تکرار کنید. OpenAI میگوید اعمال تغییرات جستجو ممکن است حدود 24 ساعت طول بکشد.
چطور مطمئن شوم فایروال آنها را راه میدهد؟
robots.txt فقط سیاست شما را بیان میکند. فایروال یا CDN است که تعیین میکند هر درخواست واقعاً چه دریافت کند. یک صفحه را با user agent هر خزنده درخواست کنید و کد وضعیت و اندازه بدنه را با درخواست مرورگر مقایسه کنید. 403، 429 یا صفحه چالش برای خزنده، در کنار صفحه عادی برای مرورگر، یعنی فایروال robots.txt شما را نادیده میگیرد.
AISeeWhy این مقایسه را برای هر سه عامل OpenAI یکجا انجام میدهد، مسدود شدن OAI-SearchBot و ChatGPT-User را P1 علامت میزند چون به قیمت از دست رفتن استنادها تمام میشود، و مسدود بودن GPTBot را بهجای خطا، یک انتخاب سیاستی P3 فهرست میکند.
راهحلهای این مشکل
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
رشتههای user agent خزندههای OpenAI چیست؟
مستندات OpenAI برای GPTBot رشته Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot، برای OAI-SearchBot رشتهای شبیه Chrome که به compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ختم میشود، و برای ChatGPT-User رشته Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot را آورده است. شماره نسخهها ممکن است تغییر کنند، پس روی توکن تطبیق دهید. بازههای IP در openai.com/gptbot.json، openai.com/searchbot.json و openai.com/chatgpt-user.json منتشر شدهاند؛ IP مبدأ را با آنها مقایسه کنید تا خزنده واقعی را از جعلی تشخیص دهید.
آیا GPTBot همان ChatGPT است؟
نه. GPTBot خزندهای برای دادههای آموزشی است. جستجوی ChatGPT از OAI-SearchBot استفاده میکند و بازدیدهای زندهای که کاربران درخواست میکنند از ChatGPT-User میآیند.
آیا میتوانم جستجوی ChatGPT را مجاز و آموزش را مسدود کنم؟
بله. در robots.txt، OAI-SearchBot را مجاز و GPTBot را ممنوع کنید. OpenAI این دو تنظیم را مستقل از هم مستند کرده است.
آیا باید OpenAI را با نشانی IP مسدود کنم؟
مسدود کردن با IP مانع خواندن robots.txt توسط خزنده میشود و تغییر سیاست شما را سختتر میکند. معمولاً بهتر است سیاست را در robots.txt بیان کنید و از بازههای IP منتشرشده برای تأیید خزندههای OpenAI استفاده کنید، نه برای مسدود کردن آنها.
چرا توکن را تطبیق دهیم و نه کل user agent را؟
OpenAI میگوید شماره نسخه در user agentهایش ممکن است تغییر کند و رشتههای نمونهای که منتشر میکند از خزندهای به خزنده دیگر فرق دارند. قوانینی که GPTBot یا OAI-SearchBot را تطبیق میدهند پس از بهروزرسانی همچنان کار میکنند؛ قوانینی که رشته دقیق را تطبیق میدهند ممکن است بیصدا از کار بیفتند.