GPTBot
GPTBot خزنده OpenAI برای محتوایی است که ممکن است برای آموزش مدلهای پایه هوش مصنوعی مولد آن استفاده شود. ممنوع کردن آن در robots.txt به OpenAI میگوید از محتوای شما برای آموزش استفاده نکند. مسدود کردن آن شما را از پاسخهای جستجوی ChatGPT حذف نمیکند، چون آنها به OAI-SearchBot بستگی دارند.
چطور به آن اجازه دهید
User-agent: GPTBot
Allow: / چطور آن را مسدود کنید
User-agent: GPTBot
Disallow: / چه کاری میکند
OpenAI میگوید GPTBot برای مفیدتر و ایمنتر کردن مدلهای پایه هوش مصنوعی مولد آن استفاده میشود. محتوایی را میخزد که ممکن است در آموزش این مدلها به کار رود، و ممنوع کردن GPTBot نشان میدهد که محتوای سایت نباید در آموزش استفاده شود.
اجازه دادن یا ندادن به آن یک تصمیم سیاستی است، نه تصمیمی درباره دیده شدن. جستجوی ChatGPT از خزنده جداگانهای به نام OAI-SearchBot استفاده میکند و OpenAI این دو تنظیم را مستقل از هم مستند کرده است. وقتی هر دو مجاز باشند، OpenAI میگوید ممکن است نتیجه یک خزش را برای هر دو هدف به کار ببرد تا دو بار نخزد.
در پژوهش 2026-11 ما، 21.4% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
GPTBot
رشته user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot چطور بازدیدهای واقعی را تأیید کنید
OpenAI محدودههای IP مورد استفاده این عامل را بهصورت یک فایل JSON منتشر میکند. IP مبدأ درخواست را با این محدودهها مقایسه کنید؛ درخواستی که نام GPTBot را دارد اما از نشانی دیگری میآید از طرف OpenAI نیست. OpenAI یادآوری میکند که شماره نسخه در user agent ممکن است تغییر کند، پس بهجای کل رشته، توکن GPTBot را تطبیق دهید.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
خزندههای OpenAI به زبان ساده: GPTBot، OAI-SearchBot و ChatGPT-User ←