آیا ChatGPT سایت من را میبیند؟ روش بررسی
صفحه خود را وارد کنید و در حدود 30 ثانیه ببینید خزندههای ChatGPT میتوانند آن را برسند، بخوانند و به آن استناد کنند یا نه، و اگر نمیتوانند چه چیزی را باید تغییر دهید.
رایگان · بدون ثبتنام · نتیجه در 30 ثانیه
robots.txt، خزنده به خزنده
OAI-SearchBot، ChatGPT-User و GPTBot طبق قواعد RFC 9309 جداگانه خوانده میشوند، تا ببینید کدام مجاز است و کدام خط تصمیم میگیرد.
مسدودسازی فایروال و CDN
صفحه شما بهعنوان 14 خزنده و بهعنوان مرورگر عادی درخواست میشود. خطای 403، خطای 429 یا صفحه چالشی که فقط خزندهها میگیرند علامتگذاری میشود و فایروال پشت آن نام برده میشود.
خزنده واقعاً چه دریافت میکند
وضعیت، حجم و ریدایرکتها برای هر خزنده با آنچه مرورگر میگیرد مقایسه میشود، تا صفحهای که به خزندهها کمتر از آنچه به مردم میدهد پاسخ میدهد مشخص شود.
راهحل برای هر یافته
هر یافته همراه تغییری میآید که باید انجام دهید. بررسی رایگان امتیاز و اولین یافته را نشان میدهد؛ گزارش کامل 29$ است، یکبار پرداخت.
ChatGPT فقط وقتی میتواند به صفحه شما استناد کند که خزنده جستجوی OpenAI، یعنی OAI-SearchBot، اجازه دریافت آن را داشته باشد و همان HTML را بگیرد که مرورگر میگیرد. سه چیز را بررسی کنید: robots.txt شما OAI-SearchBot را ممنوع نکرده باشد، فایروال یا CDN به آن خطای 403 یا صفحه چالش ندهد، و متن اصلی در HTML اولیه باشد. خوانا بودن با پیشنهاد شدن یکی نیست: برای اینکه ببینید ChatGPT از سایت شما نام میبرد یا نه، پرسشهایی را که خریدارانتان میپرسند از آن بپرسید و یادداشت کنید به کدام سایتها استناد میکند.
خودتان در 3 مرحله بررسی کنید
- robots.txt را بخوانید
https://your-site.com/robots.txtرا باز کنید. هیچ گروهی برایOAI-SearchBot،ChatGPT-UserیاUser-agent: *نباید صفحه را ممنوع کرده باشد.GPTBotفقط به آموزش مربوط است. - آنچه خزنده میگیرد را آزمایش کنید
صفحه را بهعنوان
OAI-SearchBotدرخواست کنید، یا بررسی رایگان را اجرا کنید. باید با 200 و همان متنی که مرورگر میگیرد پاسخ دهد، نه 403 یا صفحه چالش. - از ChatGPT بپرسید
با روشن بودن جستجو، از آن بخواهید نشانی شما را خلاصه کند و به یکی از پرسشهای خریدارانتان پاسخ دهد، سپس منابعی را که فهرست میکند ببینید. اگر دسترسی درست است و باز هم نیستید، علت محتواست.
پرسشهای متداول
آیا میتوانم رایگان بررسی کنم که ChatGPT سایتم را میبیند یا نه؟
بله. خواندن robots.txt، یک درخواست curl با user agent OAI-SearchBot و یک پرسش در ChatGPT هزینهای ندارند. بررسی رایگان AISeeWhy آزمونهای خزنده را برای یک صفحه در روز، بدون حساب کاربری، اجرا میکند.
چطور بفهمم ChatGPT سایت من را پیشنهاد میکند یا نه؟
پرسشهایی را که خریدارانتان میپرسند با جستجوی روشن از ChatGPT بپرسید و یادداشت کنید آیا از سایت شما نام میبرد یا به آن لینک میدهد و بهجای شما از کدام رقبا نام میبرد. پاسخها بین اجراها فرق میکنند، پس هر پرسش را تکرار کنید و طی چند هفته دوباره بررسی کنید. بررسی دیدهشدن در هوش مصنوعی AISeeWhy پرسشهای شما را با کلیدهای API خودتان از ChatGPT، Claude، Perplexity و Gemini میپرسد و نام بردن از شما را در کنار حداکثر چهار رقیب پیگیری میکند. پاسخهای API ممکن است با آنچه اپ ChatGPT نشان میدهد فرق داشته باشند.
چرا ChatGPT سایت من را پیدا نمیکند؟
اغلب OAI-SearchBot در robots.txt ممنوع شده، فایروال به آن خطای 403 یا صفحه چالش میدهد، یا متن فقط پس از اجرای JavaScript ظاهر میشود. اگر هر سه درست باشند، شاید صفحه شما بهسادگی کمتر از صفحههایی که ChatGPT به آنها استناد میکند مستقیم به پرسش پاسخ میدهد.
آیا مسدود کردن GPTBot سایت من را از جستجوی ChatGPT حذف میکند؟
نه. OpenAI تنظیم هر خزنده را مستقل در نظر میگیرد. GPTBot به آموزش مربوط است، در حالی که OAI-SearchBot تعیین میکند آیا صفحهها میتوانند در پاسخهای جستجوی ChatGPT نمایش داده شوند. میتوانید یکی را ممنوع و دیگری را مجاز کنید.
آیا ChatGPT-User از robots.txt پیروی میکند؟
OpenAI میگوید چون این بازدیدها را کاربر آغاز میکند، ممکن است قوانین robots.txt اعمال نشوند. اگر میخواهید جلوی این بازدیدها را بگیرید، قانون robots.txt کنترل مطمئنی نیست.
چقدر طول میکشد تا تغییر robots.txt به ChatGPT برسد؟
OpenAI میگوید پس از بهروزرسانی robots.txt ممکن است حدود 24 ساعت طول بکشد تا سیستمهایش برای جستجو خود را تطبیق دهند.
آیا در دسترس بودن برای استناد کافی است؟
نه. دسترسی استناد را ممکن میکند اما تضمینش نمیکند. آنچه صفحه میگوید و اینکه چقدر روشن میگوید، همچنان تعیین میکند در پاسخ استفاده شود یا نه.
راهنمای کامل را بخوانید
بسیاری از صاحبان سایت از ChatGPT درباره محصول خودشان میپرسند، میبینند به یک رقیب استناد شده و از خود میپرسند آیا ChatGPT اصلاً به سایتشان دسترسی دارد. این سؤال پاسخی مشخص و قابل آزمایش دارد. OpenAI نام خزندههایش و کار هر کدام را منتشر میکند؛ پس میتوانید تکتک حلقههای زنجیره را بررسی کنید: قوانین robots.txt، پاسخی که سرور شما میفرستد و محتوای آن پاسخ.
بررسی 5 دقیقهای، قدم به قدم
https://your-site.com/robots.txtرا باز کنید و مطمئن شوید هیچ گروهی برایOAI-SearchBot،ChatGPT-UserیاUser-agent: *صفحه را ممنوع نکرده است.GPTBotفقط برای آموزش اهمیت دارد.- صفحه را در AISeeWhy بهصورت رایگان بررسی کنید یا یک درخواست با user agent
OAI-SearchBotبفرستید: باید کد وضعیت 200 و همان متنی را بگیرد که یک مرورگر میگیرد، نه 403 یا صفحه چالش. - سورس صفحه را ببینید و مطمئن شوید متن اصلی در HTML است و بعداً با JavaScript اضافه نمیشود.
- با جستجوی روشن از ChatGPT بخواهید نشانی شما را خلاصه کند و به یک پرسش خریدارانتان پاسخ دهد. منابعی را که فهرست میکند ببینید.
اگر قدم 1 یا 2 رد شد، اول همان را درست کنید: بخشهای زیر روش آن را نشان میدهند. اگر هر چهار قدم قبول شد و ChatGPT باز هم به شما استناد نمیکند، علت محتواست، نه دسترسی.
کدام خزندههای OpenAI برای پاسخهای ChatGPT اهمیت دارند؟
OpenAI سه عامل را مستند کرده که صاحبان سایت معمولاً با آنها سروکار دارند. کار آنها متفاوت است و مسدود کردن یکی، بقیه را مسدود نمیکند. OpenAI تصریح میکند که هر تنظیم robots.txt مستقل است.
OAI-SearchBotصفحهها را برای قابلیتهای جستجوی ChatGPT پیدا و ایندکس میکند. OpenAI میگوید سایتهایی که آن را کنار گذاشتهاند در پاسخهای جستجوی ChatGPT نمایش داده نمیشوند. همین خزنده است که تعیین میکند آیا میتوان به شما استناد کرد.GPTBotمحتوایی را جمع میکند که ممکن است برای آموزش مدلهای پایه OpenAI استفاده شود. ممنوع کردن آن یعنی محتوای شما نباید برای آموزش استفاده شود. شما را از پاسخهای جستجو حذف نمیکند.ChatGPT-Userوقتی یک نفر از ChatGPT بخواهد، مثلاً با چسباندن یک لینک، به صفحه سر میزند. OpenAI میگوید ممکن است قوانین robots.txt روی این بازدیدهای آغازشده توسط کاربر اعمال نشود و از این عامل برای تعیین حضور محتوا در جستجو استفاده نمیشود.
خلاصه: OAI-SearchBot استنادها را کنترل میکند، GPTBot آموزش را، و ChatGPT-User بازدیدهای زنده به درخواست کاربر را انجام میدهد.
چطور robots.txt خود را برای ChatGPT بررسی کنم؟
https://yourdomain.com/robots.txt را در مرورگر باز کنید. دنبال گروهی بگردید که نام OAI-SearchBot را آورده باشد. اگر نبود، خزنده از گروه User-agent: * پیروی میکند. یک Disallow: / در هر گروهی که اعمال میشود کل سایت را مسدود میکند.
همچنین بررسی کنید که فایل اصلاً پاسخ میدهد. طبق RFC 9309 اگر robots.txt خطای سرور (5xx) برگرداند یا در دسترس نباشد، خزنده باید فرض کند کل سایت ممنوع است. خطای 404 مشکلی ندارد: یعنی قانونی وجود ندارد. نشانی robots.txt که یک صفحه HTML با وضعیت 200 برمیگرداند اشتباه رایجی است، چون خزندهها در آن هیچ قانون معتبری پیدا نمیکنند.
تنظیمی که جستجوی ChatGPT را نگه میدارد و از آموزش کنار میکشد این شکلی است:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI میگوید پس از بهروزرسانی robots.txt ممکن است حدود 24 ساعت طول بکشد تا تغییرات برای جستجو اعمال شوند.
آیا فایروال میتواند ChatGPT را مسدود کند حتی وقتی robots.txt اجازه میدهد؟
بله، و این دلیل رایجی است. robots.txt درخواستی از خزندههای خوشرفتار است، نه کنترل دسترسی. فایروال، CDN یا محافظ ربات شماست که تعیین میکند واقعاً چه چیزی برگردانده شود. اگر یک خزنده هوش مصنوعی را ربات ناخواسته بداند، خزنده خطای 403، 429 یا صفحه چالشی مانند صفحه «Just a moment...» در Cloudflare میگیرد، در حالی که افراد در مرورگر صفحه را عادی میبینند.
از بیرون، این سایت برای همه باز به نظر میرسد. فقط درخواستی که خود را خزنده معرفی کند تفاوت را نشان میدهد. در این حالت robots.txt میگوید بله، سرور میگوید نه، و حرف سرور است که اجرا میشود.
چطور آزمایش کنم OAI-SearchBot چه چیزی دریافت میکند؟
دو درخواست به یک URL بفرستید، یکی با user agent مرورگر و یکی با user agent خزنده، و کد وضعیت و اندازه پاسخ را مقایسه کنید. OpenAI برای هر خزنده یک user agent نمونه منتشر میکند؛ شماره نسخه در آن ممکن است تغییر کند.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page اگر مرورگر 200 با بدنه بزرگ بگیرد و خزنده 403، 429، 503 یا بدنهای بسیار کوچکتر، فایروال شما با خزنده رفتار متفاوتی دارد. یک محدودیت وجود دارد: آزمایش شما از نشانی IP خودتان انجام میشود، نه از IP خود OpenAI. فایروالهایی که خزندهها را با بازههای IP منتشرشده تأیید میکنند (OpenAI آنها را در openai.com/searchbot.json فهرست کرده) ممکن است خزنده واقعی را راه بدهند و آزمایش شما را مسدود کنند. با این حال مسدود شدن در این آزمایش نشان میدهد فایروال با user agent چطور رفتار میکند و ارزش اصلاح دارد.
اگر صفحه بارگذاری شود اما ChatGPT باز هم چیز مفیدی نگوید چه؟
دسترسی فقط قدم اول است. اگر HTML دریافتی یک پوسته خالی باشد که بعداً با JavaScript پر میشود، ممکن است خزنده تقریباً هیچ متنی دریافت نکند. HTML خام را با curl یا view-source مرورگر نگاه کنید: اگر متن اصلی آنجا نیست، احتمالاً خزنده هم آن را نمیبیند.
پس از آن نوبت نشانههای محتوایی است: یک پاسخ کوتاه و روشن نزدیک بالای صفحه، سرتیترهایی که با سؤالهای مردم جور باشند، ناشر و نویسنده مشخص و تاریخهای قابل مشاهده. اینها استناد را تضمین نمیکنند، اما نقل درست از صفحه را آسانتر میکنند.
AISeeWhy این را چطور بررسی میکند؟
AISeeWhy صفحه شما را بهعنوان OAI-SearchBot، GPTBot، ChatGPT-User و 11 خزنده دیگر در کنار یک مرورگر معمولی دریافت میکند، robots.txt شما را طبق قواعد RFC 9309 میخواند و وقتی فایروالی با مسدودسازی یا چالش پاسخ دهد نامش را میآورد. هر یافته همراه با راهحل آماده برای چسباندن است و بررسی رایگان امتیاز شما و اولین یافته را نشان میدهد.
راهحلهای این مشکل
- OAI-SearchBot مسدود است
- GPTBot یک صفحه خالی دریافت میکند
- صفحه قابل دریافت نبود
- صفحه با وضعیت 403 پاسخ میدهد
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
منابع
- OpenAI: مروری بر خزندههای OpenAI
- RFC 9309: پروتکل استثنای رباتها (Robots Exclusion Protocol)
- Cloudflare: مدیریت خزندههای هوش مصنوعی (AI Crawl Control)