robots.txt به GPTBot اجازه میدهد، اما سرور آن را مسدود میکند
robots.txt شما به این خزنده اجازه دریافت صفحه را میدهد، اما درخواستی با user agent آن توسط سرور، CDN یا فایروال مسدود شد. سیاست اعلامشده و رفتار واقعی با هم نمیخوانند. قانون فایروال را با robots.txt هماهنگ کنید، یا اگر قصدتان مسدود کردن خزنده بود، آن را در robots.txt ممنوع کنید.
یعنی چه
قوانین شما به GPTBot اجازه ورود میدهند، اما درخواست با user agent آن مسدود شد. فایروال یا CDN سیاست اعلامشده شما را نادیده میگیرد.
چرا برای جستجوی هوش مصنوعی مهم است
خزندهها robots.txt را سیاست شما میدانند. وقتی robots.txt میگوید بله و سرور 403 میدهد، خزنده درخواستهایش را هدر میدهد، شاید بعداً دوباره تلاش کند و صفحه باز هم به ایندکس موتور پاسخ نمیرسد. تیمها اغلب فکر میکنند به جستجوی هوش مصنوعی اجازه دادهاند چون robots.txt چنین میگوید، در حالی که یک قانون ربات بیصدا آن را مسدود میکند.
درخواست آزمایشی از یک نشانی IP تأییدنشده فرستاده میشود. بنابراین قانونی که خزنده را فقط از محدودههای IP منتشرشدهاش عبور میدهد، که تنظیم معقولی است، ممکن است اینجا ظاهر شود هرچند خزنده واقعی وارد میشود. پیش از هر تغییری بررسی کنید کدام قانون فعال شده است.
چطور آن را اصلاح کنید
- گروه robots.txt و وضعیت درخواست مسدودشده را در یافته مقایسه کنید. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
- قانونی را که درخواست را مسدود کرد پیدا کنید: در Cloudflare، Security → Events و تنظیمات AI Crawl Control و Bot Fight Mode را بررسی کنید؛ در CDNهای دیگر، لاگ مدیریت ربات را بررسی کنید.
- اگر میخواهید خزنده وارد شود، برایش استثنا بگذارید؛ اگر میخواهید بیرون بماند، یک گروه Disallow برای توکن آن اضافه کنید تا سیاست شما در یک جا اعلام شده باشد.
چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.