درخواست آزمایشی ما مسدود شد، نتیجه قطعی نیست
حتی درخواست مرورگر معمولی ممیزی هم با وضعیت مسدودسازی، خطا یا صفحه چالش رد شد، پس دسترسی خزندهها قابل قضاوت نیست. این به معنای مسدود بودن خزندهها نیست. ممیزی را برای مدت کوتاهی در فهرست مجاز بگذارید یا آن را از شبکه دیگری اجرا کنید، سپس نتایج خزندهها را دوباره مقایسه کنید.
یعنی چه
حتی درخواست مرورگر از سرور ما هم وضعیت 403 یا صفحه چالش گرفت، پس از اینجا نمیتوان درباره دسترسی رباتها قضاوت کرد. ممیزی را از شبکه دیگری اجرا کنید یا برای مدت کوتاهی ممیزی را در فهرست مجاز قرار دهید.
چرا برای جستجوی هوش مصنوعی مهم است
هر حکم دسترسی در AISeeWhy پاسخ یک خزنده را با درخواست مرورگری مقایسه میکند که از همان سرور فرستاده شده است. وقتی خود درخواست مرورگر مسدود شود، مبنایی برای مقایسه نیست، پس ممیزی همانجا متوقف میشود تا مسدودسازیهایی را گزارش نکند که شاید واقعی نباشند.
علت معمول، محافظت در برابر رباتی است که همه ترافیک محدودههای IP ابری و دیتاسنتر را به چالش میکشد، یا حالتی سراسری مانند Under Attack در Cloudflare. همین قانون میتواند روی خزندههای واقعی هوش مصنوعی هم اثر بگذارد که آنها هم از دیتاسنترها درخواست میفرستند، پس ارزش دارد بررسی کنید با آنها چه رفتاری دارد.
چطور آن را اصلاح کنید
- وضعیت و WAF تشخیصدادهشده را در شواهد یافته بخوانید.
- در Cloudflare، درخواست مسدودشده را در Security → Events بررسی کنید و ببینید کدام قانون فعال شده است: حالت Under Attack، چالش JavaScript، مسدودسازی کشور یا ASN، یا محدودیت نرخ.
- قانونی را که همه بازدیدکنندگان را به چالش میکشد موقتاً ملایمتر کنید، یا ممیزی را برای لحظهای در فهرست مجاز بگذارید، سپس «بررسی دوباره» را اجرا کنید. درخواست مرورگر از user agent معمولی Chrome استفاده میکند، پس استثنا بر اساس user agent بهتنهایی کمکی نمیکند.
- وقتی درخواست مرورگر عبور کرد، ردیفهای خزندهها را مرور کنید: اکنون نشان میدهند به هر خزنده اجازه دسترسی داده شده یا نه.
چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.