2 صفحه خزیدن را رد کردند
این صفحهها وقتی ممیزی آنها را مانند یک مرورگر دریافت کرد با 401، 403، 429 یا 503 پاسخ دادند، یا زمانشان تمام شد. این اغلب کار یک فایروال، محافظت در برابر ربات یا محدودیت نرخ است، نه صفحه خراب. بررسی کنید که آیا خزندههای جستجو و هوش مصنوعی هم همین پاسخ را میگیرند.
یعنی چه
این صفحهها با 401، 403، 429 یا 503 پاسخ دادند یا زمانشان تمام شد. ممکن است یک فایروال یا محدودیت نرخ جلوی خزندهها را هم بگیرد؛ بررسی کنید که آیا خزندههای جستجو و هوش مصنوعی هم همین پاسخ را میگیرند.
چرا برای جستجوی هوش مصنوعی مهم است
ممیزی صفحههای زیادی را در زمان کوتاهی از یک سرور دریافت میکند، پس یک محدودیت نرخ ممکن است با 429 یا 503 پاسخ دهد حتی وقتی افراد صفحه را میگیرند. اگر همان قانون روی خزندههای جستجو و هوش مصنوعی اعمال شود، این صفحهها برای ایندکسهای آنها دریافت نمیشوند و نمیتوانند در پاسخهای هوش مصنوعی مورد استناد قرار گیرند.
401 یعنی صفحه به ورود نیاز دارد، که برای بخشهای حساب کاربری عادی است اما برای محتوای عمومی نه. 503 در همه صفحهها ممکن است یعنی حالت تعمیر روشن مانده است. این صفحهها از لینکهای شکسته جدا نگه داشته میشوند، چون اصلاح به این بستگی دارد که چه کسی رد میشود.
چطور آن را اصلاح کنید
- چند URL فهرستشده را در یک پنجره خصوصی مرورگر باز کنید. اگر بارگذاری شدند، مسدودسازی درخواستهای خودکار را هدف گرفته است.
- درخواستهای ردشده را در لاگهای فایروال، CDN یا هاست خود پیدا کنید. مطمئن شوید خزندههای جستجوی تأییدشده مانند Googlebot و Bingbot، و خزندههای جستجوی هوش مصنوعی که میخواهید، مجاز هستند؛ بسیاری از CDNها، از جمله Cloudflare، تنظیمی برای رباتهای تأییدشده دارند.
- اگر علت محدودیت نرخ بود، سقف را برای درخواستهای معمولی صفحه بالا ببرید یا صفحههای HTML را از آن مستثنا کنید.
- اگر صفحهها با 401 پاسخ میدهند، ورود را از صفحههای عمومی بردارید، یا از صفحههای عمومی به صفحههای خصوصی لینک ندهید.
- ممیزی سایت را دوباره از حساب خود اجرا کنید تا نتیجه را تأیید کنید.
چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.