robots.txt قابل دریافت نیست
دریافت /robots.txt ناموفق بود: سرور با وضعیت 5xx یا 429 پاسخ داد یا اصلاً پاسخ نداد. طبق RFC 9309 خزندهها در این حالت کل سایت را ممنوع فرض میکنند. کاری کنید که /robots.txt با وضعیت 200 و متن ساده پاسخ دهد، یا اگر قانونی ندارید 404 برگرداند.
یعنی چه
robots.txt با وضعیت 403 پاسخ داد یا پاسخی نداد. طبق RFC 9309 خزندهها در این حالت کل سایت را ممنوع در نظر میگیرند.
چرا برای جستجوی هوش مصنوعی مهم است
RFC 9309 میگوید خزندهای که به دلیل خطای سرور به robots.txt دسترسی ندارد باید ممنوعیت کامل را فرض کند. Googlebot، Bingbot و خزندههای هوش مصنوعی که از این استاندارد پیروی میکنند تا وقتی robots.txt دوباره پاسخ ندهد دریافت صفحهها را متوقف میکنند، پس یک فایل خراب میتواند کل سایت را پنهان کند.
نبودن فایل فرق دارد: وضعیت 404 یا دیگر وضعیتهای 4xx یعنی قانونی وجود ندارد، پس همه چیز مجاز است و AISeeWhy چیزی گزارش نمیکند. مشکل فقط خطاهای سرور، محدودیت نرخ (429) و درخواستهایی است که پیش از برگشتن هر وضعیتی زمانشان تمام میشود یا رد میشوند.
چطور آن را اصلاح کنید
https://your-domain/robots.txtرا از بیرون شبکه خود باز کنید و وضعیت را یادداشت کنید. ممیزی آن را با user agent مرورگر دریافت میکند.- اگر 5xx است، مسیر سرور مبدأ را بررسی کنید: فریمورکهایی مانند Next.js آن را از
public/robots.txtیاapp/robots.tsمیفرستند و WordPress آن را بهصورت پویا میسازد، پس یک خطای PHP آن را خراب میکند. - اگر 429 یا تمام شدن زمان است،
/robots.txtرا در CDN یا WAF خود از محدودیت نرخ و چالشهای ربات مستثنا کنید. - robots.txt را در CDN کش کنید تا وقتی سرور مبدأ کند است هم پاسخ دهد. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.