robots.txt یک صفحه HTML است

پاسخ کوتاه

نشانی /robots.txt یک سند HTML برمی‌گرداند، معمولاً صفحه 404 یا صفحه اصلی با وضعیت 200. خزنده‌ها نمی‌توانند از HTML هیچ قانونی بخوانند. در همان مسیر یک robots.txt متنی ساده قرار دهید، یا اگر قانونی ندارید وضعیت 404 واقعی برگردانید.

robots.invalid · اولویت: P2

یعنی چه

نشانی robots.txt محتوای HTML برمی‌گرداند (اغلب یک صفحه 404 با وضعیت 200)، پس خزنده‌ها هیچ قانونی را نمی‌توانند بخوانند.

چرا برای جستجوی هوش مصنوعی مهم است

خزنده‌ها robots.txt را خط به خط تجزیه می‌کنند و آنچه را نمی‌فهمند نادیده می‌گیرند، پس یک صفحه HTML هیچ قانون و هیچ خط Sitemap به آن‌ها نمی‌دهد. سیاست موردنظر شما، مثل مسدود کردن خزنده‌های آموزشی یا اجازه دادن به خزنده‌های جستجو، اعمال نمی‌شود و نقشه‌های سایتی که آنجا اعلام شده‌اند پیدا نمی‌شوند.

این معمولاً در اپ‌های تک‌صفحه‌ای و مسیرهای همه‌گیر (catch-all) رخ می‌دهد که به هر مسیر ناشناخته با پوسته اپ و وضعیت 200 پاسخ می‌دهند. AISeeWhy بر اساس بدنه پاسخ قضاوت می‌کند، نه هدر Content-Type، چون خزنده‌ها هم همین کار را می‌کنند: فایل متنی که با text/html فرستاده شود باز هم خوانده می‌شود، اما صفحه HTML نه.

چطور آن را اصلاح کنید

  1. /robots.txt را باز کنید و سورس را ببینید: اگر با <!doctype یا <html شروع می‌شود، فایل وجود ندارد و یک مسیر جایگزین پاسخ می‌دهد.
  2. یک فایل واقعی اضافه کنید: public/robots.txt در Next.js، Vite یا Create React App، ریشه وب در nginx یا Apache، یا قالب robots.txt.liquid در Shopify.
  3. در nginx مطمئن شوید که جایگزین try_files ... /index.html پیش از بررسی فایل ایستا، /robots.txt را نمی‌گیرد؛ در صورت نیاز location = /robots.txt اضافه کنید.
  4. مسیر همه‌گیر خود را طوری اصلاح کنید که برای مسیرهای ناشناخته وضعیت 404 بفرستد. گزارش AISeeWhy شواهد و یک راه‌حل آماده برای چسباندن را نشان می‌دهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.

نمونه

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

چطور از رفع مشکل مطمئن شویم

پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست می‌کند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.

بررسی صفحه من ←

راهنماهای مرتبط

همه یافته‌ها و نحوه محاسبه امتیاز