robots.txt یک صفحه HTML است
نشانی /robots.txt یک سند HTML برمیگرداند، معمولاً صفحه 404 یا صفحه اصلی با وضعیت 200. خزندهها نمیتوانند از HTML هیچ قانونی بخوانند. در همان مسیر یک robots.txt متنی ساده قرار دهید، یا اگر قانونی ندارید وضعیت 404 واقعی برگردانید.
یعنی چه
نشانی robots.txt محتوای HTML برمیگرداند (اغلب یک صفحه 404 با وضعیت 200)، پس خزندهها هیچ قانونی را نمیتوانند بخوانند.
چرا برای جستجوی هوش مصنوعی مهم است
خزندهها robots.txt را خط به خط تجزیه میکنند و آنچه را نمیفهمند نادیده میگیرند، پس یک صفحه HTML هیچ قانون و هیچ خط Sitemap به آنها نمیدهد. سیاست موردنظر شما، مثل مسدود کردن خزندههای آموزشی یا اجازه دادن به خزندههای جستجو، اعمال نمیشود و نقشههای سایتی که آنجا اعلام شدهاند پیدا نمیشوند.
این معمولاً در اپهای تکصفحهای و مسیرهای همهگیر (catch-all) رخ میدهد که به هر مسیر ناشناخته با پوسته اپ و وضعیت 200 پاسخ میدهند. AISeeWhy بر اساس بدنه پاسخ قضاوت میکند، نه هدر Content-Type، چون خزندهها هم همین کار را میکنند: فایل متنی که با text/html فرستاده شود باز هم خوانده میشود، اما صفحه HTML نه.
چطور آن را اصلاح کنید
/robots.txtرا باز کنید و سورس را ببینید: اگر با<!doctypeیا<htmlشروع میشود، فایل وجود ندارد و یک مسیر جایگزین پاسخ میدهد.- یک فایل واقعی اضافه کنید:
public/robots.txtدر Next.js، Vite یا Create React App، ریشه وب در nginx یا Apache، یا قالبrobots.txt.liquidدر Shopify. - در nginx مطمئن شوید که جایگزین
try_files ... /index.htmlپیش از بررسی فایل ایستا،/robots.txtرا نمیگیرد؛ در صورت نیازlocation = /robots.txtاضافه کنید. - مسیر همهگیر خود را طوری اصلاح کنید که برای مسیرهای ناشناخته وضعیت 404 بفرستد. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
نمونه
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.