robots.txt دسترسی OAI-SearchBot را ممنوع میکند
robots.txt شما یک قانون Disallow دارد که برای توکن این خزنده با این صفحه مطابقت دارد. ممیزی RFC 9309 را اعمال میکند: گروه خود خزنده اگر داشته باشد، وگرنه گروه *، و طولانیترین قانون منطبق برنده است. اگر میخواهید خزنده وارد شود، برای آن Allow اضافه کنید یا قانون را حذف کنید.
یعنی چه
قوانین robots.txt شما جلوی دریافت / توسط OAI-SearchBot را میگیرند.
چرا برای جستجوی هوش مصنوعی مهم است
خزندههای خوشرفتار هوش مصنوعی از robots.txt پیروی میکنند. اگر OAI-SearchBot، Claude-SearchBot یا PerplexityBot ممنوع باشند، صفحه برای ایندکسهای جستجوی آنها دریافت نمیشود و نمیتواند در پاسخهایشان نقل شود. ممنوع کردن توکنهای آموزشی مانند GPTBot، ClaudeBot، Google-Extended یا Applebot-Extended فقط استفاده برای آموزش مدل را متوقف میکند.
بسیاری از سایتها خزندههای هوش مصنوعی را ناخواسته مسدود میکنند: قالبی که همه چیز جز Googlebot را ممنوع میکند، یا گروه User-agent: * با Disallow: / که از محیط staging جا مانده است. توجه کنید که Applebot وقتی گروه مخصوص خود را ندارد از گروه Googlebot استفاده میکند.
چطور آن را اصلاح کنید
- قانون را در یافته پیدا کنید: توکن خزنده و مسیر را نام میبرد. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
- توکن خزنده را از هر گروهی که صفحه را ممنوع میکند حذف کنید، سپس یک گروه مخصوص آن با
Allow: /اضافه کنید. یک گروه مشخص برای آن خزنده جای گروه*را میگیرد، پس قوانین زیر*دیگر روی آن اعمال نمیشوند. - در WordPress بررسی کنید که robots.txt یک فایل واقعی در ریشه وب است یا توسط افزونه SEO مانند Yoast یا Rank Math ساخته میشود، و همانجا ویرایشش کنید. در Shopify، قالب
robots.txt.liquidپوسته را ویرایش کنید. - در Cloudflare بررسی کنید که آیا تنظیم robots.txt مدیریتشده قوانین خزندههای هوش مصنوعی را به فایل خود شما اضافه میکند یا نه.
- اگر سیاست شما چنین است، توکنهای آموزشی را ممنوع نگه دارید؛ این کار روی خزندههای جستجو که توکنهای جداگانه دارند اثری ندارد.
نمونه
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.