robots.txt دسترسی OAI-SearchBot را ممنوع می‌کند

پاسخ کوتاه

robots.txt شما یک قانون Disallow دارد که برای توکن این خزنده با این صفحه مطابقت دارد. ممیزی RFC 9309 را اعمال می‌کند: گروه خود خزنده اگر داشته باشد، وگرنه گروه *، و طولانی‌ترین قانون منطبق برنده است. اگر می‌خواهید خزنده وارد شود، برای آن Allow اضافه کنید یا قانون را حذف کنید.

robots.disallowed · اولویت: P1 تا P3، بسته به نوع خزنده

یعنی چه

قوانین robots.txt شما جلوی دریافت / توسط OAI-SearchBot را می‌گیرند.

چرا برای جستجوی هوش مصنوعی مهم است

خزنده‌های خوش‌رفتار هوش مصنوعی از robots.txt پیروی می‌کنند. اگر OAI-SearchBot، Claude-SearchBot یا PerplexityBot ممنوع باشند، صفحه برای ایندکس‌های جستجوی آن‌ها دریافت نمی‌شود و نمی‌تواند در پاسخ‌هایشان نقل شود. ممنوع کردن توکن‌های آموزشی مانند GPTBot، ClaudeBot، Google-Extended یا Applebot-Extended فقط استفاده برای آموزش مدل را متوقف می‌کند.

بسیاری از سایت‌ها خزنده‌های هوش مصنوعی را ناخواسته مسدود می‌کنند: قالبی که همه چیز جز Googlebot را ممنوع می‌کند، یا گروه User-agent: * با Disallow: / که از محیط staging جا مانده است. توجه کنید که Applebot وقتی گروه مخصوص خود را ندارد از گروه Googlebot استفاده می‌کند.

چطور آن را اصلاح کنید

  1. قانون را در یافته پیدا کنید: توکن خزنده و مسیر را نام می‌برد. گزارش AISeeWhy شواهد و یک راه‌حل آماده برای چسباندن را نشان می‌دهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
  2. توکن خزنده را از هر گروهی که صفحه را ممنوع می‌کند حذف کنید، سپس یک گروه مخصوص آن با Allow: / اضافه کنید. یک گروه مشخص برای آن خزنده جای گروه * را می‌گیرد، پس قوانین زیر * دیگر روی آن اعمال نمی‌شوند.
  3. در WordPress بررسی کنید که robots.txt یک فایل واقعی در ریشه وب است یا توسط افزونه SEO مانند Yoast یا Rank Math ساخته می‌شود، و همان‌جا ویرایشش کنید. در Shopify، قالب robots.txt.liquid پوسته را ویرایش کنید.
  4. در Cloudflare بررسی کنید که آیا تنظیم robots.txt مدیریت‌شده قوانین خزنده‌های هوش مصنوعی را به فایل خود شما اضافه می‌کند یا نه.
  5. اگر سیاست شما چنین است، توکن‌های آموزشی را ممنوع نگه دارید؛ این کار روی خزنده‌های جستجو که توکن‌های جداگانه دارند اثری ندارد.

نمونه

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

چطور از رفع مشکل مطمئن شویم

پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست می‌کند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.

بررسی صفحه من ←

راهنماهای مرتبط

همه یافته‌ها و نحوه محاسبه امتیاز