robots.txt خط Content-Signal ندارد
robots.txt شما خط Content-Signal ندارد. این خط اختیاری اعلام میکند محتوای شما چطور میتواند استفاده شود: در نتایج جستجو، بهعنوان ورودی پاسخهای هوش مصنوعی یا برای آموزش هوش مصنوعی. بدون آن چیزی خراب نمیشود. اگر میخواهید سیاست استفاده شما به شکلی ماشینخوان نوشته شود، آن را اضافه کنید.
یعنی چه
خط Content-Signal اعلام میکند محتوای شما چطور میتواند استفاده شود (جستجو، پاسخهای هوش مصنوعی، آموزش). اختیاری است؛ اگر میخواهید سیاست خود را صریح کنید، آن را اضافه کنید.
چرا برای جستجوی هوش مصنوعی مهم است
robots.txt فقط میگوید آیا یک خزنده میتواند صفحهای را دریافت کند یا نه، نه اینکه بعد از آن با محتوا چه میتوان کرد. Content-Signal که در Content Signals Policy از Cloudflare معرفی شد، سه کلید اضافه میکند: search، ai-input (استفاده از محتوا برای پاسخ دادن به یک پرسش در لحظه) و ai-train.
خزندهها ملزم به رعایت آن نیستند، برای همین AISeeWhy این را P3 ارزیابی میکند. با این حال وقتی به خزندهای اجازه میدهید که میتواند هر دو کار را بکند، راهی روشن برای جدا کردن «میتوانید از این در پاسخها استفاده کنید» از «روی این آموزش ندهید» است و سیاست شما را برای هر کسی که فایل را میخواند مستند میکند.
چطور آن را اصلاح کنید
- سیاست خود را برای هر یک از
search،ai-inputوai-trainتعیین کنید. - یک خط
Content-Signalداخل گروهUser-agent: *در robots.txt، کنار قوانین Allow و Disallow آن، اضافه کنید. - اگر سایت شما روی Cloudflare است، بررسی کنید که robots.txt مدیریتشده آن این سیگنالها را از قبل اضافه نکرده باشد تا آنها را دو بار اعلام نکنید.
- قوانین Allow و Disallow را همانطور که هستند نگه دارید: Content-Signal جای آنها را نمیگیرد. گزارش AISeeWhy شواهد و یک راهحل آماده برای چسباندن را نشان میدهد؛ پس از آن «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
نمونه
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.