robots.txt da Content-Signal yoʻq
robots.txt faylingizda Content-Signal qatori yoʻq. Bu ixtiyoriy qator kontentingizdan qanday foydalanish mumkinligini bildiradi: qidiruv natijalarida, AI javoblari uchun manba sifatida yoki AI oʻqitish uchun. Usiz hech narsa buzilmaydi. Foydalanish siyosatingiz mashina oʻqiy oladigan shaklda yozilishini istasangiz, uni qoʻshing.
Bu nimani anglatadi
Content-Signal qatori kontentingizdan qanday foydalanish mumkinligini bildiradi (qidiruv, AI javoblari, oʻqitish). U ixtiyoriy; siyosatni aniq koʻrsatmoqchi boʻlsangiz, qoʻshing.
Bu AI qidiruvi uchun nega muhim
robots.txt faqat krauler sahifani yuklashi mumkinligini aytadi, keyin kontent bilan nima qilish mumkinligini emas. Cloudflareʼning Content Signals Policy hujjatida taqdim etilgan Content-Signal uchta kalit qoʻshadi: search, ai-input (savolga real vaqtda javob berish uchun kontentdan foydalanish) va ai-train.
Kraulerlar unga amal qilishga majbur emas, shuning uchun AISeeWhy buni P3 deb baholaydi. Shunga qaramay, ikkalasini ham qila oladigan kraulerga ruxsat berganingizda “buni javoblarda ishlatish mumkin”ni “bu bilan oʻqitmang”dan ajratishning aniq usuli boʻlib qoladi va faylni oʻqiydigan har kim uchun siyosatingizni hujjatlashtiradi.
Qanday tuzatish kerak
search,ai-inputvaai-trainning har biri uchun siyosatingizni belgilang.- robots.txt dagi
User-agent: *guruhi ichiga, uning Allow va Disallow qoidalari yonigaContent-Signalqatorini qoʻshing. - Saytingiz Cloudflareʼda boʻlsa, uning managed robots.txt fayli bu signallarni allaqachon qoʻshmayotganini tekshiring, toki ularni ikki marta yozmang.
- Allow va Disallow qoidalaringizni oʻzgarishsiz qoldiring: Content-Signal ularning oʻrnini bosmaydi. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.
Namuna
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Tuzatishni qanday tasdiqlash mumkin
Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.