Няма Content-Signal в robots.txt
Във вашия robots.txt няма ред Content-Signal. Този незадължителен ред казва как може да се използва съдържанието ви: в резултати от търсене, като вход за AI отговори или за обучение на AI. Без него нищо не се поврежда. Добавете го, ако искате политиката ви за използване да е записана в машинночетим вид.
Какво означава
Редът Content-Signal посочва как може да се използва съдържанието ви (търсене, AI отговори, обучение). Той не е задължителен; добавете го, ако искате политиката ви да е изрична.
Защо това е важно за AI търсенето
robots.txt казва само дали бот може да изтегли страница, а не какво може да се прави със съдържанието след това. Content-Signal, въведен в Content Signals Policy на Cloudflare, добавя три ключа: search, ai-input (използване на съдържанието за отговор на въпрос в реално време) и ai-train.
Ботовете не са длъжни да го спазват, затова AISeeWhy го оценява като P3. Все пак това е ясен начин да разделите „можете да използвате това в отговори“ от „не обучавайте модели с това“, когато допускате бот, който може да прави и двете, и документира политиката ви за всеки, който чете файла.
Как да го поправите
- Решете каква е политиката ви за всеки от ключовете
search,ai-inputиai-train. - Добавете ред
Content-Signalв групатаUser-agent: *на robots.txt, до нейните правила Allow и Disallow. - Ако сайтът ви е в Cloudflare, проверете дали управляваният robots.txt вече не добавя тези сигнали, за да не ги посочите два пъти.
- Оставете правилата Allow и Disallow такива, каквито са: Content-Signal не ги замества. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
Пример
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Как да потвърдите корекцията
След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.