Нема Content-Signal у robots.txt
Ваш robots.txt нема ред Content-Signal. Овај необавезни ред наводи како ваш садржај сме да се користи: у резултатима претраге, као улаз за AI одговоре или за обуку AI модела. Без њега се ништа не квари. Додајте га ако желите да ваша политика коришћења буде записана у машински читљивом облику.
Шта то значи
Ред Content-Signal наводи како се ваш садржај сме користити (претрага, AI одговори, обука). Није обавезан; додајте га ако желите да политика буде изричита.
Зашто је ово важно за AI претрагу
robots.txt каже само да ли краулер сме да преузме страницу, а не шта сме да се ради са садржајем после тога. Content-Signal, уведен у Cloudflare политици Content Signals Policy, додаје три кључа: search, ai-input (коришћење садржаја за одговор на питање у реалном времену) и ai-train.
Краулери нису обавезни да га поштују, па га AISeeWhy оцењује као P3. Ипак, то је јасан начин да одвојите „ово смете да користите у одговорима“ од „на овоме немојте да обучавате“ када дозвољавате краулер који би могао да ради обоје, а уједно документује вашу политику за свакога ко чита фајл.
Како да исправите
- Одлучите о политици за сваки од кључева
search,ai-inputиai-train. - Додајте ред
Content-Signalу групуUser-agent: *у robots.txt, поред њених правила Allow и Disallow. - Ако је ваш сајт на Cloudflare-у, проверите да ли његов управљани robots.txt већ додаје ове сигнале, да их не бисте навели двапут.
- Задржите правила Allow и Disallow каква јесу: Content-Signal их не замењује. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
Пример
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Како потврдити исправку
После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.