V robots.txt ni Content-Signal
Vaš robots.txt nima vrstice Content-Signal. Ta neobvezna vrstica navaja, kako se sme vaša vsebina uporabljati: v rezultatih iskanja, kot vhod za odgovore UI ali za učenje UI. Brez nje se nič ne pokvari. Dodajte jo, če želite svojo politiko uporabe zapisati v strojno berljivi obliki.
Kaj pomeni
Vrstica Content-Signal navaja, kako se sme vaša vsebina uporabljati (iskanje, odgovori UI, učenje). Je neobvezna; dodajte jo, če želite politiko izraziti izrecno.
Zakaj je to pomembno za iskanje z UI
robots.txt pove le, ali sme pajek prenesti stran, ne pa, kaj se sme z vsebino zgoditi pozneje. Content-Signal, uveden s Cloudflarovo politiko Content Signals Policy, dodaja tri ključe: search, ai-input (uporaba vsebine za sprotno odgovarjanje na vprašanje) in ai-train.
Pajki ga niso dolžni upoštevati, zato ga AISeeWhy oceni s P3. Kljub temu je jasen način, kako ločiti „to lahko uporabite v odgovorih“ od „na tem ne učite modelov“, ko dovolite pajka, ki bi lahko počel oboje, in vašo politiko dokumentira za vsakogar, ki prebere datoteko.
Kako to popraviti
- Določite svojo politiko za vsakega od ključev
search,ai-inputinai-train. - Vrstico
Content-Signaldodajte v skupinoUser-agent: *v robots.txt, poleg njenih pravil Allow in Disallow. - Če je vaše spletno mesto na Cloudflaru, preverite, ali njegov upravljani robots.txt te signale že dodaja, da jih ne navedete dvakrat.
- Pravila Allow in Disallow pustite, kot so: Content-Signal jih ne nadomešča. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
Primer
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Kako potrditi popravek
Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.