U robots.txt nema Content-Signal
Vaš robots.txt nema redak Content-Signal. Taj neobavezni redak navodi kako se vaš sadržaj smije koristiti: u rezultatima pretraživanja, kao ulaz za AI odgovore ili za treniranje AI-ja. Bez njega se ništa ne kvari. Dodajte ga ako želite pravila o upotrebi zapisati u strojno čitljivom obliku.
Što to znači
Redak Content-Signal navodi kako se vaš sadržaj smije koristiti (pretraživanje, AI odgovori, treniranje). Neobavezan je; dodajte ga ako želite izričito navesti svoje pravilo.
Zašto je to važno za AI pretraživanje
robots.txt govori samo smije li crawler dohvatiti stranicu, a ne što se poslije smije činiti sa sadržajem. Content-Signal, uveden Cloudflareovim pravilima Content Signals Policy, dodaje tri ključa: search, ai-input (upotreba sadržaja za odgovor na pitanje u stvarnom vremenu) i ai-train.
Crawleri ga nisu dužni poštovati, pa AISeeWhy ovo ocjenjuje kao P3. Ipak je to jasan način da odvojite „ovo smijete koristiti u odgovorima“ od „na ovome nemojte trenirati“ kada dopuštate crawler koji može oboje, a ujedno dokumentira vaša pravila za svakoga tko čita datoteku.
Kako to ispraviti
- Odlučite o pravilima za svaki od ključeva
search,ai-inputiai-train. - Dodajte redak
Content-Signalu grupuUser-agent: *u robots.txt, uz njezina pravila Allow i Disallow. - Ako je vaša web-stranica na Cloudflareu, provjerite dodaje li upravljani robots.txt već te signale kako ih ne biste naveli dvaput.
- Pravila Allow i Disallow ostavite kakva jesu: Content-Signal ih ne zamjenjuje. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
Primjer
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Kako potvrditi ispravak
Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.