V robots.txt nie je Content-Signal
Váš robots.txt nemá riadok Content-Signal. Tento nepovinný riadok uvádza, ako sa váš obsah smie používať: vo výsledkoch vyhľadávania, ako vstup pre AI odpovede alebo na trénovanie AI. Bez neho sa nič nepokazí. Pridajte ho, ak chcete mať svoje pravidlá používania zapísané v strojovo čitateľnej podobe.
Čo to znamená
Riadok Content-Signal uvádza, ako sa smie váš obsah používať (vyhľadávanie, AI odpovede, trénovanie). Je nepovinný; pridajte ho, ak chcete politiku vyjadriť výslovne.
Prečo je to dôležité pre AI vyhľadávanie
robots.txt hovorí len o tom, či crawler smie stránku stiahnuť, nie čo sa s obsahom smie robiť potom. Content-Signal, zavedený v Content Signals Policy od Cloudflare, pridáva tri kľúče: search, ai-input (použitie obsahu na odpoveď na otázku v reálnom čase) a ai-train.
Crawlery ho nemusia rešpektovať, preto ho AISeeWhy hodnotí ako P3. Stále je to jasný spôsob, ako oddeliť „toto smiete použiť v odpovediach“ od „na tomto netrénujte“, keď povolíte crawlera, ktorý by mohol robiť oboje, a dokumentuje vašu politiku pre každého, kto súbor číta.
Ako to opraviť
- Rozhodnite sa o svojej politike pre každý z kľúčov
search,ai-inputaai-train. - Pridajte riadok
Content-Signaldo skupinyUser-agent: *v robots.txt, vedľa jej pravidiel Allow a Disallow. - Ak je váš web na Cloudflare, skontrolujte, či jeho spravovaný robots.txt už tieto signály nepridáva, aby ste ich neuvádzali dvakrát.
- Pravidlá Allow a Disallow nechajte tak, ako sú: Content-Signal ich nenahrádza. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
Príklad
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.