Hakuna Content-Signal kwenye robots.txt

Jibu fupi

robots.txt yako haina mstari wa Content-Signal. Mstari huu wa hiari unaeleza jinsi maudhui yako yanavyoweza kutumika: kwenye matokeo ya utafutaji, kama pembejeo ya majibu ya AI, au kwa mafunzo ya AI. Hakuna kinachoharibika bila hiyo. Ongeza mmoja kama unataka sera yako ya matumizi iandikwe kwa muundo unaosomeka na mashine.

robots.no_content_signal · Kipaumbele: P3

Maana yake

Mstari wa Content-Signal unaeleza jinsi maudhui yako yanavyoweza kutumika (utafutaji, majibu ya AI, mafunzo). Si lazima; uongeze kama unataka sera iwe wazi.

Kwa nini ni muhimu kwa utafutaji wa AI

robots.txt inasema tu kama crawler inaweza kupakua ukurasa, si kinachoweza kufanywa na maudhui baadaye. Content-Signal, iliyoanzishwa kwenye Content Signals Policy ya Cloudflare, inaongeza funguo tatu: search, ai-input (kutumia maudhui kujibu swali kwa wakati halisi) na ai-train.

Crawler hazilazimiki kuiheshimu, kwa hivyo AISeeWhy inaikadiria P3. Hata hivyo ni njia wazi ya kutenganisha "unaweza kutumia hii kwenye majibu" na "usifanye mafunzo kwa hii" unaporuhusu crawler inayoweza kufanya yote mawili, na inaandika sera yako kwa yeyote anayesoma faili.

Jinsi ya kurekebisha

  1. Amua sera yako kwa kila moja ya search, ai-input na ai-train.
  2. Ongeza mstari wa Content-Signal ndani ya kundi la User-agent: * la robots.txt, karibu na sheria zake za Allow na Disallow.
  3. Kama tovuti yako iko kwenye Cloudflare, kagua kama managed robots.txt yake tayari inaongeza ishara hizi, ili usizitaje mara mbili.
  4. Acha sheria zako za Allow na Disallow kama zilivyo: Content-Signal haichukui nafasi yake. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.

Mfano

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Jinsi ya kuthibitisha rekebisho

Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.

Kagua ukurasa wangu →

Miongozo inayohusiana

Dosari zote na jinsi alama inavyofanya kazi