robots.txt-ში Content-Signal არ არის
თქვენს robots.txt-ს არ აქვს Content-Signal ხაზი. ეს არასავალდებულო ხაზი განსაზღვრავს, როგორ შეიძლება თქვენი კონტენტის გამოყენება: ძიების შედეგებში, AI პასუხების წყაროდ თუ AI-ის სწავლებისთვის. მის გარეშე არაფერი ფუჭდება. დაამატეთ, თუ გსურთ, რომ თქვენი გამოყენების პოლიტიკა მანქანურად წაკითხვადი ფორმით იყოს ჩაწერილი.
რას ნიშნავს
Content-Signal ხაზი განსაზღვრავს, როგორ შეიძლება თქვენი კონტენტის გამოყენება (ძიება, AI პასუხები, სწავლება). ის არასავალდებულოა; დაამატეთ, თუ გსურთ პოლიტიკა ცხადად გამოხატოთ.
რატომ არის ეს მნიშვნელოვანი AI ძიებისთვის
robots.txt მხოლოდ იმას ამბობს, შეუძლია თუ არა კრაულერს გვერდის მიღება, და არა იმას, რისი გაკეთება შეიძლება კონტენტთან შემდეგ. Content-Signal, რომელიც Cloudflare-ის Content Signals Policy-ში შემოვიდა, სამ გასაღებს ამატებს: search, ai-input (კონტენტის გამოყენება კითხვაზე რეალურ დროში პასუხის გასაცემად) და ai-train.
კრაულერები ვალდებული არ არიან მას დაემორჩილონ, ამიტომ AISeeWhy ამას P3-ად აფასებს. მიუხედავად ამისა, ეს ნათელი გზაა, რომ „შეგიძლიათ ეს პასუხებში გამოიყენოთ“ გამიჯნოთ „ამაზე ნუ ისწავლით“-ისგან, როცა უშვებთ კრაულერს, რომელსაც ორივე შეუძლია, და ის თქვენს პოლიტიკას ასახავს ყველასთვის, ვინც ფაილს წაიკითხავს.
როგორ გამოვასწოროთ
- განსაზღვრეთ თქვენი პოლიტიკა თითოეულისთვის:
search,ai-inputდაai-train. - დაამატეთ
Content-Signalხაზი robots.txt-ისUser-agent: *ჯგუფში, მისი Allow და Disallow წესების გვერდით. - თუ თქვენი საიტი Cloudflare-ზეა, შეამოწმეთ, ამატებს თუ არა მისი managed robots.txt უკვე ამ სიგნალებს, რომ ისინი ორჯერ არ მიუთითოთ.
- დატოვეთ Allow და Disallow წესები ისე, როგორც არის: Content-Signal მათ არ ცვლის. AISeeWhy-ის რეპორტი აჩვენებს მტკიცებულებას და ჩასასმელად მზა გამოსწორებას; შემდეგ დააჭირეთ „ხელახლა შემოწმება“-ს, რომ შედეგი დაადასტუროთ.
მაგალითი
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / როგორ დავრწმუნდეთ, რომ გამოსწორდა
ცვლილების შემდეგ დააჭირეთ რეპორტში „ხელახლა შემოწმებას“: ის ჩამოთვლის, რა გამოსწორდა და როგორ შეიცვალა ქულა.