რა არის Content-Signal robots.txt-ში და იცავს თუ არა მას ვინმე?
Content-Signal robots.txt-ის არასავალდებულო სტრიქონია, რომელიც Cloudflare-მა გამოაქვეყნა და რომელიც აცხადებს, როგორ შეიძლება თქვენი კონტენტის გამოყენება მისი მიღების შემდეგ: search ძიების შედეგებისთვის, ai-input AI პასუხებში მისაწოდებლად და ai-train მოდელების სწავლებისთვის, თითოეული მნიშვნელობით yes ან no, როგორც Content-Signal: search=yes, ai-input=yes, ai-train=no-ში. ის სურვილს გამოხატავს და არაფერს ბლოკავს. 2026 წლის ნოემბრის მდგომარეობით OpenAI-ის, Anthropic-ის, Google-ისა და Perplexity-ის კრაულერების გვერდებიდან არცერთი არ ამბობს, რომ მას კითხულობს, ხოლო დიდმა AI კომპანიებმა მის ნაცვლად სხვა, მხოლოდ სწავლებაზე გათვლილი ტოკენი მხარი დაუჭირეს.
robots.txt შეიქმნა იმის სათქმელად, სად შეიძლება კრაულერის შესვლა, და არა იმისა, რისი გაკეთება შეიძლება წაკითხულით. როცა ერთსა და იმავე მოთხოვნას შეეძლო საძიებო ინდექსის, AI-ის რეალურ დროში პასუხისა და სასწავლო ნაკრების შევსება, ამ ხარვეზმა მნიშვნელობა შეიძინა. მის შესავსებად Cloudflare-მა 2025 წლის 24 სექტემბერს Content Signals Policy CC0 ლიცენზიით გამოაქვეყნა და მაშინ განაცხადა, რომ მის კლიენტებს მართვადი robots.txt უკვე 3,8 მილიონზე მეტ დომენზე ჰქონდათ ჩართული; ეს ფუნქცია ახლა მათთვის ამ სტრიქონს ამატებს.
ამ გვერდზე
- რას ნიშნავს search, ai-input და ai-train?
- როგორ დავწერო Content-Signal სტრიქონი robots.txt-ში?
- რას ამბობს პოლიტიკის ტექსტი სტრიქონის ზემოთ?
- უკვე არის თუ არა Content-Signal ჩემს robots.txt-ში?
- იცავენ თუ არა AI კრაულერები Content-Signal-ს?
- უნდა დავამატო Content-Signal ჩემს robots.txt-ში?
- როგორ შევამოწმო, რას ეუბნება ჩემი robots.txt თითოეულ კრაულერს?
რას ნიშნავს search, ai-input და ai-train?
პოლიტიკა სამ სიგნალს განსაზღვრავს. ქვემოთ მოცემული ფორმულირება მიჰყვება contentsignals.org-ს და პოლიტიკის ტექსტს, რომელსაც Cloudflare აქვეყნებს:
search: საძიებო ინდექსის შექმნა და ძიების შედეგების მიწოდება, მაგალითად ჰიპერბმულებისა და თქვენი გვერდებიდან მოკლე ამონარიდების დაბრუნება. განმარტების მიხედვით, search არ მოიცავს AI-ით გენერირებულ საძიებო შეჯამებებს.ai-input: კონტენტის მიწოდება ერთი ან მეტი AI მოდელისთვის, მაგალითად retrieval augmented generation, grounding ან კონტენტის სხვაგვარი რეალურ დროში გამოყენება გენერაციული AI-ის საძიებო პასუხებისთვის.ai-train: AI მოდელების სწავლება ან fine-tuning.
თითოეული სიგნალი იღებს yes-ს ან no-ს. პოლიტიკის ტერმინებით yes ნიშნავს, რომ კონტენტის შეგროვება ამ მიზნით შეიძლება, no — რომ არ შეიძლება, ხოლო სიგნალი, რომელსაც გამოტოვებთ, ამ გამოყენებას არც უშვებს და არც ზღუდავს. Cloudflare-ის ნაგულისხმევი პარამეტრი აყენებს search-სა და ai-train-ს და ai-input-ს დაუყენებელს ტოვებს, რადგან, მისი თქმით, არ იცის თითოეული კლიენტის სურვილი ამ სიგნალზე და გამოცნობა არ სურს.
search-სა და ai-input-ს შორის განსხვავება ყველაზე ხშირად შეუმჩნეველი რჩება. თუ გსურთ, რომ თქვენი გვერდები AI პასუხებში გამოიყენებოდეს, მხოლოდ search=yes ამას არ ამბობს. ამას ამბობს ai-input=yes.
როგორ დავწერო Content-Signal სტრიქონი robots.txt-ში?
Content-Signal user agent-ის ჯგუფში იწერება, Allow-სა და Disallow-ის გვერდით, სიგნალები კი მძიმეებით გამოიყოფა. contentsignals.org ასევე აჩვენებს ფორმას, რომელიც გზით იწყება, ასე რომ, საიტის ერთ ნაწილს შეიძლება დანარჩენისგან განსხვავებული სიგნალები ჰქონდეს:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow და Disallow ზუსტად ისე მუშაობს, როგორც ადრე, და Content-Signal მათ არ ცვლის. RFC 9309 კრაულერებს უფლებას აძლევს, განმარტონ ჩანაწერები, რომლებიც პროტოკოლის ნაწილი არ არის, თუ ეს განსაზღვრულ წესებს არ ერევა, ამიტომ პარსერმა, რომელმაც ეს სტრიქონი არ იცის, ის უნდა გამოტოვოს.
ორი დეტალის ცოდნა ღირს. პირველი, სტრიქონი ჯგუფს ეკუთვნის. RFC 9309-ის მიხედვით კრაულერი, რომელსაც საკუთარი სახელის მქონე ჯგუფი აქვს, User-agent: * ჯგუფს სრულად უგულებელყოფს, ხოლო Content Signals-ის გვერდები ამ სტრიქონისთვის გამონაკლისს არ აღწერს. თუ Googlebot-ს ან OAI-SearchBot-ს საკუთარ ჯგუფს აძლევთ, Content-Signal სტრიქონი იქაც გაიმეორეთ, როგორც ამას contentsignals.org აკეთებს თავის მაგალითში ცალკეული კრაულერებისთვის. მეორე, Google Search Console-მა ამ სტრიქონზე შეიძლება Syntax not understood აჩვენოს. Cloudflare-ის დოკუმენტაცია ამას ახსენებს და ამბობს, რომ გავლენა შეგროვებასა ან SEO-ზე არ დაუფიქსირებია. Google-ის robots.txt-ის დოკუმენტაცია მხარდაჭერილ ველებად მხოლოდ user-agent-ს, allow-ს, disallow-სა და sitemap-ს ჩამოთვლის.
რას ამბობს პოლიტიკის ტექსტი სტრიქონის ზემოთ?
Content Signals Policy ერთ სტრიქონზე მეტია. Cloudflare-ის გენერატორი contentsignals.org-ზე და მისი მართვადი robots.txt სიგნალების ზემოთ კომენტარების ბლოკს სვამს. ის იწყება იმით, რომ ვებსაიტზე წვდომის პირობად თქვენ თანხმდებით, დაიცვათ კონტენტის სიგნალები, შემდეგ კი განსაზღვრავს სამ სიგნალს და შემთხვევებს yes, no და გამოტოვებული.
ის მთავრდება დიდი ასოებით დაწერილი წინადადებით, რომლის მიხედვითაც კონტენტის სიგნალებით გამოხატული ნებისმიერი შეზღუდვა უფლებების აშკარა დათქმაა ციფრულ ერთიან ბაზარზე საავტორო უფლების შესახებ ევროკავშირის დირექტივის 2019/790 მე-4 მუხლის მიხედვით. Cloudflare-ის განცხადება დასძენს, რომ სიგნალებს შეიძლება სხვადასხვა იურისდიქციაში იურიდიული წონა ჰქონდეს.
თავად contentsignals.org აფრთხილებს, რომ სასამართლოებმა და მარეგულირებლებმა შეიძლება დაასკვნან, რომ robots.txt ფაილები აღსრულებად სამართლებრივ ვალდებულებებს არ აწესებს, და იურისტთან კონსულტაციას გირჩევთ. კომენტარების ბლოკი განიხილეთ როგორც თქვენი პოზიციის წერილობითი განცხადება და არა როგორც ხელშეკრულება.
უკვე არის თუ არა Content-Signal ჩემს robots.txt-ში?
თუ თქვენი საიტი Cloudflare-ზეა, შეიძლება იყოს, ორიდან ერთი გზით:
- მართვადი robots.txt. როცა Bot Preference Sync ჩართულია და AI Crawler and Agent access-ის ერთი პოლიტიკა მაინც დაყენებულია Block-ზე, Block on pages with ads-ზე ან, Training-ისთვის, Disallow-ზე, Cloudflare თქვენი სერვერის მიერ გაგზავნილ robots.txt-ს თავში მართვად ბლოკს უმატებს. ის შეიცავს პოლიტიკის ტექსტს,
Content-signal: search=yes, ai-train=no, use=reference-სUser-Agent: *-ის ქვეშ დაDisallow: /-სAmazonbot-ისთვის,Applebot-Extended-ისთვის,Bytespider-ისთვის,CCBot-ისთვის,ClaudeBot-ისთვის,Google-Extended-ისთვის,GPTBot-ისთვის დაmeta-externalagent-ისთვის. - robots.txt საერთოდ არ არის. Cloudflare-ის თქმით, Free გეგმის დომენები, რომლებსაც საკუთარი robots.txt არ აქვს და მართვად ფუნქციას არ იყენებს, Content Signals Policy-ს აჩვენებს, როცა კრაულერი
/robots.txt-ს ითხოვს. ეს ვერსია განმარტებებს შეიცავს, მაგრამ სურვილს არ აცხადებს.
ნაწილი use=reference ახალია. Cloudflare use-ს აღწერს როგორც არასავალდებულო მეოთხე ველს, რომელსაც ტესტავს, სამი მნიშვნელობით: immediate (ურთიერთქმედება, მაგრამ არაფრის შენახვა და ხელახლა გამოყენება), reference (ინდექსირება, ამონარიდი და ბმული წყაროზე) და full (შეჯამება და რეპროდუცირება). ის სამ საწყის სიგნალს არ მიეკუთვნება და კრაულერების დოკუმენტაციიდან, რომელიც შევამოწმეთ, არცერთი მას არ ახსენებს.
რადგან Cloudflare ამ სტრიქონებს edge-ზე ამატებს, ფაილი თქვენს რეპოზიტორიაში შეიძლება უცვლელი ჩანდეს, მაშინ როცა კრაულერები სხვა ფაილს იღებენ. საკუთარი სტრიქონის დამატებამდე მიიღეთ მოქმედი https://yourdomain.com/robots.txt, რომ პასუხში ორი განსხვავებული პოლიტიკა არ აღმოჩნდეს.
დიდ საიტებს შორის გავრცელება ჯერ კიდევ დაბალია. 1000 ყველაზე პოპულარული დომენის ჩვენს 2026 წლის ნოემბრის კვლევაში 518 საიტიდან, რომლებიც robots.txt-ს აბრუნებდა, 18 (3,5%) იყენებდა Content-Signal-ს.
იცავენ თუ არა AI კრაულერები Content-Signal-ს?
არცერთი დოკუმენტაციის მიხედვით, რომელიც ვიპოვეთ. 2026 წლის 17 ნოემბერს შევამოწმეთ OpenAI-ის, Anthropic-ის, Google-ისა და Perplexity-ის კრაულერების გვერდები და არცერთი არ ახსენებს Content-Signal-ს. თავად Cloudflare სიგნალებს სურვილებად აღწერს და არა სკრეიპინგის წინააღმდეგ ტექნიკურ ზომებად, და ამბობს, რომ ზოგიერთმა კომპანიამ შეიძლება ისინი უბრალოდ უგულებელყოს.
სამაგიეროდ, AI კომპანიებმა დოკუმენტირება გაუკეთეს ცალკე მექანიზმს, რომელიც IETF-ის AI Preferences სამუშაო ჯგუფის ნაშრომს ეფუძნება: პოლიტიკის ტოკენს __usage_ai-training, რომელიც ჩვეულებრივ User-Agent ჯგუფად იწერება. ის მხოლოდ სწავლებას მოიცავს, ხოლო Internet-Draft, რომელიც მას განსაზღვრავს, ამბობს, რომ User-Agent: * ჯგუფი ტოკენის გამოყენებად არ ითვლება:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ მხარდაჭერა არათანაბარია და ნაწილობრივ ჯერ კიდევ წინაა. Anthropic ამბობს, რომ 2026 წლის 30 ოქტომბრიდან ცნობს სწავლების ზოგად, მანქანურად წაკითხვად სიგნალს, მას ეტაპობრივად ნერგავს და რომ წესი, რომელიც ClaudeBot-ს ასახელებს, მასზე პრიორიტეტულია. Microsoft აღწერს __usage_ai-training ტოკენს Bing-ისთვის, მისი ახალი პარამეტრები კი ძალაში შედის 2027 წლის 1 თებერვლიდან, გვერდების შეგროვების კვალდაკვალ. Google ამბობს, რომ საერთო მართვის მხარდაჭერას 2027 წელს გეგმავს და მისი მეშვეობით სწავლებაზე უარს Google-Extended-ის აკრძალვად განიხილავს, როცა ეს ტოკენი დასახელებული არ არის. OpenAI-მ იმავე დღეს გამოაქვეყნა განცხადება, რომ საერთო სიგნალს დაიცავს, თარიღის გარეშე.
ასე რომ, ai-train=no და __usage_ai-training მსგავს რამეს ამბობენ, მაგრამ AI კომპანიების დოკუმენტირებული მხარდაჭერა მხოლოდ მეორეს აქვს. ცალკეული კრაულერების ტოკენები, როგორიცაა GPTBot და ClaudeBot, კვლავ ის მართვის საშუალებებია, რომლებსაც თითოეული მომწოდებელი დღეს იყენებს.
უნდა დავამატო Content-Signal ჩემს robots.txt-ში?
დაამატეთ, თუ გსურთ, რომ თქვენი გამოყენების პოლიტიკა ერთ ადგილას იყოს ჩაწერილი, მანქანებისთვისაც და ადამიანებისთვისაც წაკითხვადად. ის ასევე ერთ სტრიქონში აცხადებს ai-input-ის სურვილს ყველა კრაულერისთვის, რისი გამოხატვაც მომწოდებლების ტოკენებით მხოლოდ კრაულერ-კრაულერ შეიძლება. ის ერთი სტრიქონი ღირს, ხოლო პარსერები, რომლებმაც ის არ იციან, გამოტოვებენ.
მხოლოდ მას ნუ დაეყრდნობით. კონტენტის სწავლებისგან დასაცავად სწავლების დოკუმენტირებული ტოკენებიც აკრძალეთ და საერთო სასწავლო ტოკენიც განიხილეთ; ჩვენი სახელმძღვანელო, როგორ დავბლოკოთ AI სწავლება და დავრჩეთ AI ძიებაში, ტოკენებს მომწოდებლების მიხედვით ჩამოთვლის. ყველაფრისთვის, რაც robots.txt-ს უგულებელყოფს, ბლოკს მხოლოდ ფაირვოლის წესი აღასრულებს.
ბოლოს, შეამოწმეთ, რომ სტრიქონი ფაილის დანარჩენ ნაწილს ეთანხმება. ai-input=no Allow ჯგუფის გვერდით OAI-SearchBot-ისთვის ან PerplexityBot-ისთვის ურთიერთსაწინააღმდეგო სიგნალებს აგზავნის: AI საძიებო კრაულერებს უშვებთ და ამავდროულად ამბობთ, რომ მათ პასუხებს არ შეუძლიათ მიღებულის გამოყენება.
როგორ შევამოწმო, რას ეუბნება ჩემი robots.txt თითოეულ კრაულერს?
AISeeWhy-ის უფასო robots.txt-ის ტესტერი იღებს გვერდის მისამართს ან ჩასმულ robots.txt-ს და თითოეული AI და საძიებო კრაულერისთვის აჩვენებს, შეიძლება თუ არა ამ გვერდის მიღება, ასე რომ, შეგიძლიათ დარწმუნდეთ, რომ მოქმედი ფაილი, მათ შორის ყველაფერი, რაც Cloudflare-მა თავში დაამატა, იმას ამბობს, რაც იგულისხმეთ. robots.txt-ის უფასო გენერატორი ფაილს თქვენი არჩევანის მიხედვით წერს.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
არის თუ არა Content-Signal robots.txt-ის სტანდარტის ნაწილი?
არა. RFC 9309 განსაზღვრავს User-agent-ს, Allow-სა და Disallow-ს და კრაულერებს სხვა ჩანაწერების განმარტების უფლებას აძლევს. Content-Signal მოდის Cloudflare-ის Content Signals Policy-დან, რომელიც CC0 ლიცენზიით გამოქვეყნდა. ცალკე, IETF-ის AI Preferences სამუშაო ჯგუფი robots.txt-ისთვის საკუთარ Content-Usage წესს ამზადებს, რომელიც ჯერ კიდევ Internet-Draft-ია და არა სტანდარტი.
აჩერებს თუ არა ai-train=no GPTBot-ს ან ClaudeBot-ს?
არა, რამდენადაც მომწოდებლების დოკუმენტაციიდან ჩანს. OpenAI და Anthropic აღწერენ მართვას robots.txt-ის წესებით, რომლებიც GPTBot-სა და ClaudeBot-ს ასახელებს, და არცერთი კრაულერის გვერდი არ ახსენებს Content-Signal-ს. რომელიმე მათგანისთვის სწავლებაზე უარის სათქმელად ტოკენი სახელით აკრძალეთ.
რა განსხვავებაა Content-Signal-სა და __usage_ai-training-ს შორის?
Content-Signal ჯგუფის შიგნით არსებული სტრიქონია და მოიცავს ძიებას, AI-ში მიწოდებასა და სწავლებას. __usage_ai-training პოლიტიკის ტოკენია, რომელიც საკუთარ User-Agent ჯგუფად გამოიყენება და მხოლოდ სწავლებას მოიცავს. Anthropic-მა, Microsoft-მა, Google-მა და OpenAI-მ გამოაქვეყნეს განცხადებები საერთო სასწავლო სიგნალის შესახებ; არცერთი მათგანი Content-Signal-ს არ აღწერს.
რატომ წერს Google Search Console „Syntax not understood“?
Google-ის robots.txt-ის დოკუმენტაცია მხარს მხოლოდ user-agent-ს, allow-ს, disallow-სა და sitemap-ს უჭერს, ამიტომ სხვა სტრიქონები შეიძლება მოინიშნოს. Cloudflare ამბობს, რომ ამ შეტყობინებებისგან გავლენა შეგროვების სიხშირეზე ან SEO-ზე არ დაუფიქსირებია.
რას ნიშნავს use=reference?
ეს მეოთხე ველია, რომელსაც Cloudflare ტესტავს. reference ნიშნავს ინდექსირებას, ამონარიდს და ბმულს წყაროზე. Cloudflare მას მართვად robots.txt ფაილებს უმატებს, ხოლო კრაულერების დოკუმენტაციიდან, რომელიც შევამოწმეთ, არცერთი მას არ ახსენებს.
წყაროები
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI კრაულერების წვდომის ანგარიში, 2026-11