როგორ დავბლოკოთ AI სწავლება და დავრჩეთ AI ძიების პასუხებში

გამოქვეყნდა

მოკლე პასუხი

AI მომწოდებლების უმეტესობა მოდელის სწავლებისა და ძიებისთვის robots.txt-ის ცალკე ტოკენებს იყენებს. აკრძალეთ სასწავლო ტოკენები, როგორიცაა GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent და CCBot, და დაუშვით საძიებო და მომხმარებლის ტოკენები, როგორიცაა OAI-SearchBot, Claude-SearchBot და PerplexityBot. დაამატეთ Content-Signal ხაზი, რომ იგივე არჩევანი სიტყვებითაც გამოხატოთ.

ბევრ საიტის მფლობელს ერთდროულად ორი რამ სურს: არ უნდა, რომ მისი კონტენტი AI მოდელების სწავლებისთვის გამოიყენონ, და სურს, რომ AI ასისტენტებმა მისი გვერდები იპოვონ, ციტირონ და მათზე ბმული მიუთითონ. რადგან დიდი მომწოდებლები ამ ამოცანებს ახლა სხვადასხვა კრაულერსა თუ ტოკენს შორის ანაწილებენ, robots.txt-ით ორივე არჩევანის გამოხატვა შეიძლება. სირთულე ისაა, რომ სახელები მომწოდებლების მიხედვით განსხვავდება, რამდენიმე მომწოდებელი ამ სქემაში არ ჯდება, ხოლო ერთმა არასწორმა ხაზმა შეიძლება AI პასუხებიდან ამოგაგდოთ და არა სასწავლო მონაცემებიდან.

ამ გვერდზე
  1. რით განსხვავდება სასწავლო კრაულერი საძიებო კრაულერისგან?
  2. რომელი ტოკენები მართავს სწავლებას და რომელი ძიებას?
  3. როგორ გამოიყურება robots.txt?
  4. რამდენი საიტი აკეთებს ამას უკვე?
  5. რას ამატებს Content-Signal?
  6. სად არ მუშაობს ეს გაყოფა სუფთად?
  7. როგორ შევამოწმო, რომ გაყოფა მუშაობს?

რით განსხვავდება სასწავლო კრაულერი საძიებო კრაულერისგან?

სასწავლო კრაულერი აგროვებს გვერდებს, რომლებიც შეიძლება AI მოდელების შესაქმნელად ან გასაუმჯობესებლად გამოიყენონ. სწავლება თავისთავად არც ციტირებას იძლევა და არც ბმულს. საძიებო კრაულერი ქმნის ინდექსს, რომელსაც AI ასისტენტი პასუხისთვის წყაროების მოსაძებნად იყენებს, და სწორედ ამ წყაროების ციტირება შეუძლია. მომხმარებლის მოთხოვნით მომუშავე აგენტი გვერდს პირდაპირ ხსნის, რადგან ვიღაცამ მასზე იკითხა.

მომწოდებლები ამ როლებს ცალ-ცალკე აღწერენ და აცხადებენ, რომ პარამეტრები ერთმანეთისგან დამოუკიდებელია. მაგალითად, OpenAI აცხადებს, რომ მისი კრაულერებისთვის robots.txt-ის ყოველი პარამეტრი დანარჩენებისგან დამოუკიდებელია. ასე რომ, სწორად გაკეთებული უარი სწავლებაზე ძიებაში თქვენს ხილვადობას არ ეხება.

რომელი ტოკენები მართავს სწავლებას და რომელი ძიებას?

ეს არის ტოკენები, რომლებსაც მომწოდებლები აღწერენ, დაჯგუფებული იმის მიხედვით, რას მართავენ:

როგორ გამოიყურება robots.txt?

RFC 9309-ის მიხედვით, ზედიზედ რამდენიმე User-agent ხაზი ერთ ჯგუფს ქმნის, ამიტომ წესები თითოეულ მათგანზე ვრცელდება. ეს ფაილი უარს ამბობს ზემოთ ჩამოთვლილ სასწავლო ტოკენებზე, უშვებს საძიებო და მომხმარებლის აგენტებს და ერთ დახურულ გზას ყველასთვის დახურულად ტოვებს:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

ორი დეტალია მნიშვნელოვანი. პირველი: სახელით მითითებული ჯგუფი *-დან არაფერს იღებს, ამიტომ ყველა დახურული გზა საძიებო ჯგუფში უნდა გაიმეოროთ. მეორე: არ დაამატოთ Googlebot ან Applebot სასწავლო ჯგუფში: ისინი საძიებო კრაულერებია და მათი დაბლოკვა Google Search-იდან და Apple-ის საძიებო ფუნქციებიდან გაგრიცხავთ. ცვლილებები მყისიერი არ არის: OpenAI ძიებისთვის დაახლოებით 24 საათზე საუბრობს, Perplexity კი 24 საათამდე.

რამდენი საიტი აკეთებს ამას უკვე?

მოსალოდნელზე ნაკლები. 2026-11-12-ს წავიკითხეთ Tranco-ს სიის 1000 ყველაზე პოპულარული დომენის robots.txt ფაილები. 518-დან, რომლებიც robots.txt-ს აბრუნებდნენ, 155 (29,9%) მთავარ გვერდს ერთ AI სასწავლო კრაულერს მაინც უკრძალავს. მხოლოდ 57 (11,0%) ირჩევს შერჩევით გზას: ბლოკავს სასწავლო კრაულერებს და უშვებს ჩვენ მიერ შემოწმებულ ყველა AI საძიებო და მომხმარებლის კრაულერს. სულ 101 საიტი (19,5%) ერთ AI საძიებო ან მომხმარებლის კრაულერს მაინც ბლოკავს.

კრაულერების მიხედვით რიცხვებიც იგივე სურათს აჩვენებს. GPTBot დაბლოკილია 111 საიტზე (21,4%), OAI-SearchBot კი 58-ზე (11,2%). ClaudeBot დაბლოკილია 110-ზე (21,2%), Claude-SearchBot 67-ზე (12,9%). Google-Extended დაბლოკილია 94-ზე (18,1%), Googlebot 14-ზე (2,7%). Content-Signal-ს მხოლოდ 18 საიტი (3,5%) იყენებს.

კვლევა მხოლოდ მთავარი გვერდისთვის robots.txt-ის წესებს განიხილავს. ის ფაირვოლის ბლოკებს არ ზომავს და არ აჩვენებს, რა განზრახვა ჰქონდა თითოეულ საიტს.

რას ამატებს Content-Signal?

Content Signals არის robots.txt-ის გაფართოება, რომელიც Cloudflare-მა contentsignals.org-ზე გამოაქვეყნა. Content-Signal ხაზი აცხადებს, როგორ შეიძლება კონტენტის გამოყენება, სამი სიგნალით: search (საძიებო ინდექსის შექმნა და ბმულებისა და მოკლე ამონარიდების ჩვენება), ai-input (კონტენტის მიწოდება AI მოდელებისთვის რეალურ დროში, მაგალითად grounding ან retrieval გენერირებული პასუხებისთვის) და ai-train (მოდელების სწავლება ან დახვეწა).

გაითვალისწინეთ, რომ search-ის განმარტება AI-ით გენერირებულ საძიებო შეჯამებებს არ მოიცავს. თუ AI პასუხებში გამოჩენა გსურთ, დააყენეთ ai-input=yes-იც, როგორც ზემოთ მოცემულ მაგალითში. Cloudflare-ის მართვადი robots.txt ნაგულისხმევად ამატებს search=yes, ai-train=no-ს; გამოტოვებული სიგნალი ამ გამოყენებას არც უშვებს და არც ზღუდავს.

ეს გამოცხადებული სურვილებია. Content Signals-ის საიტის თქმით, ისინი კრაულინგს ტექნიკურ დონეზე არ აფერხებს, Cloudflare კი აღნიშნავს, რომ robots.txt-ის დაცვა ნებაყოფლობითია. OpenAI-ის, Anthropic-ის, Google-ისა და Perplexity-ის კრაულერების გვერდებიდან, რომლებიც შევამოწმეთ, არცერთში არ წერია, კითხულობენ თუ არა ისინი Content-Signal-ს, ამიტომ ის კრაულერების მიხედვით ჯგუფების დამატებად განიხილეთ და არა მათ შემცვლელად.

სად არ მუშაობს ეს გაყოფა სუფთად?

რამდენიმე შემთხვევა სიფრთხილეს მოითხოვს:

როგორ შევამოწმო, რომ გაყოფა მუშაობს?

წაიკითხეთ თქვენი robots.txt ისე, როგორც თითოეული კრაულერი წაიკითხავდა: იპოვეთ ჯგუფი, რომელიც მას ასახელებს, *-ს მიმართეთ მხოლოდ მაშინ, თუ ასეთი არ არის, და გამოიყენეთ ყველაზე გრძელი შესაბამისი წესი. შემდეგ მოითხოვეთ გვერდი თითოეული საძიებო კრაულერის user agent-ით და დარწმუნდით, რომ ის იღებს 200-ს სრული კონტენტით და არა 403-ს ან ბოტის შემოწმების გვერდს.

AISeeWhy ორივეს აკეთებს 14 კრაულერისთვის, დაჯგუფებულს სასწავლო, საძიებო და მომხმარებლის აგენტებად, და აღნიშნავს ყველაზე გავრცელებულ შეცდომას: საძიებო ტოკენის, მაგალითად PerplexityBot-ის ან Claude-SearchBot-ის დაბლოკვას, როცა სწავლების დაბლოკვა იყო განზრახული.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

ამოიღებს თუ არა GPTBot-ის დაბლოკვა ჩემს საიტს ChatGPT-ის პასუხებიდან?

არა. OpenAI-ის თქმით, GPTBot სწავლებისთვისაა და robots.txt-ის ყოველი პარამეტრი დამოუკიდებელია. ChatGPT-ის ძიება OAI-SearchBot-ს იყენებს; სანამ ის დაშვებულია და თქვენი ფაირვოლი არ ბლოკავს, თქვენი გვერდები კვლავ შეიძლება გამოჩნდეს.

ამომიღებს თუ არა Google-Extended-ის დაბლოკვა AI Overviews-იდან?

Google-ის დოკუმენტაციის მიხედვით, არა. Google აცხადებს, რომ Google-Extended Google Search-ში ჩართვაზე გავლენას არ ახდენს, AI Overviews კი Search-ის ინდექსს ეყრდნობა. საიტის AI Overviews-იდან და AI Mode-იდან გამოსარიცხად Google Search Console-ში ცალკე პარამეტრს გთავაზობთ.

არსებობს თუ არა ერთი ხაზი, რომელიც მთელ AI სწავლებას ბლოკავს?

სტანდარტული ასეთი ხაზი არ არსებობს. Content-Signal: ai-train=no ამ სურვილს ყველა კრაულერისთვის აცხადებს, მაგრამ დაიცავს თუ არა მას კრაულერი, ოპერატორზეა დამოკიდებული. დოკუმენტირებული გზაა სახელით მითითებული ჯგუფები თითოეული სასწავლო ტოკენისთვის.

უნდა დავბლოკო Perplexity, რომ AI სწავლება შევაჩერო?

Perplexity-ის თქმით, მისი აგენტები სასწავლო მონაცემების შესაგროვებლად არ გამოიყენება. PerplexityBot-ის დაბლოკვა Perplexity-ის ძიების შედეგებში თქვენს ხილვადობას ამცირებს, სწავლებაზე უარის თქმას კი არ ემსახურება.

წყაროები

სხვა სტატიები