როგორ დავბლოკოთ AI სწავლება და დავრჩეთ AI ძიების პასუხებში
AI მომწოდებლების უმეტესობა მოდელის სწავლებისა და ძიებისთვის robots.txt-ის ცალკე ტოკენებს იყენებს. აკრძალეთ სასწავლო ტოკენები, როგორიცაა GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent და CCBot, და დაუშვით საძიებო და მომხმარებლის ტოკენები, როგორიცაა OAI-SearchBot, Claude-SearchBot და PerplexityBot. დაამატეთ Content-Signal ხაზი, რომ იგივე არჩევანი სიტყვებითაც გამოხატოთ.
ბევრ საიტის მფლობელს ერთდროულად ორი რამ სურს: არ უნდა, რომ მისი კონტენტი AI მოდელების სწავლებისთვის გამოიყენონ, და სურს, რომ AI ასისტენტებმა მისი გვერდები იპოვონ, ციტირონ და მათზე ბმული მიუთითონ. რადგან დიდი მომწოდებლები ამ ამოცანებს ახლა სხვადასხვა კრაულერსა თუ ტოკენს შორის ანაწილებენ, robots.txt-ით ორივე არჩევანის გამოხატვა შეიძლება. სირთულე ისაა, რომ სახელები მომწოდებლების მიხედვით განსხვავდება, რამდენიმე მომწოდებელი ამ სქემაში არ ჯდება, ხოლო ერთმა არასწორმა ხაზმა შეიძლება AI პასუხებიდან ამოგაგდოთ და არა სასწავლო მონაცემებიდან.
ამ გვერდზე
რით განსხვავდება სასწავლო კრაულერი საძიებო კრაულერისგან?
სასწავლო კრაულერი აგროვებს გვერდებს, რომლებიც შეიძლება AI მოდელების შესაქმნელად ან გასაუმჯობესებლად გამოიყენონ. სწავლება თავისთავად არც ციტირებას იძლევა და არც ბმულს. საძიებო კრაულერი ქმნის ინდექსს, რომელსაც AI ასისტენტი პასუხისთვის წყაროების მოსაძებნად იყენებს, და სწორედ ამ წყაროების ციტირება შეუძლია. მომხმარებლის მოთხოვნით მომუშავე აგენტი გვერდს პირდაპირ ხსნის, რადგან ვიღაცამ მასზე იკითხა.
მომწოდებლები ამ როლებს ცალ-ცალკე აღწერენ და აცხადებენ, რომ პარამეტრები ერთმანეთისგან დამოუკიდებელია. მაგალითად, OpenAI აცხადებს, რომ მისი კრაულერებისთვის robots.txt-ის ყოველი პარამეტრი დანარჩენებისგან დამოუკიდებელია. ასე რომ, სწორად გაკეთებული უარი სწავლებაზე ძიებაში თქვენს ხილვადობას არ ეხება.
რომელი ტოკენები მართავს სწავლებას და რომელი ძიებას?
ეს არის ტოკენები, რომლებსაც მომწოდებლები აღწერენ, დაჯგუფებული იმის მიხედვით, რას მართავენ:
- OpenAI:
GPTBotაგროვებს კონტენტს, რომელიც შეიძლება მისი საბაზისო მოდელების სწავლებისთვის გამოიყენონ.OAI-SearchBotChatGPT-ის ძიებისთვისაა, ხოლოChatGPT-Userმომხმარებლის ქმედებებს ასრულებს; OpenAI-ის თქმით, robots.txt მასზე შეიძლება არ ვრცელდებოდეს. - Anthropic:
ClaudeBotაგროვებს კონტენტს, რომელიც შეიძლება სწავლებას მოხმარდეს.Claude-SearchBotClaude-ის ძიების შედეგებს აუმჯობესებს,Claude-Userკი გვერდებს მომხმარებლებისთვის იღებს. Anthropic-ის თქმით, მისი ბოტები robots.txt-ს იცავენ. - Google:
Google-Extendedrobots.txt-ის ტოკენია, რომელსაც საკუთარი კრაულერი არ აქვს. ის მართავს კონტენტის გამოყენებას Gemini-ის მომავალი მოდელების სწავლებასა და Gemini Apps-ისა და Vertex AI-ის grounding-ში. Google-ის თქმით, ის Google Search-ში ჩართვასა და რანჟირებაზე გავლენას არ ახდენს, რასაცGooglebotმართავს. - Apple:
Applebot-Extendedკრაულინგს არ აკეთებს; ის განსაზღვრავს, გამოიყენება თუ არაApplebot-ის მიერ შეგროვებული კონტენტი Apple-ის საბაზისო მოდელების სწავლებისთვის. Apple-ის თქმით, გვერდები, რომლებიც მას კრძალავენ, მაინც შეიძლება გამოჩნდეს მის ძიების შედეგებში. - Meta:
meta-externalagentკრაულინგს ისეთი მიზნებისთვის აკეთებს, როგორიცაა საბაზისო მოდელების სწავლება, ხოლოmeta-webindexerMeta AI-ის ძიების შედეგებს აუმჯობესებს. - Common Crawl:
CCBotCommon Crawl-ის საჯარო ვებარქივს ქმნის. Cloudflare-ის მართვადი robots.txt მას იმ AI სასწავლო კრაულერებს შორის ასახელებს, რომლებსაც კრძალავს. - Perplexity:
PerplexityBotდაPerplexity-Userძიებასა და მომხმარებლის მოთხოვნებს ემსახურება. Perplexity-ის თქმით, არცერთი არ გამოიყენება სასწავლო მონაცემების შესაგროვებლად, ამიტომ Perplexity-ს დასაბლოკი სასწავლო ტოკენი არ აქვს.
როგორ გამოიყურება robots.txt?
RFC 9309-ის მიხედვით, ზედიზედ რამდენიმე User-agent ხაზი ერთ ჯგუფს ქმნის, ამიტომ წესები თითოეულ მათგანზე ვრცელდება. ეს ფაილი უარს ამბობს ზემოთ ჩამოთვლილ სასწავლო ტოკენებზე, უშვებს საძიებო და მომხმარებლის აგენტებს და ერთ დახურულ გზას ყველასთვის დახურულად ტოვებს:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ორი დეტალია მნიშვნელოვანი. პირველი: სახელით მითითებული ჯგუფი *-დან არაფერს იღებს, ამიტომ ყველა დახურული გზა საძიებო ჯგუფში უნდა გაიმეოროთ. მეორე: არ დაამატოთ Googlebot ან Applebot სასწავლო ჯგუფში: ისინი საძიებო კრაულერებია და მათი დაბლოკვა Google Search-იდან და Apple-ის საძიებო ფუნქციებიდან გაგრიცხავთ. ცვლილებები მყისიერი არ არის: OpenAI ძიებისთვის დაახლოებით 24 საათზე საუბრობს, Perplexity კი 24 საათამდე.
რამდენი საიტი აკეთებს ამას უკვე?
მოსალოდნელზე ნაკლები. 2026-11-12-ს წავიკითხეთ Tranco-ს სიის 1000 ყველაზე პოპულარული დომენის robots.txt ფაილები. 518-დან, რომლებიც robots.txt-ს აბრუნებდნენ, 155 (29,9%) მთავარ გვერდს ერთ AI სასწავლო კრაულერს მაინც უკრძალავს. მხოლოდ 57 (11,0%) ირჩევს შერჩევით გზას: ბლოკავს სასწავლო კრაულერებს და უშვებს ჩვენ მიერ შემოწმებულ ყველა AI საძიებო და მომხმარებლის კრაულერს. სულ 101 საიტი (19,5%) ერთ AI საძიებო ან მომხმარებლის კრაულერს მაინც ბლოკავს.
კრაულერების მიხედვით რიცხვებიც იგივე სურათს აჩვენებს. GPTBot დაბლოკილია 111 საიტზე (21,4%), OAI-SearchBot კი 58-ზე (11,2%). ClaudeBot დაბლოკილია 110-ზე (21,2%), Claude-SearchBot 67-ზე (12,9%). Google-Extended დაბლოკილია 94-ზე (18,1%), Googlebot 14-ზე (2,7%). Content-Signal-ს მხოლოდ 18 საიტი (3,5%) იყენებს.
კვლევა მხოლოდ მთავარი გვერდისთვის robots.txt-ის წესებს განიხილავს. ის ფაირვოლის ბლოკებს არ ზომავს და არ აჩვენებს, რა განზრახვა ჰქონდა თითოეულ საიტს.
რას ამატებს Content-Signal?
Content Signals არის robots.txt-ის გაფართოება, რომელიც Cloudflare-მა contentsignals.org-ზე გამოაქვეყნა. Content-Signal ხაზი აცხადებს, როგორ შეიძლება კონტენტის გამოყენება, სამი სიგნალით: search (საძიებო ინდექსის შექმნა და ბმულებისა და მოკლე ამონარიდების ჩვენება), ai-input (კონტენტის მიწოდება AI მოდელებისთვის რეალურ დროში, მაგალითად grounding ან retrieval გენერირებული პასუხებისთვის) და ai-train (მოდელების სწავლება ან დახვეწა).
გაითვალისწინეთ, რომ search-ის განმარტება AI-ით გენერირებულ საძიებო შეჯამებებს არ მოიცავს. თუ AI პასუხებში გამოჩენა გსურთ, დააყენეთ ai-input=yes-იც, როგორც ზემოთ მოცემულ მაგალითში. Cloudflare-ის მართვადი robots.txt ნაგულისხმევად ამატებს search=yes, ai-train=no-ს; გამოტოვებული სიგნალი ამ გამოყენებას არც უშვებს და არც ზღუდავს.
ეს გამოცხადებული სურვილებია. Content Signals-ის საიტის თქმით, ისინი კრაულინგს ტექნიკურ დონეზე არ აფერხებს, Cloudflare კი აღნიშნავს, რომ robots.txt-ის დაცვა ნებაყოფლობითია. OpenAI-ის, Anthropic-ის, Google-ისა და Perplexity-ის კრაულერების გვერდებიდან, რომლებიც შევამოწმეთ, არცერთში არ წერია, კითხულობენ თუ არა ისინი Content-Signal-ს, ამიტომ ის კრაულერების მიხედვით ჯგუფების დამატებად განიხილეთ და არა მათ შემცვლელად.
სად არ მუშაობს ეს გაყოფა სუფთად?
რამდენიმე შემთხვევა სიფრთხილეს მოითხოვს:
- Google AI Overviews და AI Mode ეყრდნობა Search-ის ინდექსს, რომელსაც
Googlebotქმნის, ამიტომGoogle-Extendedმათგან არ გაგრიცხავთ. Google-ის Search Console-ის დახმარება დასძენს, რომGoogle-Extendedზღუდავს Search-ის გენერაციული AI ფუნქციების მოდელების სწავლებას, რასაც მისი კრაულერების დოკუმენტაცია არ ახსენებს. Google ახლა Search Console-ში ცალკე პარამეტრს გთავაზობთ, რომ საიტი AI Overviews-იდან და AI Mode-იდან გამორიცხოთ. - OpenAI-ის თქმით, თუ საიტი ერთდროულად უშვებს
GPTBot-სა დაOAI-SearchBot-ს, მას შეუძლია ერთი კრაულინგის შედეგები ორივე მიზნისთვის გამოიყენოს. სწორედGPTBot-ის აკრძალვა ნიშნავს, რომ კონტენტი სწავლებისთვის არ უნდა გამოიყენონ. - უარი მომავალზე ვრცელდება. მაგალითად, Anthropic
ClaudeBot-ის აკრძალვას აღწერს, როგორც თქვენი საიტის მომავალი კონტენტის გამორიცხვას სასწავლო მონაცემთა ნაკრებებიდან. - მომხმარებლის მოთხოვნით მომუშავე აგენტები შუალედში არიან. OpenAI-ისა და Perplexity-ის თქმით, robots.txt შეიძლება არ ვრცელდებოდეს
ChatGPT-User-ზე და ზოგადად არ ვრცელდებაPerplexity-User-ზე. - ფაირვოლები robots.txt-ს არ კითხულობენ. ბოტების დაბლოკვის ფართო წესმა შეიძლება ის საძიებო კრაულერებიც შეაჩეროს, რომლებიც დაუშვით. თუ სწავლების ბლოკს ფაირვოლზე ახორციელებთ, სასწავლო აგენტები სახელით ამოიცანით და მათი გამოქვეყნებული IP დიაპაზონებით გადაამოწმეთ.
როგორ შევამოწმო, რომ გაყოფა მუშაობს?
წაიკითხეთ თქვენი robots.txt ისე, როგორც თითოეული კრაულერი წაიკითხავდა: იპოვეთ ჯგუფი, რომელიც მას ასახელებს, *-ს მიმართეთ მხოლოდ მაშინ, თუ ასეთი არ არის, და გამოიყენეთ ყველაზე გრძელი შესაბამისი წესი. შემდეგ მოითხოვეთ გვერდი თითოეული საძიებო კრაულერის user agent-ით და დარწმუნდით, რომ ის იღებს 200-ს სრული კონტენტით და არა 403-ს ან ბოტის შემოწმების გვერდს.
AISeeWhy ორივეს აკეთებს 14 კრაულერისთვის, დაჯგუფებულს სასწავლო, საძიებო და მომხმარებლის აგენტებად, და აღნიშნავს ყველაზე გავრცელებულ შეცდომას: საძიებო ტოკენის, მაგალითად PerplexityBot-ის ან Claude-SearchBot-ის დაბლოკვას, როცა სწავლების დაბლოკვა იყო განზრახული.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- AI კრაულერების IP შემოწმება
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
ამოიღებს თუ არა GPTBot-ის დაბლოკვა ჩემს საიტს ChatGPT-ის პასუხებიდან?
არა. OpenAI-ის თქმით, GPTBot სწავლებისთვისაა და robots.txt-ის ყოველი პარამეტრი დამოუკიდებელია. ChatGPT-ის ძიება OAI-SearchBot-ს იყენებს; სანამ ის დაშვებულია და თქვენი ფაირვოლი არ ბლოკავს, თქვენი გვერდები კვლავ შეიძლება გამოჩნდეს.
ამომიღებს თუ არა Google-Extended-ის დაბლოკვა AI Overviews-იდან?
Google-ის დოკუმენტაციის მიხედვით, არა. Google აცხადებს, რომ Google-Extended Google Search-ში ჩართვაზე გავლენას არ ახდენს, AI Overviews კი Search-ის ინდექსს ეყრდნობა. საიტის AI Overviews-იდან და AI Mode-იდან გამოსარიცხად Google Search Console-ში ცალკე პარამეტრს გთავაზობთ.
არსებობს თუ არა ერთი ხაზი, რომელიც მთელ AI სწავლებას ბლოკავს?
სტანდარტული ასეთი ხაზი არ არსებობს. Content-Signal: ai-train=no ამ სურვილს ყველა კრაულერისთვის აცხადებს, მაგრამ დაიცავს თუ არა მას კრაულერი, ოპერატორზეა დამოკიდებული. დოკუმენტირებული გზაა სახელით მითითებული ჯგუფები თითოეული სასწავლო ტოკენისთვის.
უნდა დავბლოკო Perplexity, რომ AI სწავლება შევაჩერო?
Perplexity-ის თქმით, მისი აგენტები სასწავლო მონაცემების შესაგროვებლად არ გამოიყენება. PerplexityBot-ის დაბლოკვა Perplexity-ის ძიების შედეგებში თქვენს ხილვადობას ამცირებს, სწავლებაზე უარის თქმას კი არ ემსახურება.
წყაროები
- OpenAI: OpenAI-ის კრაულერების მიმოხილვა
- Anthropic: აგროვებს თუ არა Anthropic მონაცემებს ვებიდან და როგორ შეუძლიათ საიტის მფლობელებს კრაულერის დაბლოკვა?
- Google: ზოგადი კრაულერები, მათ შორის Google-Extended
- Google Search Console-ის დახმარება: Search-ის გენერაციული AI-ის პარამეტრი
- Apple: Applebot-ის შესახებ
- Meta: Meta-ის ვებკრაულერები
- Common Crawl: CCBot
- Perplexity: Perplexity-ის კრაულერები
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: მართვადი robots.txt და Content Signals
- AISeeWhy: AI კრაულერების წვდომის ანგარიში, 2026-11