robots.txt AI კრაულერებისთვის: რა დავუშვათ და რა დავბლოკოთ
ყოველ AI კრაულერს, რომელიც თქვენთვის მნიშვნელოვანია, საკუთარი User-agent ჯგუფი მიეცით. დაუშვით საძიებო კრაულერები, როგორიცაა OAI-SearchBot, Claude-SearchBot და PerplexityBot, თუ ციტირება გსურთ, და ცალკე გადაწყვიტეთ სასწავლო ტოკენებზე, როგორიცაა GPTBot, ClaudeBot, Google-Extended და Applebot-Extended. სახელით მითითებული ჯგუფი ამ კრაულერისთვის * ჯგუფს ცვლის.
robots.txt ჩვეულებრივი ტექსტური ფაილია, რომელიც 1994 წლიდან არსებობს და 2022 წელს ოფიციალურ სტანდარტად, RFC 9309-ად იქცა. AI მომწოდებლების უმეტესობა აცხადებს, რომ მათი კრაულერები მას იცავენ, ზოგი კი ძიებისა და სწავლებისთვის ცალკე ტოკენებს აქვეყნებს. ეს robots.txt-ს AI პოლიტიკის გამოცხადების უმარტივეს ადგილად აქცევს, იმ პირობით, რომ წესები იმას ნიშნავს, რასაც ფიქრობთ.
ამ გვერდზე
- robots.txt-ის რომელ ტოკენებს იყენებენ AI კრაულერები?
- როგორ გამოიყურება კარგი robots.txt AI-სთვის?
- როგორ ირჩევენ კრაულერები, რომელი წესები ვრცელდება მათზე?
- რა არის robots.txt-ის ყველაზე ხშირი შეცდომები?
- შემიძლია გამოვაცხადო AI-ის გამოყენების პოლიტიკა დაშვებისა და აკრძალვის მიღმა?
- რამდენ ხანს სჭირდება ცვლილებებს და როგორ შევამოწმო ისინი?
robots.txt-ის რომელ ტოკენებს იყენებენ AI კრაულერები?
ეს არის ტოკენები, რომლებსაც მომწოდებლები აღწერენ. RFC 9309-ის მიხედვით, შედარება რეგისტრს არ ითვალისწინებს.
- OpenAI:
OAI-SearchBot(ChatGPT-ის ძიება),GPTBot(სწავლება),ChatGPT-User(მომხმარებლის მიერ მოთხოვნილი ვიზიტები; OpenAI-ის თქმით, robots.txt შეიძლება არ ვრცელდებოდეს). - Anthropic:
Claude-SearchBot(ძიება),ClaudeBot(სწავლება),Claude-User(მომხმარებლის მიერ მოთხოვნილი ვიზიტები). - Perplexity:
PerplexityBot(ძიება),Perplexity-User(მომხმარებლის მიერ მოთხოვნილი ვიზიტები; Perplexity-ის თქმით, ზოგადად robots.txt-ს უგულებელყოფს). - Google:
Googlebot(Search, მისი AI ფუნქციების ჩათვლით) დაGoogle-Extended, ტოკენი საკუთარი კრაულერის გარეშე, რომელიც Gemini-ის სწავლებასა და grounding-ში გამოყენებას მართავს. - Apple:
Applebot(Spotlight, Siri, Safari-ის ძიება) დაApplebot-Extended, რომელიც კრაულინგს არ აკეთებს, მაგრამ Apple-ის საბაზისო მოდელების სწავლებისთვის გამოყენებას მართავს. - Meta:
meta-externalagent(სწავლება და პროდუქტების ინდექსირება) დაmeta-webindexer(Meta AI-ის ძიება). - Common Crawl:
CCBot, რომელიც Common Crawl-ის ვებმონაცემების უფასო საჯარო არქივს ქმნის.
როგორ გამოიყურება კარგი robots.txt AI-სთვის?
ეს მაგალითი უშვებს AI ძიებასა და მომხმარებლის მოთხოვნებს, უარს ამბობს მთავარ სასწავლო ტოკენებზე და ერთ დახურულ ზონას ყველასთვის დახურულად ტოვებს:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ზედიზედ რამდენიმე User-agent ხაზი ერთ ჯგუფს ქმნის, ამიტომ მათ ქვემოთ მოცემული წესები თითოეულ ამ კრაულერზე ვრცელდება. თუ გსურთ, რომ თქვენი კონტენტი სწავლებისთვის გამოიყენონ, უბრალოდ გამოტოვეთ მეორე ჯგუფი. Google-Extended-ის დაბლოკვა Google Search-ზე არ მოქმედებს: Google-ის თქმით, ის Search-ში ჩართვაზე გავლენას არ ახდენს და რანჟირების სიგნალი არ არის. ანალოგიურად, Apple-ის თქმით, გვერდები, რომლებიც Applebot-Extended-ს კრძალავენ, მაინც შეიძლება გამოჩნდეს მის ძიების შედეგებში.
როგორ ირჩევენ კრაულერები, რომელი წესები ვრცელდება მათზე?
RFC 9309 ამას ზუსტად განსაზღვრავს და დეტალები სიურპრიზების უმეტესობას ხსნის:
- კრაულერი ეძებს ჯგუფს, რომლის
User-agentმის პროდუქტის ტოკენს ემთხვევა, რეგისტრის გაუთვალისწინებლად. თუ რამდენიმე ჯგუფი ემთხვევა, მათი წესები ერთად ერთიანდება. - მხოლოდ მაშინ, თუ არცერთი ჯგუფი არ ემთხვევა, მიჰყვება კრაულერი
User-agent: *ჯგუფს. სახელით მითითებული ჯგუფი*-დან არაფერს იღებს. - ჯგუფში იმარჯვებს წესი ყველაზე გრძელი შესაბამისი გზით.
/blog/post-ისთვისAllow: /blog/სჯობსDisallow: /-ს. - თუ
AllowდაDisallowწესები თანაბარი სიგრძით ემთხვევა,Allowუნდა იქნეს გამოყენებული. *გზაში ნებისმიერ სიმბოლოებს ემთხვევა,$კი ბოლოს აფიქსირებს, ამიტომDisallow: /*.pdf$ყველა PDF-ს მოიცავს.
რა არის robots.txt-ის ყველაზე ხშირი შეცდომები?
- მოლოდინი, რომ სახელით მითითებული ჯგუფი
*-დან მემკვიდრეობით მიიღებს წესებს.OAI-SearchBot-ის ჯგუფი მხოლოდAllow: /-ით ყველა გზას ხსნის, მათ შორის იმათაც, რომლებიც*-ის ქვეშ აკრძალეთ. - robots.txt-ის მისამართი, რომელიც HTML გვერდს აბრუნებს, ხშირად 404 გვერდს 200 სტატუსით. კრაულერები მასში ვალიდურ წესებს ვერ პოულობენ.
- robots.txt, რომელიც სერვერის შეცდომას აბრუნებს. RFC 9309-ის მიხედვით, ამ შემთხვევაში კრაულერმა უნდა ჩათვალოს, რომ მთელი საიტი აკრძალულია. 404 სხვა საქმეა: ის ნიშნავს, რომ შეზღუდვები არ არის.
- საძიებო ტოკენის დაბლოკვა მაშინ, როცა სწავლების დაბლოკვა იყო განზრახული, მაგალითად
PerplexityBot-ის ანClaude-SearchBot-ის აკრძალვა მოდელების სწავლების თავიდან ასაცილებლად. - robots.txt-ის იმედად დარჩენა მომხმარებლის მიერ მოთხოვნილი ვიზიტების შესაჩერებლად. OpenAI და Perplexity ორივე აცხადებს, რომ მათი მომხმარებლის აგენტები შეიძლება მას არ იცავდნენ.
- ქვედომენების დავიწყება. ყოველ ჰოსტს საკუთარი robots.txt აქვს; Anthropic-ის დოკუმენტაცია საიტის მფლობელებს შეახსენებს, რომ წესები თითოეული ქვედომენისთვის დაამატონ.
შემიძლია გამოვაცხადო AI-ის გამოყენების პოლიტიკა დაშვებისა და აკრძალვის მიღმა?
Cloudflare-მა robots.txt-ისთვის Content-Signal ხაზი შემოგვთავაზა სამი სიგნალით: search (საძიებო ინდექსის შექმნა და ბმულებისა და მოკლე ამონარიდების ჩვენება), ai-input (კონტენტის რეალურ დროში გამოყენება AI პასუხებისთვის) და ai-train (მოდელების სწავლება ან დახვეწა). Cloudflare-ის მართვად robots.txt-ს შეუძლია ის თქვენთვის დაამატოს.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / როგორც robots.txt-ში ყველაფერი, ესეც სურვილებია და არა ტექნიკური კონტროლი. თავად Cloudflare აღნიშნავს, რომ robots.txt-ის დაცვა ნებაყოფლობითია. ხაზი არასავალდებულოა და ზიანს არ აყენებს, მაგრამ ზემოთ მოცემულ კრაულერების ჯგუფებს არ ცვლის.
რამდენ ხანს სჭირდება ცვლილებებს და როგორ შევამოწმო ისინი?
RFC 9309-ის მიხედვით, კრაულერებმა ქეშირებული robots.txt 24 საათზე მეტხანს არ უნდა გამოიყენონ, OpenAI და Perplexity კი ორივე ამბობს, რომ ცვლილებების ამოქმედებას დაახლოებით ერთი დღე შეიძლება დასჭირდეს. ასევე გახსოვდეთ, რომ robots.txt წვდომის კონტროლი არ არის: ფაირვოლს მაინც შეუძლია დაბლოკოს კრაულერი, რომელსაც თქვენი წესები უშვებს.
AISeeWhy თქვენს robots.txt-ს RFC 9309-ის მიხედვით აანალიზებს ყოველი კრაულერისთვის, რომელსაც ამოწმებს, აღნიშნავს ფაილებს, რომლებიც მიუწვდომელია ან HTML-ად მიეწოდება, აჩვენებს, სად არ ემთხვევა ერთმანეთს თქვენი წესები და თქვენი სერვერი, და ცვლილებისთვის მზა diff-ს გაძლევთ.
ამ პრობლემის გამოსწორებები
- robots.txt უშვებს GPTBot-ს, მაგრამ სერვერი ბლოკავს
- robots.txt კრძალავს OAI-SearchBot-ს
- robots.txt HTML გვერდია
- robots.txt-ში Content-Signal არ არის
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
აზიანებს თუ არა GPTBot-ის ან ClaudeBot-ის დაბლოკვა ჩემს ხილვადობას AI პასუხებში?
პირდაპირ არა. ორივე მომწოდებელი ძიებისთვის ცალკე საძიებო კრაულერებს იყენებს, OAI-SearchBot-სა და Claude-SearchBot-ს. სასწავლო კრაულერის დაბლოკვა პოლიტიკის არჩევანია.
აჩერებს თუ არა Google-Extended AI Overviews-ს?
არა. Google-ის თქმით, Search-ის AI ფუნქციები იყენებს Googlebot-ს და Search-ის ჩვეულებრივ პარამეტრებს, როგორიცაა nosnippet და noindex. Google-Extended მოიცავს Gemini-ის სწავლებას და grounding-ს Google-ის სხვა პროდუქტებში და Search-ზე არ მოქმედებს.
უჭერენ თუ არა AI კრაულერები მხარს Crawl-delay-ს?
ის RFC 9309-ის ნაწილი არ არის. Anthropic-ის თქმით, ის Crawl-delay-ს არასტანდარტულ გაფართოებად უჭერს მხარს; სხვა მომწოდებლებისთვის მათი დოკუმენტაცია შეამოწმეთ.
სად უნდა მდებარეობდეს robots.txt?
თითოეული ჰოსტის ძირში, მაგალითად https://example.com/robots.txt. ქვესაქაღალდეში არსებული ფაილი იგნორირდება, და ყოველ ქვედომენს საკუთარი სჭირდება.
წყაროები
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI-ის კრაულერების მიმოხილვა
- Google: ზოგადი კრაულერები, მათ შორის Google-Extended
- Apple: Applebot-ის შესახებ
- Cloudflare: მართვადი robots.txt და Content Signals