robots.txt AI კრაულერებისთვის: რა დავუშვათ და რა დავბლოკოთ

გამოქვეყნდა

მოკლე პასუხი

ყოველ AI კრაულერს, რომელიც თქვენთვის მნიშვნელოვანია, საკუთარი User-agent ჯგუფი მიეცით. დაუშვით საძიებო კრაულერები, როგორიცაა OAI-SearchBot, Claude-SearchBot და PerplexityBot, თუ ციტირება გსურთ, და ცალკე გადაწყვიტეთ სასწავლო ტოკენებზე, როგორიცაა GPTBot, ClaudeBot, Google-Extended და Applebot-Extended. სახელით მითითებული ჯგუფი ამ კრაულერისთვის * ჯგუფს ცვლის.

robots.txt ჩვეულებრივი ტექსტური ფაილია, რომელიც 1994 წლიდან არსებობს და 2022 წელს ოფიციალურ სტანდარტად, RFC 9309-ად იქცა. AI მომწოდებლების უმეტესობა აცხადებს, რომ მათი კრაულერები მას იცავენ, ზოგი კი ძიებისა და სწავლებისთვის ცალკე ტოკენებს აქვეყნებს. ეს robots.txt-ს AI პოლიტიკის გამოცხადების უმარტივეს ადგილად აქცევს, იმ პირობით, რომ წესები იმას ნიშნავს, რასაც ფიქრობთ.

ამ გვერდზე
  1. robots.txt-ის რომელ ტოკენებს იყენებენ AI კრაულერები?
  2. როგორ გამოიყურება კარგი robots.txt AI-სთვის?
  3. როგორ ირჩევენ კრაულერები, რომელი წესები ვრცელდება მათზე?
  4. რა არის robots.txt-ის ყველაზე ხშირი შეცდომები?
  5. შემიძლია გამოვაცხადო AI-ის გამოყენების პოლიტიკა დაშვებისა და აკრძალვის მიღმა?
  6. რამდენ ხანს სჭირდება ცვლილებებს და როგორ შევამოწმო ისინი?

robots.txt-ის რომელ ტოკენებს იყენებენ AI კრაულერები?

ეს არის ტოკენები, რომლებსაც მომწოდებლები აღწერენ. RFC 9309-ის მიხედვით, შედარება რეგისტრს არ ითვალისწინებს.

როგორ გამოიყურება კარგი robots.txt AI-სთვის?

ეს მაგალითი უშვებს AI ძიებასა და მომხმარებლის მოთხოვნებს, უარს ამბობს მთავარ სასწავლო ტოკენებზე და ერთ დახურულ ზონას ყველასთვის დახურულად ტოვებს:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

ზედიზედ რამდენიმე User-agent ხაზი ერთ ჯგუფს ქმნის, ამიტომ მათ ქვემოთ მოცემული წესები თითოეულ ამ კრაულერზე ვრცელდება. თუ გსურთ, რომ თქვენი კონტენტი სწავლებისთვის გამოიყენონ, უბრალოდ გამოტოვეთ მეორე ჯგუფი. Google-Extended-ის დაბლოკვა Google Search-ზე არ მოქმედებს: Google-ის თქმით, ის Search-ში ჩართვაზე გავლენას არ ახდენს და რანჟირების სიგნალი არ არის. ანალოგიურად, Apple-ის თქმით, გვერდები, რომლებიც Applebot-Extended-ს კრძალავენ, მაინც შეიძლება გამოჩნდეს მის ძიების შედეგებში.

როგორ ირჩევენ კრაულერები, რომელი წესები ვრცელდება მათზე?

RFC 9309 ამას ზუსტად განსაზღვრავს და დეტალები სიურპრიზების უმეტესობას ხსნის:

რა არის robots.txt-ის ყველაზე ხშირი შეცდომები?

შემიძლია გამოვაცხადო AI-ის გამოყენების პოლიტიკა დაშვებისა და აკრძალვის მიღმა?

Cloudflare-მა robots.txt-ისთვის Content-Signal ხაზი შემოგვთავაზა სამი სიგნალით: search (საძიებო ინდექსის შექმნა და ბმულებისა და მოკლე ამონარიდების ჩვენება), ai-input (კონტენტის რეალურ დროში გამოყენება AI პასუხებისთვის) და ai-train (მოდელების სწავლება ან დახვეწა). Cloudflare-ის მართვად robots.txt-ს შეუძლია ის თქვენთვის დაამატოს.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

როგორც robots.txt-ში ყველაფერი, ესეც სურვილებია და არა ტექნიკური კონტროლი. თავად Cloudflare აღნიშნავს, რომ robots.txt-ის დაცვა ნებაყოფლობითია. ხაზი არასავალდებულოა და ზიანს არ აყენებს, მაგრამ ზემოთ მოცემულ კრაულერების ჯგუფებს არ ცვლის.

რამდენ ხანს სჭირდება ცვლილებებს და როგორ შევამოწმო ისინი?

RFC 9309-ის მიხედვით, კრაულერებმა ქეშირებული robots.txt 24 საათზე მეტხანს არ უნდა გამოიყენონ, OpenAI და Perplexity კი ორივე ამბობს, რომ ცვლილებების ამოქმედებას დაახლოებით ერთი დღე შეიძლება დასჭირდეს. ასევე გახსოვდეთ, რომ robots.txt წვდომის კონტროლი არ არის: ფაირვოლს მაინც შეუძლია დაბლოკოს კრაულერი, რომელსაც თქვენი წესები უშვებს.

AISeeWhy თქვენს robots.txt-ს RFC 9309-ის მიხედვით აანალიზებს ყოველი კრაულერისთვის, რომელსაც ამოწმებს, აღნიშნავს ფაილებს, რომლებიც მიუწვდომელია ან HTML-ად მიეწოდება, აჩვენებს, სად არ ემთხვევა ერთმანეთს თქვენი წესები და თქვენი სერვერი, და ცვლილებისთვის მზა diff-ს გაძლევთ.

ამ პრობლემის გამოსწორებები

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

აზიანებს თუ არა GPTBot-ის ან ClaudeBot-ის დაბლოკვა ჩემს ხილვადობას AI პასუხებში?

პირდაპირ არა. ორივე მომწოდებელი ძიებისთვის ცალკე საძიებო კრაულერებს იყენებს, OAI-SearchBot-სა და Claude-SearchBot-ს. სასწავლო კრაულერის დაბლოკვა პოლიტიკის არჩევანია.

აჩერებს თუ არა Google-Extended AI Overviews-ს?

არა. Google-ის თქმით, Search-ის AI ფუნქციები იყენებს Googlebot-ს და Search-ის ჩვეულებრივ პარამეტრებს, როგორიცაა nosnippet და noindex. Google-Extended მოიცავს Gemini-ის სწავლებას და grounding-ს Google-ის სხვა პროდუქტებში და Search-ზე არ მოქმედებს.

უჭერენ თუ არა AI კრაულერები მხარს Crawl-delay-ს?

ის RFC 9309-ის ნაწილი არ არის. Anthropic-ის თქმით, ის Crawl-delay-ს არასტანდარტულ გაფართოებად უჭერს მხარს; სხვა მომწოდებლებისთვის მათი დოკუმენტაცია შეამოწმეთ.

სად უნდა მდებარეობდეს robots.txt?

თითოეული ჰოსტის ძირში, მაგალითად https://example.com/robots.txt. ქვესაქაღალდეში არსებული ფაილი იგნორირდება, და ყოველ ქვედომენს საკუთარი სჭირდება.

წყაროები

სხვა სტატიები