Anthropic-ის კრაულერები: ClaudeBot, Claude-SearchBot და Claude-User

გამოქვეყნდა

მოკლე პასუხი

Anthropic სამ აგენტს იყენებს: ClaudeBot აგროვებს კონტენტს, რომელიც შეიძლება მისი მოდელების სწავლებისთვის გამოიყენონ, Claude-SearchBot კრაულინგს Claude-ის ძიების შედეგების გასაუმჯობესებლად აკეთებს, ხოლო Claude-User გვერდებს იღებს, როცა Claude-ის მომხმარებლის კითხვას ეს სჭირდება. თითოეულს საკუთარი robots.txt ტოკენი აქვს და Anthropic-ის თქმით, სამივე robots.txt-ს იცავს. მხოლოდ ClaudeBot-ის დაბლოკვა ძიებასა და მომხმარებლის მოთხოვნებს არ აჩერებს.

Anthropic თავის კრაულერებს დახმარების ერთ გვერდზე აღწერს, და სტრუქტურა სხვა AI მომწოდებლებისას იმეორებს: ერთი აგენტი სწავლებისთვის, ერთი ძიებისთვის და ერთი მომხმარებლის სახელით პირდაპირი მოთხოვნებისთვის. თუ გსურთ, რომ Claude-მა თქვენი გვერდების პოვნა და ციტირება შეძლოს, ყველაზე მნიშვნელოვანი ბოლო ორია.

ამ გვერდზე
  1. რას აკეთებს ClaudeBot?
  2. რას აკეთებს Claude-SearchBot?
  3. რას აკეთებს Claude-User?
  4. როგორ დავწერო robots.txt-ის წესები Claude-ისთვის?
  5. როგორ შეედრება Anthropic-ის სქემა OpenAI-სა და Perplexity-ს?
  6. უნდა დავბლოკო Anthropic IP მისამართით?
  7. რატომ შეიძლება Claude-მა მაინც ვერ წაიკითხოს ჩემი გვერდი?

რას აკეთებს ClaudeBot?

ClaudeBot აგროვებს ვებკონტენტს, რომელიც შეიძლება Anthropic-ის გენერაციული AI მოდელების სწავლებას მოხმარდეს. Anthropic-ის თქმით, მისი აკრძალვა მიუთითებს, რომ თქვენი საიტის მომავალი კონტენტი სასწავლო მონაცემთა ნაკრებებიდან უნდა გამოირიცხოს.

Anthropic ასევე აცხადებს, რომ იცავს AI სწავლებაზე უარის მანქანურად წაკითხვად სიგნალს, რომელიც IETF-ის პროექტს ეფუძნება, და რომ robots.txt-ის წესები, რომლებიც ClaudeBot-ს ასახელებს, ამ ზოგად პარამეტრზე მაღლა დგას. როგორც სხვა სასწავლო კრაულერების შემთხვევაში, მისი დაბლოკვა პოლიტიკის არჩევანია.

რას აკეთებს Claude-SearchBot?

Claude-SearchBot ვებს Claude-ში ძიების შედეგების რელევანტურობისა და სიზუსტის გასაუმჯობესებლად აკეთებს კრაულინგს. Anthropic-ის თქმით, მისი დაბლოკვა ხელს უშლის თქვენი კონტენტის ძიებისთვის ინდექსირებას, რამაც შეიძლება მომხმარებლების ძიების შედეგებში თქვენი ხილვადობა და სიზუსტე შეამციროს.

სწორედ ეს აგენტი უნდა დაუშვათ, თუ გსურთ, რომ Claude-ის საძიებო ფუნქციებმა თქვენი გვერდების შესახებ მანამდე იცოდნენ, სანამ ვინმე მათზე იკითხავს. რადგან ეს საძიებო კრაულერია, მას იგივე რამ ეხმარება, რაც ნებისმიერ საძიებო კრაულერს: robots.txt-ში მითითებული sitemap, სუფთა შიდა ბმულები და გვერდები, რომლებიც კონტენტს პირველივე პასუხში აბრუნებს.

რას აკეთებს Claude-User?

Claude-User ვებსაიტს სტუმრობს, როცა Claude-ის მომხმარებელი სვამს კითხვას, რომელიც ამას მოითხოვს, მაგალითად, როცა ვინმე URL-ს აზიარებს ან Claude-ს რამის მოძებნას სთხოვს. Anthropic-ის თქმით, მისი დაბლოკვა ხელს უშლის მომხმარებლის მოთხოვნებზე პასუხად გვერდის მიღებას, რამაც შეიძლება მომხმარებლის მიერ მართულ ვებძიებაში თქვენი ხილვადობა შეამციროს.

გაითვალისწინეთ განსხვავება ზოგიერთი სხვა მომწოდებლისგან. Anthropic აცხადებს, რომ მისი ბოტები robots.txt-ის დირექტივებს იცავენ, და აღწერს Claude-User-ის დაბლოკვას robots.txt-ით. OpenAI და Perplexity კი, პირიქით, ამბობენ, რომ მათი მომხმარებლის მოთხოვნით მომუშავე აგენტები შეიძლება robots.txt-ს არ იცავდნენ.

როგორ დავწერო robots.txt-ის წესები Claude-ისთვის?

ყოველ აგენტს საკუთარი ტოკენი აქვს, ხოლო RFC 9309-ის მიხედვით, ჯგუფი, რომელიც კრაულერს ასახელებს, ამ კრაულერისთვის * ჯგუფს ცვლის. ხშირი არჩევანია ძიებისა და მომხმარებლის მოთხოვნების დაშვება და სწავლებაზე უარის თქმა:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic ასევე უჭერს მხარს Crawl-delay-ს არასტანდარტულ გაფართოებად, მაგალითად Crawl-delay: 1 User-agent: ClaudeBot-ის ქვეშ, თუ კრაულინგის შენელება გსურთ დაბლოკვის ნაცვლად. წესები უნდა იყოს robots.txt-ში თითოეული ჰოსტის ზედა დონის დირექტორიაში, ამიტომ დაამატეთ ისინი ყველა ქვედომენზე, რომლის დაფარვაც გსურთ.

როგორ შეედრება Anthropic-ის სქემა OpenAI-სა და Perplexity-ს?

სამივე მომწოდებელი ერთსა და იმავე სქემას მიჰყვება სხვადასხვა სახელებით, რაც საერთო robots.txt-ის გააზრებას ამარტივებს. მთავარი განსხვავება ისაა, როგორ ეპყრობა თითოეული robots.txt-ს მომხმარებლის მოთხოვნით პირდაპირი ვიზიტებისას.

თუ სამივესთვის ერთ robots.txt-ს წერთ, საძიებო და მომხმარებლის ტოკენები ერთ ჯგუფში მოათავსეთ, სასწავლო ტოკენები კი მეორეში. ასე პოლიტიკა წაკითხვადი რჩება და ნათლად ჩანს, რა არჩევანი გააკეთეთ თითოეული მიზნისთვის.

უნდა დავბლოკო Anthropic IP მისამართით?

Anthropic ამას არ გირჩევთ. მისი დოკუმენტაციის მიხედვით, IP მისამართების დაბლოკვა შეიძლება სწორად ვერ იმუშაოს ან უარის მუდმივ გარანტიას ვერ იძლეოდეს, რადგან ის კრაულერს თქვენი robots.txt-ის წაკითხვასაც უშლის. პოლიტიკის გამოსაცხადებლად robots.txt გამოიყენეთ.

Anthropic თავისი კრაულერების IP მისამართებს claude.com/crawling/bots.json-ზე აქვეყნებს. ამ სიის სასარგებლო გამოყენება დაბლოკვის საპირისპიროა: მიეცით ფაირვოლს საშუალება, გადაამოწმოს, რომ მოთხოვნა, რომელიც თავს Claude-SearchBot-ად ან Claude-User-ად ასაღებს, ნამდვილად Anthropic-იდან მოდის, და გაატაროს ის.

რატომ შეიძლება Claude-მა მაინც ვერ წაიკითხოს ჩემი გვერდი?

robots.txt-ის დამშვები წესების შემთხვევაშიც კი, თქვენს ფაირვოლს ან CDN-ს შეუძლია Anthropic-ის აგენტებს 403-ით ან ბოტის შემოწმების გვერდით უპასუხოს. Anthropic-ის თქმით, მისი ბოტები პატივს სცემენ გვერდის ავლის საწინააღმდეგო ტექნოლოგიებს და CAPTCHA-ს გვერდის ავლას არ ცდილობენ, ამიტომ ბოტის შემოწმების გვერდი ვიზიტს უბრალოდ ამთავრებს. გვერდები, რომელთა ტექსტიც მხოლოდ JavaScript-ის შესრულების შემდეგ ჩნდება, ასევე შეიძლება თითქმის ცარიელი ჩამოვიდეს.

AISeeWhy თქვენს გვერდს ითხოვს როგორც ClaudeBot, Claude-SearchBot და Claude-User ბრაუზერთან ერთად და თითოეულისთვის ამოწმებს თქვენი robots.txt-ის წესებს, ასე რომ ხედავთ, ის პოლიტიკა, რომელიც დაწერეთ, იგივეა თუ არა, რასაც თქვენი სერვერი ახორციელებს.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

ამოიღებს თუ არა ClaudeBot-ის დაბლოკვა ჩემს საიტს Claude-ის პასუხებიდან?

თავისთავად არა. ძიებისთვის ინდექსირება და მომხმარებლის მიერ მოთხოვნილი ვიზიტები იყენებს Claude-SearchBot-სა და Claude-User-ს, რომლებსაც საკუთარი robots.txt ტოკენები აქვთ.

იცავს თუ არა Claude-User robots.txt-ს?

Anthropic-ის თქმით, მისი ბოტები robots.txt-ს იცავენ, და ის იქ Claude-User-ის დაბლოკვას აღწერს, რის შედეგადაც Claude-ს მომხმარებლების კითხვებისთვის თქვენი გვერდების მიღება აღარ შეუძლია.

ამოხსნიან თუ არა Anthropic-ის კრაულერები CAPTCHA-ს?

არა. Anthropic-ის თქმით, მისი ბოტები პატივს სცემენ გვერდის ავლის საწინააღმდეგო ტექნოლოგიებს და CAPTCHA-ს გვერდის ავლას არ შეეცდებიან.

შემიძლია ClaudeBot შევანელო დაბლოკვის ნაცვლად?

დიახ. Anthropic Crawl-delay-ს არასტანდარტულ გაფართოებად უჭერს მხარს, მაგალითად Crawl-delay: 1 თქვენი robots.txt-ის ClaudeBot ჯგუფში.

როგორ გადავამოწმო, რომ მოთხოვნა ნამდვილად Anthropic-იდან მოდის?

შეადარეთ წყაროს IP იმ სიას, რომელსაც Anthropic claude.com/crawling/bots.json-ზე აქვეყნებს. მხოლოდ user agent-ის კოპირება ნებისმიერს შეუძლია.

წყაროები

სხვა სტატიები