ClaudeBot
ClaudeBot არის Anthropic-ის კრაულერი ვებ-კონტენტისთვის, რომელიც შეიძლება გამოყენებულ იქნას მისი გენერაციული AI მოდელების სასწავლებლად. robots.txt-ში მისი აკრძალვა მიუთითებს, რომ თქვენი საიტის მომავალი კონტენტი სწავლებიდან უნდა გამოირიცხოს. მხოლოდ მისი დაბლოკვა არ აჩერებს Claude-SearchBot-ს ან Claude-User-ს, რომლებიც ძიებასა და პასუხებს რეალურ დროში ემსახურებიან.
როგორ დავუშვათ
User-agent: ClaudeBot
Allow: / როგორ დავბლოკოთ
User-agent: ClaudeBot
Disallow: / რას აკეთებს
Anthropic-ის თქმით, ClaudeBot აგროვებს ვებ-კონტენტს, რომელსაც შეუძლია წვლილი შეიტანოს მისი მოდელების სწავლებაში, რათა გაზარდოს მათი სარგებლიანობა და უსაფრთხოება. ClaudeBot-ის აკრძალვა მიუთითებს, რომ თქვენი საიტის მომავალი მასალები სასწავლო მონაცემთა ნაკრებებიდან უნდა გამოირიცხოს.
Anthropic ასევე მხარს უჭერს არასტანდარტულ Crawl-delay დირექტივას, ამიტომ შეგიძლიათ ClaudeBot შეანელოთ დაბლოკვის ნაცვლად. robots.txt-ში ClaudeBot-ის მომხსენიებელ წესებს უპირატესობა აქვთ Anthropic-ის ზოგად „AI სწავლების გარეშე“ სიგნალთან შედარებით. robots.txt-ის წესები თითოეულ ჰოსტზე ცალკე მოქმედებს, ამიტომ დაამატეთ ისინი ყველა ქვედომენზე, რომლის დაფარვაც გსურთ.
ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 21.2% მას ბლოკავდა. →
robots.txt ტოკენი
ClaudeBot
როგორ გადავამოწმოთ რეალური ვიზიტები
Anthropic თავისი კრაულერების IP მისამართებს აქვეყნებს claude.com/crawling/bots.json-ზე და ამბობს, რომ კრაულერი, რომლის IP ამ სიაშია, Anthropic-ისგან მოდის. შეადარეთ წყაროს IP სიას, ნაცვლად იმისა, რომ user agent-ს ენდოთ. Anthropic არ გირჩევთ უარის სათქმელად IP ბლოკირების გამოყენებას, რადგან ის კრაულერს robots.txt-ის წაკითხვასაც უშლის.
შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →
Anthropic-ის კრაულერები: ClaudeBot, Claude-SearchBot და Claude-User →