ClaudeBot

Anthropic · AI სწავლება

ClaudeBot არის Anthropic-ის კრაულერი ვებ-კონტენტისთვის, რომელიც შეიძლება გამოყენებულ იქნას მისი გენერაციული AI მოდელების სასწავლებლად. robots.txt-ში მისი აკრძალვა მიუთითებს, რომ თქვენი საიტის მომავალი კონტენტი სწავლებიდან უნდა გამოირიცხოს. მხოლოდ მისი დაბლოკვა არ აჩერებს Claude-SearchBot-ს ან Claude-User-ს, რომლებიც ძიებასა და პასუხებს რეალურ დროში ემსახურებიან.

როგორ დავუშვათ

User-agent: ClaudeBot
Allow: /

როგორ დავბლოკოთ

User-agent: ClaudeBot
Disallow: /

რას აკეთებს

Anthropic-ის თქმით, ClaudeBot აგროვებს ვებ-კონტენტს, რომელსაც შეუძლია წვლილი შეიტანოს მისი მოდელების სწავლებაში, რათა გაზარდოს მათი სარგებლიანობა და უსაფრთხოება. ClaudeBot-ის აკრძალვა მიუთითებს, რომ თქვენი საიტის მომავალი მასალები სასწავლო მონაცემთა ნაკრებებიდან უნდა გამოირიცხოს.

Anthropic ასევე მხარს უჭერს არასტანდარტულ Crawl-delay დირექტივას, ამიტომ შეგიძლიათ ClaudeBot შეანელოთ დაბლოკვის ნაცვლად. robots.txt-ში ClaudeBot-ის მომხსენიებელ წესებს უპირატესობა აქვთ Anthropic-ის ზოგად „AI სწავლების გარეშე“ სიგნალთან შედარებით. robots.txt-ის წესები თითოეულ ჰოსტზე ცალკე მოქმედებს, ამიტომ დაამატეთ ისინი ყველა ქვედომენზე, რომლის დაფარვაც გსურთ.

ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 21.2% მას ბლოკავდა. →

robots.txt ტოკენი

ClaudeBot

როგორ გადავამოწმოთ რეალური ვიზიტები

Anthropic თავისი კრაულერების IP მისამართებს აქვეყნებს claude.com/crawling/bots.json-ზე და ამბობს, რომ კრაულერი, რომლის IP ამ სიაშია, Anthropic-ისგან მოდის. შეადარეთ წყაროს IP სიას, ნაცვლად იმისა, რომ user agent-ს ენდოთ. Anthropic არ გირჩევთ უარის სათქმელად IP ბლოკირების გამოყენებას, რადგან ის კრაულერს robots.txt-ის წაკითხვასაც უშლის.

შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →

Anthropic-ის კრაულერები: ClaudeBot, Claude-SearchBot და Claude-User →