Claude-SearchBot
Claude-SearchBot ვებს აკრაულებს Claude-ში ძიების შედეგების რელევანტურობისა და სიზუსტის გასაუმჯობესებლად. Anthropic-ის თქმით, მისი დაბლოკვა ხელს უშლის თქვენი კონტენტის ძიებისთვის ინდექსირებას, რამაც შეიძლება შეამციროს თქვენი ხილვადობა და სიზუსტე მომხმარებლების ძიების შედეგებში. დაუშვით ის, თუ გსურთ, რომ Claude-მა თქვენი გვერდები იპოვოს და ციტირებდეს.
როგორ დავუშვათ
User-agent: Claude-SearchBot
Allow: / როგორ დავბლოკოთ
User-agent: Claude-SearchBot
Disallow: / რას აკეთებს
Anthropic Claude-SearchBot-ს იყენებს ვებში ნავიგაციისთვის და Claude-ის მომხმარებლებისთვის ძიების შედეგების ხარისხის გასაუმჯობესებლად. ის ცალკეა ClaudeBot-ისგან, სასწავლო კრაულერისგან, ამიტომ შეგიძლიათ ძიება დაუშვათ და სწავლებაზე უარი თქვათ.
Anthropic-ის თქმით, Claude-SearchBot-ის გათიშვა ხელს უშლის თქვენი კონტენტის ინდექსირებას ძიების ოპტიმიზაციისთვის, რამაც შეიძლება შეამციროს თქვენი საიტის ხილვადობა და სიზუსტე მომხმარებლების ძიების შედეგებში. Anthropic-ის ბოტები robots.txt-ს ემორჩილებიან და პატივს სცემენ გვერდის ავლის საწინააღმდეგო ზომებს, ამიტომ CAPTCHA ან ბოტის შემოწმების გვერდი ვიზიტს ასრულებს.
ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 12.9% მას ბლოკავდა. →
robots.txt ტოკენი
Claude-SearchBot
როგორ გადავამოწმოთ რეალური ვიზიტები
Anthropic თავისი კრაულერების IP მისამართებს აქვეყნებს claude.com/crawling/bots.json-ზე და ამბობს, რომ კრაულერი, რომლის IP ამ სიაშია, Anthropic-ისგან მოდის. შეადარეთ წყაროს IP სიას, ნაცვლად იმისა, რომ user agent-ს ენდოთ. Anthropic არ გირჩევთ უარის სათქმელად IP ბლოკირების გამოყენებას, რადგან ის კრაულერს robots.txt-ის წაკითხვასაც უშლის.
შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →
Anthropic-ის კრაულერები: ClaudeBot, Claude-SearchBot და Claude-User →