Claude-SearchBot

Anthropic · AI ძიება

Claude-SearchBot ვებს აკრაულებს Claude-ში ძიების შედეგების რელევანტურობისა და სიზუსტის გასაუმჯობესებლად. Anthropic-ის თქმით, მისი დაბლოკვა ხელს უშლის თქვენი კონტენტის ძიებისთვის ინდექსირებას, რამაც შეიძლება შეამციროს თქვენი ხილვადობა და სიზუსტე მომხმარებლების ძიების შედეგებში. დაუშვით ის, თუ გსურთ, რომ Claude-მა თქვენი გვერდები იპოვოს და ციტირებდეს.

როგორ დავუშვათ

User-agent: Claude-SearchBot
Allow: /

როგორ დავბლოკოთ

User-agent: Claude-SearchBot
Disallow: /

რას აკეთებს

Anthropic Claude-SearchBot-ს იყენებს ვებში ნავიგაციისთვის და Claude-ის მომხმარებლებისთვის ძიების შედეგების ხარისხის გასაუმჯობესებლად. ის ცალკეა ClaudeBot-ისგან, სასწავლო კრაულერისგან, ამიტომ შეგიძლიათ ძიება დაუშვათ და სწავლებაზე უარი თქვათ.

Anthropic-ის თქმით, Claude-SearchBot-ის გათიშვა ხელს უშლის თქვენი კონტენტის ინდექსირებას ძიების ოპტიმიზაციისთვის, რამაც შეიძლება შეამციროს თქვენი საიტის ხილვადობა და სიზუსტე მომხმარებლების ძიების შედეგებში. Anthropic-ის ბოტები robots.txt-ს ემორჩილებიან და პატივს სცემენ გვერდის ავლის საწინააღმდეგო ზომებს, ამიტომ CAPTCHA ან ბოტის შემოწმების გვერდი ვიზიტს ასრულებს.

ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 12.9% მას ბლოკავდა. →

robots.txt ტოკენი

Claude-SearchBot

როგორ გადავამოწმოთ რეალური ვიზიტები

Anthropic თავისი კრაულერების IP მისამართებს აქვეყნებს claude.com/crawling/bots.json-ზე და ამბობს, რომ კრაულერი, რომლის IP ამ სიაშია, Anthropic-ისგან მოდის. შეადარეთ წყაროს IP სიას, ნაცვლად იმისა, რომ user agent-ს ენდოთ. Anthropic არ გირჩევთ უარის სათქმელად IP ბლოკირების გამოყენებას, რადგან ის კრაულერს robots.txt-ის წაკითხვასაც უშლის.

შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →

Anthropic-ის კრაულერები: ClaudeBot, Claude-SearchBot და Claude-User →