ხედავს თუ არა Claude ჩემს საიტს? როგორ შევამოწმოთ
Claude-ს თქვენი გვერდის წაკითხვა მხოლოდ მაშინ შეუძლია, თუ თქვენი robots.txt Anthropic-ის აგენტებს უშვებს და სერვერი მათ იმავე HTML-ს უგზავნის, რასაც ბრაუზერი იღებს. შეამოწმეთ, რომ robots.txt არ კრძალავს Claude-SearchBot-ს ან Claude-User-ს, რომ ფაირვოლი მათ 403-ით ან ჩელენჯის გვერდით არ პასუხობს და რომ მთავარი ტექსტი საწყის HTML-შია. შემდეგ თავად Claude გამოსცადეთ: ჩართული ვებძიებით ჩასვით თქვენი URL ჩატში და დაუსვით ის კითხვები, რომლებსაც თქვენი მყიდველები სვამენ.
თუ Claude-ს თქვენს პროდუქტზე ჰკითხავთ და ის სხვა საიტებს ციტირებს, პირველი კითხვაა, საერთოდ აღწევს თუ არა ის თქვენს საიტამდე. ამ კითხვას შემოწმებადი პასუხი აქვს. Anthropic აქვეყნებს თავისი აგენტების robots.txt ტოკენებს და IP მისამართებს, საიდანაც ისინი მოდიან, ხოლო Claude აჩვენებს წყაროებს, რომლებიც გამოიყენა. ასე რომ, ყველა ნაბიჯის თანმიმდევრულად შემოწმება შეგიძლიათ: რას ამბობს თქვენი robots.txt, რას აგზავნის სერვერი, რას იწერს ლოგები და რას აკეთებს Claude გვერდთან, როცა მას თავად მიაწვდით.
ამ გვერდზე
- 5-წუთიანი შემოწმება, ნაბიჯ-ნაბიჯ
- როგორ კითხულობს Claude ვებსაიტებს?
- როგორ შევამოწმო robots.txt-ში, აქვს თუ არა Claude-ს ჩემს საიტზე წვდომა?
- როგორ შევამოწმო, რას იღებენ Claude-ის აგენტები ჩემი სერვერიდან?
- როგორ ვნახო, სტუმრობს თუ არა Claude ჩემს საიტს სინამდვილეში?
- როგორ გამოვცადო თავად Claude ჩემი გვერდით?
- რა ვქნა, თუ Claude ჩემს გვერდს კითხულობს, მაგრამ მაინც არ ციტირებს?
- როგორ ამოწმებს ამას AISeeWhy?
5-წუთიანი შემოწმება, ნაბიჯ-ნაბიჯ
- გახსენით თქვენი robots.txt და დარწმუნდით, რომ არცერთი ჯგუფი
Claude-SearchBot-ისთვის,Claude-User-ისთვის ანUser-agent: *გვერდს არ კრძალავს.ClaudeBotმხოლოდ სწავლებისთვისაა მნიშვნელოვანი. - გაუშვით გვერდის უფასო შემოწმება AISeeWhy-ზე ან გააგზავნეთ ერთი მოთხოვნა
Claude-Useruser agent-ით: მან უნდა მიიღოს სტატუსი 200 და იგივე ტექსტი, რასაც ბრაუზერი იღებს. - მოძებნეთ თქვენს წვდომის ლოგში
Claude-SearchBotდაClaude-Userდა ნახეთ, რა სტატუს-კოდები მიიღეს მათ. - ჩასვით თქვენი URL Claude-ში ჩართული ვებძიებით, სთხოვეთ გვერდის შეჯამება, შემდეგ დაუსვით კითხვა, რომელსაც თქვენი მყიდველები სვამენ, და შეამოწმეთ ციტატები.
თუ 1-ლი ან მე-2 ნაბიჯი ვერ სრულდება, ჯერ წვდომა გამოასწორეთ; ქვემოთ მოცემული სექციები გაჩვენებთ, როგორ. თუ Claude გვერდს კითხულობს, მაგრამ არ ციტირებს, იმუშავეთ კონტენტზე.
როგორ კითხულობს Claude ვებსაიტებს?
Claude ვებს ორი გზით წვდება. ვებძიებით ის ეძებს, როცა კითხვას ახალი ინფორმაცია სჭირდება, რამდენიმე წყაროს განიხილავს და ციტატებით პასუხობს. Anthropic-ის დახმარების ცენტრის თანახმად, ვებძიების გამოყენებით გაცემული ყველა პასუხი ციტატებს შეიცავს. როცა ვინმე Claude-ს კონკრეტულ ბმულს აძლევს, მას ამ გვერდის პირდაპირ გახსნა შეუძლია.
Anthropic ამისთვის სამ აგენტს აღწერს, თითოეულს საკუთარი robots.txt ტოკენით. Claude-SearchBot აგროვებს გვერდებს Claude-ის ძიების შედეგების გასაუმჯობესებლად, Claude-User იღებს გვერდებს, როცა ისინი მომხმარებლის კითხვას სჭირდება, ხოლო ClaudeBot აგროვებს კონტენტს, რომელიც შეიძლება სწავლებისთვის იქნეს გამოყენებული. რას აკეთებს თითოეული, დეტალურად აღწერილია ჩვენს ცალკე სახელმძღვანელოში Anthropic-ის სამი კრაულერის შესახებ. წაკითხვისა და ციტირებისთვის პირველი ორის შემოწმებაა საჭირო.
ერთი გულწრფელი შეზღუდვა: Anthropic არ აქვეყნებს, რომელ საძიებო ინდექსს იყენებს Claude-ის ვებძიება და როგორ ირჩევს წყაროებს. მისი თქმით, Claude-SearchBot-ის დაბლოკვამ შეიძლება შეამციროს თქვენი ხილვადობა ძიების შედეგებში, ხოლო Claude-User-ის დაბლოკვა მომხმარებლის კითხვებისთვის გვერდის მიღებას შეუძლებელს ხდის. ორივეს დაშვება ციტირებას შესაძლებელს ხდის, მაგრამ მის გარანტიას არ იძლევა.
როგორ შევამოწმო robots.txt-ში, აქვს თუ არა Claude-ს ჩემს საიტზე წვდომა?
გახსენით https://yourdomain.com/robots.txt და მოძებნეთ ჯგუფები, რომლებიც Claude-SearchBot-ს ან Claude-User-ს ასახელებს. თუ არცერთი არ არის დასახელებული, ორივე User-agent: * ჯგუფს მიჰყვება. RFC 9309-ის მიხედვით ტოკენების შედარებისას რეგისტრს მნიშვნელობა არ აქვს, ხოლო Disallow: / იმ ჯგუფში, რომელიც მოქმედებს, ამ აგენტისთვის მთელ საიტს კეტავს.
თავად პასუხიც შეამოწმეთ. robots.txt, რომელიც სერვერის შეცდომას აბრუნებს, კრაულერებს ეუბნება, რომ ყველაფერი აკრძალულად ჩათვალონ. 404 ნიშნავს, რომ წესები არ არის. ორი ბრძანება აჩვენებს სტატუსს და ფაილის ყველა ჯგუფს:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic-ის თქმით, წესები უნდა იყოს თითოეული ქვედომენის ზედა დონის robots.txt-ში, ამიტომ blog.example.com-ს საკუთარი ფაილი სჭირდება. ასეთი ბლოკები იშვიათი არ არის. 1000 ყველაზე პოპულარული დომენის ჩვენს კვლევაში 518 საიტიდან, რომლებიც robots.txt-ს აბრუნებდა, 67 (12,9%) მთავარ გვერდს კრძალავდა Claude-SearchBot-ისთვის და 68 (13,1%) Claude-User-ისთვის, ხოლო 110 (21,2%) იგივეს აკეთებდა სწავლების კრაულერისთვის, ClaudeBot-ისთვის.
როგორ შევამოწმო, რას იღებენ Claude-ის აგენტები ჩემი სერვერიდან?
robots.txt თხოვნაა და არა წვდომის კონტროლი. ფაირვოლს, CDN-ს ან ბოტებისგან დაცვას შეუძლია Anthropic-ის აგენტებს 403-ით, 429-ით ან ჩელენჯის გვერდით უპასუხოს, მაშინ როცა თქვენი ბრაუზერი გვერდს ჩვეულებრივ ხედავს. Anthropic ამბობს, რომ მისი ბოტები CAPTCHA-ს გვერდის ავლას არ ცდილობენ, ამიტომ ჩელენჯის გვერდზე ვიზიტი მთავრდება.
მოითხოვეთ ერთი და იგივე URL ბრაუზერის user agent-ით და Anthropic-ის თითოეული ტოკენით, შემდეგ შეადარეთ სტატუსი და ზომა:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic-ის დახმარების გვერდი ტოკენებს ასახელებს, მაგრამ user agent-ის სრულ სტრიქონებს არ აქვეყნებს, ამიტომ ესენი სატესტო სტრიქონებია და არა Anthropic-ის ნამდვილი. ისინი აჩვენებს, როგორ ეპყრობა მოთხოვნას წესები, რომლებიც სახელს ამოწმებს. 403, 429 ან 503 მხოლოდ Claude-ის სტრიქონებზე, ან 200, რომელიც ბრაუზერისაზე გაცილებით მცირეა, თქვენს ფაირვოლზე მიუთითებს.
თქვენი ტესტი თქვენივე IP მისამართიდან მოდის. Anthropic-ის თქმით, მოთხოვნები იმ მისამართებიდან, რომლებიც მის სიაშია claude.com/crawling/bots.json-ზე, Anthropic-ისაა. თუ თქვენი ფაირვოლი გადამოწმებულ კრაულერებს IP-ით უშვებს, ნამდვილი აგენტები შეიძლება გავიდნენ, თქვენი ტესტი კი დაიბლოკოს, და პირიქითაც შესაძლებელია. სია Anthropic-ის დასაშვებად გამოიყენეთ და არა დასაბლოკად: Anthropic IP-ით დაბლოკვას არ გირჩევთ, რადგან ეს მის ბოტებს თქვენი robots.txt-ის წაკითხვასაც უშლის.
როგორ ვნახო, სტუმრობს თუ არა Claude ჩემს საიტს სინამდვილეში?
ამაზე წვდომის ლოგები პირდაპირ პასუხობს. მოძებნეთ მათში სამი ტოკენი, შემდეგ შეამოწმეთ, ხვდება თუ არა წყარო მისამართები Anthropic-ის გამოქვეყნებულ დიაპაზონებში, რადგან user agent-ის სახელის კოპირება ნებისმიერს შეუძლია:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' პირველი ბრძანება გულისხმობს გავრცელებულ combined ლოგის ფორმატს, სადაც ველი 1 კლიენტის მისამართია, ხოლო ველი 9 სტატუსის კოდი. ბევრი 403 ან 429 Anthropic-ის აგენტების გვერდით ფაირვოლის პრობლემას ადასტურებს. თუ Claude-SearchBot-ის ვიზიტები საერთოდ არ არის, ეს მხოლოდ იმას ნიშნავს, რომ მას ეს გვერდები ჯერ არ შეუგროვებია, ან რომ რაღაც მას უფრო ადრე აჩერებს.
როგორ გამოვცადო თავად Claude ჩემი გვერდით?
გახსენით ჩატი და ჩასვით თქვენი რომელიმე გვერდის URL თხოვნით, მაგალითად „შეაჯამე ეს გვერდი“. Anthropic-ის დახმარების ცენტრის თანახმად, ჩართული ვებძიებით Claude-ს თქვენ მიერ მიწოდებული ბმულების გახსნა შეუძლია. თუ ვებძიება გამორთულია, ჩართეთ ის + მენიუდან; Anthropic-ის ახალ Claude-ის ინტერფეისში გადამრთველი არ არის და Claude თავად ეძებს, როცა ეს სასარგებლოა. Team და Enterprise გეგმებზე ჯერ მფლობელმა უნდა ჩართოს ვებძიება ორგანიზაციისთვის. თუ Claude ვერ ხსნის თქვენს გვერდს, ბრაუზერი კი ხსნის, დაუბრუნდით ფაირვოლის ტესტს.
შემდეგ დასვით ის კითხვები, რომლებსაც თქვენი მყიდველები სვამენ, საიტის დასახელების გარეშე, და გახსენით ციტირებული წყაროები. Anthropic-ის თქმით, Claude-მა ლოკალიზებული შედეგებისთვის შეიძლება თქვენი IP მისამართით განსაზღვრული მდებარეობა გამოიყენოს, ამიტომ პასუხები შეიძლება ადგილისა და გაშვების მიხედვით განსხვავდებოდეს.
დეველოპერებს ამის გამეორება Claude API-ით შეუძლიათ. ვებძიების ხელსაწყო იღებს allowed_domains სიას, ამიტომ თქვენი დომენით შეზღუდული მოთხოვნა აჩვენებს, აბრუნებს თუ არა Claude-ის ძიება კითხვაზე თქვენს რომელიმე გვერდს:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' ძიების ცარიელი შედეგები ნიშნავს, რომ Claude-ის ძიებამ ამ კითხვაზე ამ დომენზე ვერაფერი იპოვა. API-ით ვებძიებაში Anthropic ტოკენების გარდა დამატებით იხდევინებს. API-ის web fetch ხელსაწყო ასევე იუწყება, რატომ ვერ წაიკითხა გვერდი: url_not_allowed მოიცავს ბლოკებს, მაგალითად robots.txt-ს, ხოლო url_not_accessible HTTP შეცდომას ნიშნავს. API-ის პასუხები შეიძლება განსხვავდებოდეს იმისგან, რასაც Claude-ის აპები აჩვენებს.
რა ვქნა, თუ Claude ჩემს გვერდს კითხულობს, მაგრამ მაინც არ ციტირებს?
ჯერ დარწმუნდით, რომ საჭირო ტექსტი იმ HTML-შია, რომელსაც თქვენი სერვერი აგზავნის. Anthropic-ის API დოკუმენტაციაში წერია, რომ მისი web fetch ხელსაწყო JavaScript-ით რენდერებულ საიტებს მხარს არ უჭერს, და Anthropic არ ამბობს, რომ მისი კრაულერები სკრიპტებს ასრულებენ. მიიღეთ გვერდი curl-ით და მოძებნეთ გამოსავალში წინადადება მთავარი კონტენტიდან. თუ ის არ არის, სერვერული რენდერინგი ან პრერენდერინგი ამას გამოასწორებს როგორც Claude-ისთვის, ისე სხვა AI კრაულერების უმეტესობისთვის.
ამის შემდეგ ყველაფერს თავად გვერდი წყვეტს. გვერდის მთავარ კითხვაზე პასუხი პირველ წინადადებებში განათავსეთ, გამოიყენეთ სათაურები, რომლებიც ადამიანების კითხვებს ემთხვევა, დაასახელეთ გამომცემელი და აჩვენეთ თარიღები. შემდეგ შეადარეთ თქვენი გვერდი იმ გვერდს, რომელსაც Claude იმავე კითხვაზე ციტირებს: ციტირებული გვერდი ხშირად სწორედ ამ კითხვას უფრო პირდაპირ პასუხობს.
როგორ ამოწმებს ამას AISeeWhy?
AISeeWhy-ის უფასო შემოწმება თქვენს გვერდს ითხოვს Claude-SearchBot-ის, Claude-User-ის, ClaudeBot-ისა და სხვა AI და საძიებო კრაულერების სახელით რეალური ბრაუზერის გვერდით, თითოეულისთვის თქვენს robots.txt-ს იყენებს, ჩელენჯის გვერდებს ამოიცნობს და აჩვენებს, რამდენი ტექსტი მოდის JavaScript-ის გარეშე. „ხილვადობა AI-ში“, რომელიც საცდელ პერიოდსა და ფასიან გეგმებშია ხელმისაწვდომი, თქვენს კითხვებს Claude-ს ვებძიებით უსვამს თქვენი საკუთარი API გასაღებით და აჩვენებს, ნახსენები ან ციტირებულია თუ არა თქვენი ბრენდი ან დომენი.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- AI კრაულერების IP შემოწმება
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
შემიძლია უფასოდ შევამოწმო, ხედავს თუ არა Claude ჩემს საიტს?
დიახ. თქვენი robots.txt, curl მოთხოვნა, სერვერის ლოგი და კითხვა Claude-ში არაფერი ღირს. AISeeWhy-ის უფასო შემოწმება Anthropic-ის აგენტებსა და 13 სხვა კრაულერს ერთი გვერდისთვის დღეში ერთხელ ამოწმებს, ანგარიშის გარეშე.
რატომ ვერ ხსნის Claude ჩემს საიტს, როცა ბმულს ვუგზავნი?
ჩვეულებრივი მიზეზებია ფაირვოლი ან ბოტებისგან დაცვა, რომელიც Anthropic-ის აგენტებს 403-ით ან ჩელენჯის გვერდით პასუხობს, robots.txt-ის წესი, რომელიც Claude-User-ს კრძალავს, ან გვერდი, რომლის ტექსტი მხოლოდ JavaScript-ის შესრულების შემდეგ ჩნდება. გამოსცადეთ URL curl-ით ბრაუზერის სახელით და Claude-ის ტოკენებით, ლოგებში კი დაბლოკილი მოთხოვნები შეამოწმეთ.
აქვეყნებს თუ არა Anthropic user agent-ის სტრიქონს, რომლითაც ტესტირება შემიძლია?
Anthropic-ის კრაულერების დახმარების გვერდი ჩამოთვლის ტოკენებს ClaudeBot, Claude-SearchBot და Claude-User, მაგრამ user agent-ის სრულ სტრიქონებს არა. Anthropic-ის ნამდვილი ტრაფიკის მიმბაძველებისგან გასარჩევად შეადარეთ წყარო IP სიას claude.com/crawling/bots.json-ზე.
რამდენ ხანში აღწევს robots.txt-ის ცვლილება Claude-მდე?
Anthropic ვადას არ ასახელებს. RFC 9309-ის მიხედვით კრაულერებმა ქეშირებული robots.txt 24 საათზე მეტხანს არ უნდა გამოიყენონ, ამიტომ სანამ შედეგს ლოგებში ან Claude-ის პასუხებში შეაფასებთ, სულ მცირე ერთი დღე დაელოდეთ.
იძლევა თუ არა Claude API იგივე პასუხებს, რასაც Claude-ის აპი?
აუცილებლად არა. აპმა შეიძლება თქვენი მიახლოებითი მდებარეობა და საკუთარი პარამეტრები გამოიყენოს, მაშინ როცა API მოთხოვნა იმ ხელსაწყოებსა და პარამეტრებს იყენებს, რომლებსაც თქვენ აგზავნით. API-ის შედეგები განიხილეთ როგორც განმეორებადი ტესტი და არა როგორც ასლი იმისა, რასაც თითოეული მომხმარებელი ხედავს.
როგორ გავიგო, ახსენებს თუ არა Claude ჩემს ბრენდს?
დაუსვით Claude-ს ჩართული ვებძიებით ის კითხვები, რომლებსაც თქვენი მყიდველები სვამენ, და ჩაიწერეთ, ასახელებს ან ციტირებს თუ არა ის თქვენს საიტს და რომელი კონკურენტები ჩნდება ნაცვლად. თითოეული კითხვა რამდენიმე კვირის განმავლობაში გაიმეორეთ, რადგან პასუხები იცვლება. AISeeWhy-ის „ხილვადობა AI-ში“ ამას ყოველკვირა აკეთებს Claude API-ით თქვენი გასაღებით, ოთხამდე კონკურენტის გვერდით.
წყაროები
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: კრაულერების IP მისამართების სია (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI კრაულერების წვდომის ანგარიში, 2026-11