Claude-ը տեսնո՞ւմ է իմ կայքը. ինչպես ստուգել
Claude-ը կարող է կարդալ ձեր էջը միայն այն դեպքում, եթե ձեր robots.txt-ը թույլատրում է Anthropic-ի գործակալներին, և ձեր սերվերը նրանց ուղարկում է նույն HTML-ը, ինչ բրաուզերին։ Ստուգեք, որ robots.txt-ը չի արգելում Claude-SearchBot-ին կամ Claude-User-ին, որ ձեր ֆայրվոլը նրանց չի պատասխանում 403-ով կամ ստուգման (challenge) էջով, և որ հիմնական տեքստը սկզբնական HTML-ում է։ Հետո փորձարկեք հենց Claude-ը. տեղադրեք ձեր URL-ը չատում և տվեք ձեր գնորդների հարցերը՝ վեբ որոնումը միացրած։
Եթե Claude-ին հարցնում եք ձեր արտադրանքի մասին, և նա մեջբերում է այլ կայքեր, առաջին հարցն այն է, թե արդյոք նա ընդհանրապես կարող է հասնել ձեր կայքին։ Սրան կարելի է պատասխանել ստուգումով։ Anthropic-ը հրապարակում է իր գործակալների robots.txt նշանները և այն IP հասցեները, որոնցից նրանք գալիս են, իսկ Claude-ը ցույց է տալիս իր օգտագործած աղբյուրները։ Այսպիսով, կարող եք հերթով ստուգել յուրաքանչյուր քայլ. ինչ է ասում ձեր robots.txt-ը, ինչ է ուղարկում ձեր սերվերը, ինչ են գրանցում ձեր լոգերը և ինչ է անում Claude-ը էջի հետ, երբ այն տալիս եք նրան։
Այս էջում
- 5 րոպեանոց ստուգում՝ քայլ առ քայլ
- Ինչպե՞ս է Claude-ը կարդում կայքերը
- Ինչպե՞ս ստուգել robots.txt-ով, արդյոք Claude-ը կարող է մուտք գործել իմ կայք
- Ինչպե՞ս ստուգել, թե ինչ են ստանում Claude-ի գործակալներն իմ սերվերից
- Ինչպե՞ս տեսնել, թե արդյոք Claude-ն իրականում այցելում է իմ կայք
- Ինչպե՞ս փորձարկել հենց Claude-ը իմ էջով
- Իսկ եթե Claude-ը կարող է կարդալ իմ էջը, բայց չի՞ մեջբերում այն
- Ինչպե՞ս է AISeeWhy-ը ստուգում սա
5 րոպեանոց ստուգում՝ քայլ առ քայլ
- Բացեք ձեր robots.txt-ը և համոզվեք, որ
Claude-SearchBot-ի,Claude-User-ի կամUser-agent: *-ի համար ոչ մի խումբ չի արգելում էջը։ClaudeBot-ը կարևոր է միայն ուսուցման համար։ - Գործարկեք էջի անվճար ստուգումը AISeeWhy-ում կամ ուղարկեք մեկ հարցում
Claude-Useruser agent-ով. այն պետք է ստանա 200 կարգավիճակ և նույն տեքստը, ինչ ստանում է բրաուզերը։ - Որոնեք ձեր մուտքի լոգում
Claude-SearchBotևClaude-Userև նայեք, թե ինչ կարգավիճակի կոդեր են նրանք ստացել։ - Տեղադրեք ձեր URL-ը Claude-ում միացված վեբ որոնմամբ, խնդրեք ամփոփել էջը, ապա տվեք մի հարց, որը տալիս են ձեր գնորդները, և ստուգեք մեջբերումները։
Եթե 1-ին կամ 2-րդ քայլը ձախողվում է, նախ ուղղեք հասանելիությունը. ստորև բաժինները ցույց են տալիս, թե ինչպես։ Եթե Claude-ը կարդում է էջը, բայց չի մեջբերում, աշխատեք բովանդակության վրա։
Ինչպե՞ս է Claude-ը կարդում կայքերը
Claude-ը վեբին հասնում է երկու եղանակով։ Վեբ որոնմամբ նա որոնում է, երբ հարցը թարմ տեղեկություն է պահանջում, դիտարկում է մի քանի աղբյուր և պատասխանում մեջբերումներով։ Anthropic-ի օգնության կենտրոնն ասում է, որ վեբ որոնում օգտագործող յուրաքանչյուր պատասխան ներառում է մեջբերումներ։ Երբ ինչ-որ մեկը Claude-ին տալիս է կոնկրետ հղում, նա կարող է ուղղակիորեն բացել այդ էջը։
Anthropic-ը դրա համար փաստաթղթավորում է երեք գործակալ, որոնցից յուրաքանչյուրն ունի իր robots.txt նշանը։ Claude-SearchBot-ը շրջանցում է վեբը՝ Claude-ի որոնման արդյունքները բարելավելու համար, Claude-User-ը բեռնում է էջեր, երբ դրանք պետք են օգտատիրոջ հարցին, իսկ ClaudeBot-ը հավաքում է բովանդակություն, որը կարող է օգտագործվել ուսուցման համար։ Anthropic-ի երեք ռոբոտների մասին մեր առանձին ուղեցույցը մանրամասն նկարագրում է, թե ինչ է անում յուրաքանչյուրը։ Կարդացվելու և մեջբերվելու համար ստուգել պետք է առաջին երկուսը։
Մեկ ազնիվ սահմանափակում. Anthropic-ը չի փաստաթղթավորում, թե Claude-ի վեբ որոնումը որ որոնողական ինդեքսն է օգտագործում կամ ինչպես է ընտրում աղբյուրները։ Այն ասում է, որ Claude-SearchBot-ի արգելափակումը կարող է նվազեցնել ձեր տեսանելիությունը որոնման արդյունքներում, իսկ Claude-User-ի արգելափակումը կանխում է բեռնումը օգտատերերի հարցերի համար։ Երկուսին էլ թույլատրելը մեջբերումը հնարավոր է դարձնում, բայց չի երաշխավորում։
Ինչպե՞ս ստուգել robots.txt-ով, արդյոք Claude-ը կարող է մուտք գործել իմ կայք
Բացեք https://yourdomain.com/robots.txt-ը և փնտրեք խմբեր, որոնք անվանում են Claude-SearchBot-ին կամ Claude-User-ին։ Եթե նրանցից ոչ մեկը նշված չէ, երկուսն էլ հետևում են User-agent: * խմբին։ Ըստ RFC 9309-ի՝ նշանների համեմատումը մեծատառ-փոքրատառ չի տարբերում, և կիրառվող խմբում Disallow: /-ը ամբողջ կայքը փակում է այդ գործակալի համար։
Ստուգեք նաև հենց պատասխանը։ Սերվերի սխալ վերադարձնող robots.txt-ը ռոբոտներին ասում է ենթադրել, որ ամեն ինչ արգելված է։ 404-ը նշանակում է, որ կանոններ չկան։ Երկու հրաման ցույց են տալիս կարգավիճակը և ֆայլի բոլոր խմբերը.
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic-ն ասում է, որ կանոնները պետք է լինեն յուրաքանչյուր ենթադոմենի վերին մակարդակի robots.txt-ում, ուստի blog.example.com-ին անհրաժեշտ է իր սեփական ֆայլը։ Այս արգելափակումները հազվադեպ չեն։ Ամենահայտնի 1 000 դոմենների մեր ուսումնասիրության մեջ robots.txt մատուցող 518 կայքերից 67-ը (12,9%) արգելում էին գլխավոր էջը Claude-SearchBot-ի համար և 68-ը (13,1%)՝ Claude-User-ի համար, մինչդեռ 110-ը (21,2%) նույնն անում էին ուսուցման ռոբոտի՝ ClaudeBot-ի համար։
Ինչպե՞ս ստուգել, թե ինչ են ստանում Claude-ի գործակալներն իմ սերվերից
robots.txt-ը խնդրանք է, ոչ թե մուտքի վերահսկում։ Ֆայրվոլը, CDN-ը կամ բոտերից պաշտպանությունը կարող են Anthropic-ի գործակալներին պատասխանել 403-ով, 429-ով կամ ստուգման էջով, մինչդեռ ձեր բրաուզերը էջը տեսնում է սովորական ձևով։ Anthropic-ն ասում է, որ իր բոտերը չեն փորձի շրջանցել CAPTCHA-ները, ուստի ստուգման էջն ավարտում է այցը։
Հարցրեք նույն URL-ը բրաուզերի user agent-ով և Anthropic-ի յուրաքանչյուր նշանով, ապա համեմատեք կարգավիճակը և չափը.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic-ի օգնության էջը նշում է նշանները, բայց չի հրապարակում user agent-ի ամբողջական տողերը, ուստի սրանք թեստային տողեր են, ոչ թե Anthropic-ի իրականները։ Դրանք ցույց են տալիս, թե ինչպես են անվանը համապատասխանող կանոնները վերաբերվում հարցմանը։ 403-ը, 429-ը կամ 503-ը միայն Claude-ի տողերի համար, կամ 200-ը, որը շատ ավելի փոքր է, քան բրաուզերինը, մատնանշում է ձեր ֆայրվոլը։
Ձեր թեստը գալիս է ձեր սեփական IP հասցեից։ Anthropic-ն ասում է, որ claude.com/crawling/bots.json ցանկի հասցեներից եկող հարցումները Anthropic-ից են։ Եթե ձեր ֆայրվոլը թույլատրում է հաստատված ռոբոտներին ըստ IP-ի, իրական գործակալները կարող են անցնել, մինչդեռ ձեր թեստն արգելափակվում է, և հակառակը նույնպես հնարավոր է։ Օգտագործեք ցանկը Anthropic-ին թույլատրելու, ոչ թե արգելափակելու համար. Anthropic-ը խորհուրդ չի տալիս արգելափակել ըստ IP-ի, քանի որ դա նաև խանգարում է նրա բոտերին կարդալ ձեր robots.txt-ը։
Ինչպե՞ս տեսնել, թե արդյոք Claude-ն իրականում այցելում է իմ կայք
Ձեր մուտքի լոգերը (access logs) ուղղակիորեն պատասխանում են սրան։ Փնտրեք դրանցում երեք նշանները, ապա ստուգեք, որ աղբյուր հասցեները Anthropic-ի հրապարակած տիրույթներում են, քանի որ ցանկացած մեկը կարող է պատճենել user agent-ի անունը.
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Առաջին հրամանը ենթադրում է տարածված combined լոգի ձևաչափը, որտեղ 1-ին դաշտը հաճախորդի հասցեն է, իսկ 9-րդը՝ կարգավիճակի կոդը։ Anthropic-ի գործակալների կողքին շատ 403 կամ 429 կոդերը հաստատում են ֆայրվոլի խնդիրը։ Claude-SearchBot-ի այցերի լրիվ բացակայությունը նշանակում է միայն, որ նա դեռ չի շրջանցել այդ էջերը, կամ որ ինչ-որ բան ավելի վաղ նրան կանգնեցնում է։
Ինչպե՞ս փորձարկել հենց Claude-ը իմ էջով
Բացեք չատ և տեղադրեք ձեր էջերից մեկի URL-ը այնպիսի խնդրանքով, ինչպիսին է «Ամփոփիր այս էջը»։ Anthropic-ի օգնության կենտրոնն ասում է, որ վեբ որոնումը միացված լինելու դեպքում Claude-ը կարող է բացել ձեր տրամադրած հղումները։ Եթե վեբ որոնումն անջատված է, միացրեք այն + ընտրացանկից. Anthropic-ի նոր Claude փորձառության մեջ անջատիչ չկա, և Claude-ը որոնում է, երբ դա օգնում է։ Team և Enterprise պլաններում սեփականատերը նախ պետք է միացնի վեբ որոնումը կազմակերպության համար։ Եթե Claude-ը չի կարողանում բացել ձեր էջը, մինչդեռ բրաուզերը կարողանում է, վերադարձեք ֆայրվոլի թեստին։
Հետո տվեք ձեր գնորդների հարցերը՝ առանց ձեր կայքը նշելու, և բացեք մեջբերված աղբյուրները։ Anthropic-ն ասում է, որ Claude-ը տեղայնացված արդյունքների համար կարող է օգտագործել ձեր IP հասցեից ենթադրված գտնվելու վայրը, ուստի պատասխանները կարող են տարբերվել ըստ վայրի և գործարկումից գործարկում։
Մշակողները կարող են սա կրկնել Claude API-ի միջոցով։ Վեբ որոնման գործիքը ընդունում է allowed_domains ցանկ, ուստի ձեր դոմենով սահմանափակված հարցումը ցույց է տալիս, թե արդյոք Claude-ի որոնումը հարցի համար վերադարձնում է ձեր էջերից որևէ մեկը.
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Որոնման դատարկ արդյունքները նշանակում են, որ Claude-ի որոնումը հարցի համար այդ դոմենում ոչինչ չի գտել։ Anthropic-ը API-ի վեբ որոնումների համար գանձում է թոքեններից բացի։ API-ի web fetch գործիքը նաև հայտնում է, թե ինչու էջը չհաջողվեց կարդալ. url_not_allowed-ը ընդգրկում է այնպիսի արգելափակումներ, ինչպիսին robots.txt-ն է, իսկ url_not_accessible-ը նշանակում է HTTP սխալ։ API-ի պատասխանները կարող են տարբերվել Claude-ի հավելվածներում ցուցադրվողից։
Իսկ եթե Claude-ը կարող է կարդալ իմ էջը, բայց չի՞ մեջբերում այն
Նախ համոզվեք, որ նրան անհրաժեշտ տեքստը ձեր սերվերի ուղարկած HTML-ում է։ Anthropic-ի API փաստաթղթերն ասում են, որ նրա web fetch գործիքը չի աջակցում JavaScript-ով ռենդերվող կայքերը, և Anthropic-ը չի ասում, որ իր ռոբոտները կատարում են սկրիպտներ։ Բեռնեք ձեր էջը curl-ով և ելքում փնտրեք նախադասություն ձեր հիմնական բովանդակությունից։ Եթե այն բացակայում է, սերվերային ռենդերինգը կամ նախառենդերինգը դա ուղղում է Claude-ի և այլ AI ռոբոտների մեծ մասի համար։
Դրանից հետո որոշում է հենց էջը։ Էջի հիմնական հարցի պատասխանը դրեք առաջին նախադասություններում, օգտագործեք վերնագրեր, որոնք համընկնում են մարդկանց տված հարցերին, նշեք հրատարակչին և ցույց տվեք ամսաթվերը։ Հետո համեմատեք ձեր էջը նույն հարցի համար Claude-ի մեջբերած էջի հետ. մեջբերված էջը հաճախ ավելի ուղղակի է պատասխանում հենց այդ հարցին։
Ինչպե՞ս է AISeeWhy-ը ստուգում սա
AISeeWhy-ի անվճար ստուգումը բեռնում է ձեր էջը որպես Claude-SearchBot, Claude-User, ClaudeBot և մյուս AI ու որոնողական ռոբոտները՝ իրական բրաուզերի կողքին, յուրաքանչյուրի նկատմամբ կիրառում է ձեր robots.txt-ը, ճանաչում է ստուգման էջերը և ցույց է տալիս, թե որքան տեքստ է հասնում առանց JavaScript-ի։ «Տեսանելիություն AI-ում» ստուգումը՝ վճարովի պլաններում, ձեր հարցերը տալիս է Claude-ին՝ վեբ որոնմամբ և ձեր սեփական API բանալիով, և ցույց է տալիս, թե արդյոք ձեր բրենդը կամ դոմենը նշված է կամ մեջբերված։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Կարո՞ղ եմ անվճար ստուգել, թե արդյոք Claude-ը տեսնում է իմ կայքը
Այո։ Ձեր robots.txt-ը, curl հարցումը, սերվերի լոգը և հարցը Claude-ում ոչինչ չարժեն։ AISeeWhy-ի անվճար ստուգումը փորձարկում է Anthropic-ի գործակալներին և 13 այլ ռոբոտներ մեկ էջի համար օրը մեկ անգամ՝ առանց հաշվի։
Ինչո՞ւ Claude-ը չի կարողանում բացել իմ կայքը, երբ տեղադրում եմ հղումը
Սովորական պատճառներն են ֆայրվոլը կամ բոտերից պաշտպանությունը, որը Anthropic-ի գործակալներին պատասխանում է 403-ով կամ ստուգման էջով, robots.txt-ի կանոնը, որն արգելում է Claude-User-ին, կամ էջը, որի տեքստը հայտնվում է միայն JavaScript-ի կատարումից հետո։ Փորձարկեք URL-ը curl-ով որպես բրաուզեր և Claude-ի նշաններով, և ստուգեք ձեր լոգերում արգելափակված հարցումները։
Anthropic-ը հրապարակո՞ւմ է user agent տող, որով կարող եմ փորձարկել
Anthropic-ի ռոբոտների օգնության էջը թվարկում է ClaudeBot, Claude-SearchBot և Claude-User նշանները, բայց ոչ user agent-ի ամբողջական տողերը։ Anthropic-ի իրական երթևեկը նմանակողներից տարբերելու համար համեմատեք աղբյուր IP-ն claude.com/crawling/bots.json ցանկի հետ։
Որքա՞ն ժամանակում է robots.txt-ի փոփոխությունը հասնում Claude-ին
Anthropic-ը ժամկետ չի նշում։ RFC 9309-ն ասում է, որ ռոբոտները չպետք է քեշավորված robots.txt-ն օգտագործեն 24 ժամից ավելի, ուստի սպասեք առնվազն մեկ օր, նախքան արդյունքը գնահատելը ձեր լոգերում կամ Claude-ի պատասխաններում։
Claude API-ը տալի՞ս է նույն պատասխանները, ինչ Claude հավելվածը
Պարտադիր չէ։ Հավելվածը կարող է օգտագործել ձեր մոտավոր գտնվելու վայրը և իր սեփական կարգավորումները, մինչդեռ API հարցումն օգտագործում է ձեր ուղարկած գործիքներն ու պարամետրերը։ API-ի արդյունքները դիտարկեք որպես կրկնելի թեստ, ոչ թե յուրաքանչյուր օգտատիրոջ տեսածի պատճեն։
Ինչպե՞ս իմանալ, թե արդյոք Claude-ը նշում է իմ բրենդը
Վեբ որոնումը միացրած՝ Claude-ին տվեք ձեր գնորդների հարցերը և նշեք, թե արդյոք նա անվանում կամ մեջբերում է ձեր կայքը, և փոխարենը որ մրցակիցներն են հայտնվում։ Կրկնեք յուրաքանչյուր հարց մի քանի շաբաթվա ընթացքում, քանի որ պատասխանները տարբերվում են։ AISeeWhy-ի «Տեսանելիություն AI-ում» ստուգումն անում է սա ամեն շաբաթ Claude API-ի միջոցով՝ ձեր բանալիով, մինչև չորս մրցակիցների կողքին։
Աղբյուրներ
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: ռոբոտների IP հասցեների ցանկ (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI ռոբոտների հասանելիության հաշվետվություն, 2026-11