Да ли Claude види мој сајт? Како да проверите
Claude може да прочита вашу страницу само ако ваш robots.txt дозвољава Anthropic-ове агенте и ако им сервер шаље исти HTML који добија прегледач. Проверите да robots.txt не забрањује Claude-SearchBot ни Claude-User, да им заштитни зид не одговара са 403 или страницом са изазовом и да се главни текст налази у почетном HTML-у. Затим тестирајте сам Claude: налепите URL у разговор и, са укљученом претрагом веба, поставите питања која постављају ваши купци.
Ако питате Claude о свом производу, а он цитира друге сајтове, прво питање је да ли уопште може да дође до вашег. На то питање постоји одговор који се може проверити. Anthropic објављује robots.txt токене својих агената и IP адресе са којих долазе, а Claude приказује изворе које је користио. Зато сваки корак можете да проверите редом: шта каже ваш robots.txt, шта шаље ваш сервер, шта бележе ваши логови и шта Claude ради са страницом када му је дате.
На овој страници
- Провера од 5 минута, корак по корак
- Како Claude чита сајтове?
- Како да кроз robots.txt проверим да ли Claude може да приступи мом сајту?
- Како да тестирам шта Claude-ови агенти добијају од мог сервера?
- Како да видим да ли Claude заиста посећује мој сајт?
- Како да тестирам сам Claude са својом страницом?
- Шта ако Claude може да прочита моју страницу, али је ипак не цитира?
- Како AISeeWhy ово проверава?
Провера од 5 минута, корак по корак
- Отворите свој robots.txt и уверите се да ниједна група за
Claude-SearchBot,Claude-UserилиUser-agent: *не забрањује страницу.ClaudeBotје важан само за обуку. - Покрените бесплатну проверу странице на AISeeWhy или пошаљите један захтев са user agent-ом
Claude-User: мора да добије статус 200 и исти текст који добија прегледач. - Потражите
Claude-SearchBotиClaude-Userу свом приступном логу и погледајте статусне кодове које су добили. - Налепите свој URL у Claude са укљученом веб-претрагом, замолите га да сажме страницу, затим поставите питање које постављају ваши купци и проверите цитате.
Ако 1. или 2. корак не прође, прво исправите приступ; одељци у наставку показују како. Ако Claude чита страницу, али је не цитира, радите на садржају.
Како Claude чита сајтове?
Claude долази до веба на два начина. Са претрагом веба, претражује када питање захтева актуелне информације, прегледа неколико извора и одговара уз цитате. Anthropic-ов центар за помоћ наводи да сваки одговор који користи претрагу веба садржи цитате. Када неко Claude-у да конкретан линк, он може директно да отвори ту страницу.
Anthropic за то документује три агента, сваки са сопственим robots.txt токеном. Claude-SearchBot пролази кроз сајтове да би побољшао резултате претраге у Claude-у, Claude-User преузима странице када су потребне за питање корисника, а ClaudeBot прикупља садржај који може да се користи за тренирање. Наш посебан водич о три Anthropic-ова краулера детаљно описује шта сваки од њих ради. Да бисте били прочитани и цитирани, проверите прва два.
Једно искрено ограничење: Anthropic не документује који индекс претраге користи Claude-ова претрага веба ни како бира изворе. Наводи да блокирање Claude-SearchBot агента може да смањи вашу видљивост у резултатима претраге, а да блокирање Claude-User агента спречава преузимање за питања корисника. Ако дозволите оба, цитат постаје могућ, али није загарантован.
Како да кроз robots.txt проверим да ли Claude може да приступи мом сајту?
Отворите https://yourdomain.com/robots.txt и потражите групе које именују Claude-SearchBot или Claude-User. Ако ниједан није именован, оба прате групу User-agent: *. Према RFC 9309 поређење токена не разликује велика и мала слова, а Disallow: / у групи која се примењује затвара цео сајт за тог агента.
Проверите и сам одговор. robots.txt који враћа грешку сервера говори краулерима да претпоставе да је све забрањено. 404 значи да нема правила. Две команде приказују статус и сваку групу у фајлу:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic наводи да правила морају да буду у robots.txt-у на највишем нивоу сваког поддомена, па blog.example.com мора да има свој фајл. Ове блокаде нису ретке. У нашој студији 1.000 најпопуларнијих домена, од 518 сајтова који су служили robots.txt, 67 (12,9%) је забранило почетну страницу за Claude-SearchBot, а 68 (13,1%) за Claude-User, док је 110 (21,2%) то учинило за краулер за тренирање ClaudeBot.
Како да тестирам шта Claude-ови агенти добијају од мог сервера?
robots.txt је молба, а не контрола приступа. Заштитни зид, CDN или заштита од ботова може Anthropic-овим агентима да одговори са 403, 429 или страницом са изазовом, док ваш прегледач страницу види нормално. Anthropic наводи да његови ботови неће покушавати да заобиђу CAPTCHA, па страница са изазовом завршава посету.
Захтевајте исти URL са user agent-ом прегледача и са сваким Anthropic-овим токеном, па упоредите статус и величину:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic-ова страница помоћи именује токене, али не објављује пуне user agent стрингове, па су ово тест стрингови, а не Anthropic-ови прави. Показују како правила која се поклапају по имену третирају захтев. 403, 429 или 503 само за редове са Claude-ом, или 200 који је много мањи од одговора прегледачу, указује на ваш заштитни зид.
Ваш тест долази са ваше IP адресе. Anthropic наводи да захтеви са адреса са његове листе на claude.com/crawling/bots.json долазе од Anthropic-а. Ако ваш заштитни зид пропушта верификоване краулере по IP адреси, прави агенти могу да прођу док је ваш тест блокиран, а могуће је и обрнуто. Користите листу да бисте дозволили Anthropic, а не да бисте га блокирали: Anthropic не препоручује блокирање по IP адреси, јер тако његови ботови не могу да прочитају ни ваш robots.txt.
Како да видим да ли Claude заиста посећује мој сајт?
Ваши логови приступа на ово директно одговарају. Претражите их по сва три токена, а затим проверите да ли изворне адресе спадају у Anthropic-ове објављене опсеге, јер свако може да копира име user agent-а:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Прва команда претпоставља уобичајени combined формат лога, у којем је поље 1 адреса клијента, а поље 9 статусни код. Много кодова 403 или 429 поред Anthropic-ових агената потврђује проблем са заштитним зидом. Ако посета од Claude-SearchBot агента уопште нема, то значи само да још није прошао кроз те странице или да га нешто раније зауставља.
Како да тестирам сам Claude са својом страницом?
Отворите разговор и налепите URL неке своје странице са захтевом као што је „Сажми ову страницу”. Anthropic-ов центар за помоћ наводи да са укљученом претрагом веба Claude може да отвори линкове које му дате. Ако је претрага веба искључена, укључите је из менија +; у Anthropic-овом новијем Claude искуству прекидача нема и Claude претражује када то помаже. На плановима Team и Enterprise власник прво мора да укључи претрагу веба за организацију. Ако Claude не може да отвори вашу страницу, а прегледач може, вратите се на тест заштитног зида.
Затим поставите питања која постављају ваши купци, без помињања свог сајта, и отворите цитиране изворе. Anthropic наводи да Claude може да користи локацију изведену из ваше IP адресе за локализоване резултате, па се одговори могу разликовати по месту и од покретања до покретања.
Програмери ово могу да понове преко Claude API-ја. Алатка за претрагу веба прима листу allowed_domains, па захтев ограничен на ваш домен показује да ли Claude-ова претрага за неко питање враћа иједну вашу страницу:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Празни резултати претраге значе да Claude-ова претрага за то питање није пронашла ништа на том домену. Anthropic претраге веба преко API-ја наплаћује поред токена. API-јева алатка за преузимање веба такође пријављује зашто страница није могла да се прочита: url_not_allowed покрива блокаде као што је robots.txt, а url_not_accessible значи HTTP грешку. Одговори преко API-ја могу да се разликују од онога што приказују Claude апликације.
Шта ако Claude може да прочита моју страницу, али је ипак не цитира?
Прво се уверите да се текст који му треба налази у HTML-у који ваш сервер шаље. Anthropic-ова API документација наводи да његова алатка за преузимање веба не подржава сајтове који се рендерују JavaScript-ом, а Anthropic не каже да његови краулери извршавају скрипте. Преузмите страницу са curl и у излазу потражите реченицу из главног садржаја. Ако је нема, рендеровање на серверу или претходно рендеровање то решава за Claude и за већину других AI краулера.
После тога одлучује сама страница. Ставите одговор на главно питање странице у прве реченице, користите наслове који одговарају питањима која људи постављају, наведите издавача и прикажите датуме. Затим упоредите своју страницу са оном коју Claude цитира за исто питање: цитирана страница често директније одговара баш на то питање.
Како AISeeWhy ово проверава?
Бесплатна AISeeWhy провера преузима вашу страницу као Claude-SearchBot, Claude-User, ClaudeBot и други AI краулери и краулери претраживача поред правог прегледача, примењује ваш robots.txt на сваки од њих, препознаје странице са изазовом и показује колико текста стиже без JavaScript-а. Провера AI видљивости, у плаћеним плановима, поставља ваша питања преко Claude-а са претрагом веба уз ваш сопствени API кључ и показује да ли се ваш бренд или домен помиње или цитира.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Могу ли бесплатно да проверим да ли Claude види мој сајт?
Да. Ваш robots.txt, curl захтев, серверски лог и питање у Claude-у не коштају ништа. Бесплатна AISeeWhy провера тестира Anthropic-ове агенте и 13 других краулера за једну страницу дневно, без налога.
Зашто Claude не може да отвори мој сајт када налепим линк?
Уобичајени узроци су заштитни зид или заштита од ботова који Anthropic-овим агентима одговарају са 403 или страницом са изазовом, правило у robots.txt-у које забрањује Claude-User, или страница чији се текст појављује тек када се изврши JavaScript. Тестирајте URL помоћу curl као прегледач и са Claude токенима и потражите блокиране захтеве у логовима.
Да ли Anthropic објављује user agent стринг са којим могу да тестирам?
Anthropic-ова страница помоћи о краулерима наводи токене ClaudeBot, Claude-SearchBot и Claude-User, али не и пуне user agent стрингове. Да бисте прави Anthropic-ов саобраћај разликовали од имитатора, упоредите изворну IP адресу са листом на claude.com/crawling/bots.json.
Колико треба да измена у robots.txt-у стигне до Claude-а?
Anthropic не наводи рок. RFC 9309 каже да краулери не би требало да користе кеширани robots.txt дуже од 24 сата, па сачекајте бар дан пре него што процените резултат у логовима или у Claude-овим одговорима.
Да ли Claude API даје исте одговоре као апликација Claude?
Не нужно. Апликација може да користи вашу приближну локацију и сопствена подешавања, док захтев преко API-ја користи алатке и параметре које ви пошаљете. Резултате из API-ја третирајте као поновљив тест, а не као копију онога што види сваки корисник.
Како да сазнам да ли Claude помиње мој бренд?
Поставите Claude-у, са укљученом претрагом веба, питања која постављају ваши купци и забележите да ли именује или цитира ваш сајт и који се конкуренти појављују уместо вас. Поновите свако питање током неколико недеља, јер се одговори разликују. AISeeWhy провера AI видљивости то ради сваке недеље преко Claude API-ја са вашим кључем, поред највише четири конкурента.
Извори
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: листа IP адреса краулера (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: извештај о приступу AI краулера, 2026-11