Дали Claude го гледа мојот сајт? Како да проверите

Објавено · Ажурирано

Краток одговор

Claude може да ја прочита вашата страница само ако вашиот robots.txt ги дозволува агентите на Anthropic и ако серверот им го праќа истиот HTML што го добива прелистувачот. Проверете дали robots.txt не ги забранува Claude-SearchBot или Claude-User, дали заштитниот ѕид не им одговара со 403 или страница со предизвик и дали главниот текст е во почетниот HTML. Потоа тестирајте го самиот Claude: залепете го вашиот URL во разговор и, со вклучено веб-пребарување, поставете ги прашањата што ги поставуваат вашите купувачи.

Ако го прашате Claude за вашиот производ, а тој цитира други сајтови, првото прашање е дали воопшто може да стигне до вашиот. На тоа може да се одговори со тест. Anthropic ги објавува robots.txt ознаките на своите агенти и IP адресите од кои доаѓаат, а Claude ги покажува изворите што ги користел. Затоа можете да го проверите секој чекор по ред: што вели вашиот robots.txt, што праќа вашиот сервер, што бележат вашите дневници и што прави Claude со страница кога ќе му ја дадете.

На оваа страница
  1. Проверката за 5 минути, чекор по чекор
  2. Како Claude ги чита веб-сајтовите?
  3. Како да проверам дали Claude може да пристапи до мојот сајт преку robots.txt?
  4. Како да тестирам што добиваат агентите на Claude од мојот сервер?
  5. Како да видам дали Claude навистина го посетува мојот сајт?
  6. Како да го тестирам самиот Claude со мојата страница?
  7. Што ако Claude може да ја прочита мојата страница, но сепак не ја цитира?
  8. Како AISeeWhy го проверува ова?

Проверката за 5 минути, чекор по чекор

  1. Отворете го вашиот robots.txt и уверете се дека ниедна група за Claude-SearchBot, Claude-User или User-agent: * не ја забранува страницата. ClaudeBot е важен само за обуката.
  2. Извршете бесплатна проверка на страницата на AISeeWhy или испратете едно барање со user agent Claude-User: мора да добие статус 200 и истиот текст што го добива прелистувач.
  3. Пребарајте го вашиот access log за Claude-SearchBot и Claude-User и погледнете ги статус-кодовите што ги добиле.
  4. Залепете го вашиот URL во Claude со вклучено веб-пребарување, побарајте да ја сумира страницата, потоа поставете прашање што го поставуваат вашите купувачи и проверете ги цитатите.

Ако чекорот 1 или 2 не помине, прво поправете го пристапот; деловите подолу покажуваат како. Ако Claude ја чита страницата, но не ја цитира, работете на содржината.

Како Claude ги чита веб-сајтовите?

Claude стигнува до интернетот на два начина. Со веб-пребарување, пребарува кога прашањето бара актуелни информации, прегледува неколку извори и одговара со цитати. Центарот за помош на Anthropic наведува дека секој одговор што користи веб-пребарување содржи цитати. Кога некој ќе му даде на Claude конкретна врска, тој може директно да ја отвори таа страница.

Anthropic документира три агенти за ова, секој со своја robots.txt ознака. Claude-SearchBot обиколува сајтови за да ги подобри резултатите од пребарувањето на Claude, Claude-User презема страници кога се потребни за прашање на корисник, а ClaudeBot собира содржина што може да се користи за обука. Нашиот посебен водич за трите краулери на Anthropic детално опишува што прави секој од нив. За да бидете прочитани и цитирани, треба да ги проверите првите два.

Едно искрено ограничување: Anthropic не документира кој индекс за пребарување го користи веб-пребарувањето на Claude ниту како ги избира изворите. Наведува дека блокирањето на Claude-SearchBot може да ја намали вашата видливост во резултатите од пребарувањето, а блокирањето на Claude-User го спречува преземањето за прашањата на корисниците. Дозволувањето на двата го прави цитирањето можно, но не го гарантира.

Како да проверам дали Claude може да пристапи до мојот сајт преку robots.txt?

Отворете https://yourdomain.com/robots.txt и побарајте групи што ги именуваат Claude-SearchBot или Claude-User. Ако ниту еден не е именуван, двата ја следат групата User-agent: *. Според RFC 9309, совпаѓањето на ознаките не зависи од големи и мали букви, а Disallow: / во групата што се применува го затвора целиот сајт за тој агент.

Проверете го и самиот одговор. Ако robots.txt враќа серверска грешка, краулерите треба да претпостават дека сè е забрането. 404 значи дека нема правила. Две команди го покажуваат статусот и секоја група во датотеката:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic наведува дека правилата мора да бидат во robots.txt на највисокото ниво на секој поддомен, па blog.example.com има потреба од своја датотека. Ваквите блокирања не се ретки. Во нашето истражување на 1.000 најпопуларни домени, 67 од 518-те сајтови што враќаа robots.txt (12,9%) ја забрануваа почетната страница за Claude-SearchBot и 68 (13,1%) за Claude-User, додека 110 (21,2%) го правеа тоа за краулерот за обука ClaudeBot.

Како да тестирам што добиваат агентите на Claude од мојот сервер?

robots.txt е барање, а не контрола на пристапот. Заштитен ѕид, CDN или заштита од ботови може да им одговори на агентите на Anthropic со 403, 429 или страница со предизвик, додека вашиот прелистувач ја гледа страницата нормално. Anthropic наведува дека неговите ботови нема да се обидуваат да заобиколат CAPTCHA, па страницата со предизвик ја завршува посетата.

Побарајте го истиот URL со кориснички агент на прелистувач и со секоја ознака на Anthropic, па споредете ги статусот и големината:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Страницата за помош на Anthropic ги именува ознаките, но не објавува целосни низи на кориснички агент, па ова се тест-низи, а не вистинските на Anthropic. Тие покажуваат како правилата што го споредуваат името се однесуваат кон барањето. 403, 429 или 503 само за редовите на Claude, или 200 што е многу помал од одговорот за прелистувачот, укажува на вашиот заштитен ѕид.

Вашиот тест доаѓа од вашата IP адреса. Anthropic наведува дека барањата од адресите во неговата листа claude.com/crawling/bots.json се од Anthropic. Ако вашиот заштитен ѕид ги дозволува потврдените краулери според IP, вистинските агенти може да поминат додека вашиот тест е блокиран, а можно е и обратното. Користете ја листата за да го дозволите Anthropic, а не за да го блокирате: Anthropic не препорачува блокирање по IP, бидејќи тоа ги спречува неговите ботови да го прочитаат и вашиот robots.txt.

Како да видам дали Claude навистина го посетува мојот сајт?

Вашите дневници за пристап директно одговараат на ова. Пребарајте ги за трите ознаки, па проверете дали изворните адреси спаѓаат во опсезите што ги објавува Anthropic, бидејќи секој може да го копира името на корисничкиот агент:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Првата команда претпоставува вообичаен combined формат на дневникот, каде поле 1 е адресата на клиентот, а поле 9 статусниот код. Многу кодови 403 или 429 кај агентите на Anthropic потврдуваат проблем со заштитниот ѕид. Ако воопшто нема посети од Claude-SearchBot, тоа значи само дека сè уште не ги обиколил тие страници или дека нешто порано го запира.

Како да го тестирам самиот Claude со мојата страница?

Отворете разговор и залепете го URL-то на една од вашите страници со барање како „Резимирај ја оваа страница“. Центарот за помош на Anthropic наведува дека со вклучено веб-пребарување Claude може да ги отвора врските што ќе ги дадете. Ако веб-пребарувањето е исклучено, вклучете го од менито +; во поновото искуство на Claude на Anthropic нема прекинувач и Claude пребарува кога тоа помага. На плановите Team и Enterprise, сопственикот прво мора да го овозможи веб-пребарувањето за организацијата. Ако Claude не може да ја отвори вашата страница, а прелистувачот може, вратете се на тестот на заштитниот ѕид.

Потоа поставете ги прашањата што ги поставуваат вашите купувачи, без да го именувате вашиот сајт, и отворете ги цитираните извори. Anthropic наведува дека Claude може да користи локација одредена од вашата IP адреса за локализирани резултати, па одговорите може да се разликуваат според местото и меѓу обидите.

Програмерите можат да го повторат ова преку Claude API. Алатката за веб-пребарување прима листа allowed_domains, па барање ограничено на вашиот домен покажува дали пребарувањето на Claude враќа некоја од вашите страници за дадено прашање:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Празни резултати од пребарувањето значат дека пребарувањето на Claude не нашло ништо на тој домен за прашањето. Anthropic наплаќа API веб-пребарувања дополнително на токените. Алатката за веб-преземање на API исто така кажува зошто страницата не можела да се прочита: url_not_allowed опфаќа блокирања како robots.txt, а url_not_accessible значи HTTP грешка. Одговорите од API може да се разликуваат од она што го покажуваат апликациите на Claude.

Што ако Claude може да ја прочита мојата страница, но сепак не ја цитира?

Прво осигурете се дека текстот што му треба е во HTML-от што го праќа вашиот сервер. API документацијата на Anthropic наведува дека неговата алатка за веб-преземање не поддржува сајтови што се рендерираат со JavaScript, а Anthropic не вели дека неговите краулери извршуваат скрипти. Преземете ја страницата со curl и пребарајте го излезот за реченица од главната содржина. Ако ја нема, рендерирањето на серверот или претходното рендерирање го решава ова за Claude и за повеќето други AI краулери.

Потоа одлучува самата страница. Ставете го одговорот на главното прашање на страницата во нејзините први реченици, користете наслови што одговараат на прашањата што луѓето ги поставуваат, именувајте го издавачот и прикажете датуми. Потоа споредете ја вашата страница со онаа што Claude ја цитира за истото прашање: цитираната страница често одговара поодредено токму на тоа прашање.

Како AISeeWhy го проверува ова?

Бесплатната проверка на AISeeWhy ја презема вашата страница како Claude-SearchBot, Claude-User, ClaudeBot и другите AI краулери и краулери за пребарување покрај вистински прелистувач, го применува вашиот robots.txt за секој од нив, ги препознава страниците со предизвик и покажува колку текст пристигнува без JavaScript. Проверката „Видливост во AI“, во платените планови, ги поставува вашите прашања преку Claude со веб-пребарување со вашиот сопствен API клуч и покажува дали вашиот бренд или домен е спомнат или цитиран.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Можам ли бесплатно да проверам дали Claude го гледа мојот сајт?

Да. Вашиот robots.txt, барање со curl, дневникот на серверот и прашање во Claude не чинат ништо. Бесплатната проверка на AISeeWhy ги тестира агентите на Anthropic и 13 други краулери за една страница дневно, без сметка.

Зошто Claude не може да го отвори мојот сајт кога ќе ја залепам врската?

Вообичаените причини се заштитен ѕид или заштита од ботови што им одговара на агентите на Anthropic со 403 или страница со предизвик, правило во robots.txt што го забранува Claude-User, или страница чиј текст се појавува само откако ќе се изврши JavaScript. Тестирајте го URL-то со curl како прелистувач и со ознаките на Claude и проверете ги дневниците за блокирани барања.

Дали Anthropic објавува низа на кориснички агент со која можам да тестирам?

Страницата за помош за краулерите на Anthropic ги наведува ознаките ClaudeBot, Claude-SearchBot и Claude-User, но не и целосни низи на кориснички агент. За да го разликувате вистинскиот сообраќај од Anthropic од имитаторите, споредете ја изворната IP адреса со листата на claude.com/crawling/bots.json.

За колку време промената во robots.txt стигнува до Claude?

Anthropic не дава рок. RFC 9309 вели дека краулерите не треба да користат кеширан robots.txt подолго од 24 часа, па почекајте барем еден ден пред да го оцените резултатот во дневниците или во одговорите на Claude.

Дали Claude API дава исти одговори како апликацијата Claude?

Не мора. Апликацијата може да ја користи вашата приближна локација и сопствените поставки, додека API барањето ги користи алатките и параметрите што вие ги праќате. Сметајте ги резултатите од API како тест што може да се повтори, а не како копија од она што го гледа секој корисник.

Како да знам дали Claude го спомнува мојот бренд?

Поставете му ги на Claude, со вклучено веб-пребарување, прашањата што ги поставуваат вашите купувачи и забележете дали го именува или цитира вашиот сајт и кои конкуренти се појавуваат наместо вас. Повторувајте го секое прашање во текот на неколку недели, бидејќи одговорите се менуваат. Проверката „Видливост во AI“ на AISeeWhy го прави ова секоја недела преку Claude API со вашиот клуч, покрај најмногу четири конкуренти.

Извори

Уште статии