Вижда ли Claude сайта ми? Как да проверите
Claude може да прочете страницата ви само ако robots.txt разрешава агентите на Anthropic и сървърът ви им изпраща същия HTML, който получава браузърът. Проверете дали robots.txt не забранява Claude-SearchBot или Claude-User, дали защитната стена не им отговаря с 403 или страница за проверка и дали основният текст е в първоначалния HTML. След това тествайте самия Claude: поставете URL адреса си в чат и задайте въпросите на купувачите си с включено търсене в мрежата.
Ако питате Claude за продукта си, а той цитира други сайтове, първият въпрос е дали изобщо може да достигне до вашия. На него може да се отговори с тест. Anthropic публикува токените за robots.txt на агентите си и IP адресите, от които идват, а Claude показва източниците, които е използвал. Затова можете да проверите всяка стъпка поред: какво казва robots.txt, какво изпраща сървърът ви, какво записват логовете ви и какво прави Claude със страница, когато му я дадете.
На тази страница
- Проверката за 5 минути, стъпка по стъпка
- Как Claude чете уебсайтове?
- Как да проверя дали Claude има достъп до сайта ми през robots.txt?
- Как да тествам какво получават агентите на Claude от сървъра ми?
- Как да видя дали Claude наистина посещава сайта ми?
- Как да тествам самия Claude със страницата си?
- Какво да направя, ако Claude чете страницата ми, но не я цитира?
- Как AISeeWhy проверява това?
Проверката за 5 минути, стъпка по стъпка
- Отворете robots.txt и се уверете, че никоя група за
Claude-SearchBot,Claude-UserилиUser-agent: *не забранява страницата.ClaudeBotима значение само за обучението. - Пуснете безплатна проверка на страницата в AISeeWhy или изпратете една заявка с user agent
Claude-User: тя трябва да получи статус 200 и същия текст, който получава браузър. - Потърсете в access log
Claude-SearchBotиClaude-Userи вижте какви статус кодове са получили. - Поставете URL адреса си в Claude с включено търсене в мрежата, помолете го да обобщи страницата, после задайте въпрос, който задават купувачите ви, и проверете цитатите.
Ако стъпка 1 или 2 не мине, първо поправете достъпа; разделите по-долу показват как. Ако Claude чете страницата, но не я цитира, работете върху съдържанието.
Как Claude чете уебсайтове?
Claude достига до мрежата по два начина. С търсенето в мрежата той търси, когато въпросът изисква актуална информация, преглежда няколко източника и отговаря с цитати. Помощният център на Anthropic посочва, че всеки отговор, който използва търсене в мрежата, съдържа цитати. Когато някой даде на Claude конкретна връзка, той може да отвори директно тази страница.
Anthropic документира три агента за това, всеки със собствен токен в robots.txt. Claude-SearchBot обхожда страници, за да подобри резултатите от търсенето в Claude, Claude-User изтегля страници, когато въпрос на потребител ги изисква, а ClaudeBot събира съдържание, което може да се използва за обучение. Отделното ни ръководство за трите бота на Anthropic описва подробно какво прави всеки от тях. За да бъдете прочетени и цитирани, проверявате първите два.
Едно честно ограничение: Anthropic не документира кой индекс за търсене използва търсенето в мрежата на Claude, нито как избира източници. Компанията казва, че блокирането на Claude-SearchBot може да намали видимостта ви в резултатите от търсенето, а блокирането на Claude-User спира извличането при въпроси на потребители. Ако разрешите и двата, цитирането става възможно, но не е гарантирано.
Как да проверя дали Claude има достъп до сайта ми през robots.txt?
Отворете https://yourdomain.com/robots.txt и потърсете групи, които назовават Claude-SearchBot или Claude-User. Ако нито един не е назован, и двата следват групата User-agent: *. Според RFC 9309 сравняването на токените не зависи от главни и малки букви, а Disallow: / в приложимата група затваря целия сайт за този агент.
Проверете и самия отговор. robots.txt, който връща сървърна грешка, казва на ботовете да приемат, че всичко е забранено. 404 означава, че няма правила. Две команди показват статуса и всяка група във файла:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic посочва, че правилата трябва да са в robots.txt на най-горното ниво на всеки поддомейн, така че blog.example.com има нужда от собствен файл. Тези блокирания не са рядкост. В нашето проучване на 1000-те най-популярни домейна 67 от 518-те сайта с robots.txt (12,9%) забраняваха началната страница за Claude-SearchBot и 68 (13,1%) за Claude-User, докато 110 (21,2%) го правеха за бота за обучение ClaudeBot.
Как да тествам какво получават агентите на Claude от сървъра ми?
robots.txt е молба, а не контрол на достъпа. Защитна стена, CDN или защита от ботове може да отговори на агентите на Anthropic с 403, 429 или страница за проверка, докато вашият браузър вижда страницата нормално. Anthropic казва, че ботовете ѝ няма да се опитват да заобикалят CAPTCHA, така че страницата за проверка слага край на посещението.
Заявете същия URL с браузърен user agent и с всеки токен на Anthropic, след това сравнете статуса и размера:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Помощната страница на Anthropic назовава токените, но не публикува пълни user agent низове, така че това са тестови низове, а не истинските на Anthropic. Те показват как правилата, които проверяват името, третират заявката. 403, 429 или 503 само за редовете на Claude, или 200, който е много по-малък от този на браузъра, сочат към защитната ви стена.
Тестът ви идва от собствения ви IP адрес. Anthropic казва, че заявките от адреси в списъка ѝ на claude.com/crawling/bots.json са от Anthropic. Ако защитната ви стена пропуска проверени ботове по IP, истинските агенти може да минават, докато тестът ви е блокиран, а е възможно и обратното. Използвайте списъка, за да разрешите Anthropic, а не за да го блокирате: Anthropic не препоръчва блокиране по IP, защото така ботовете ѝ не могат да прочетат и robots.txt.
Как да видя дали Claude наистина посещава сайта ми?
Логовете за достъп отговарят на това директно. Потърсете в тях трите токена, след това проверете дали адресите на източника попадат в публикуваните диапазони на Anthropic, защото всеки може да копира името на user agent:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Първата команда предполага разпространения формат combined, в който поле 1 е адресът на клиента, а поле 9 е статус кодът. Много кодове 403 или 429 до агентите на Anthropic потвърждават проблем със защитната стена. Липсата на посещения от Claude-SearchBot означава само, че той още не е обходил тези страници или че нещо по-рано го спира.
Как да тествам самия Claude със страницата си?
Отворете чат и поставете URL адреса на една от страниците си с молба като „Обобщи тази страница“. Помощният център на Anthropic посочва, че с включено търсене в мрежата Claude може да отваря връзки, които му давате. Ако търсенето в мрежата е изключено, включете го от менюто +; в по-новата версия на Claude няма превключвател и Claude търси, когато това помага. В плановете Team и Enterprise собственик трябва първо да разреши търсенето в мрежата за организацията. Ако Claude не може да отвори страницата ви, а браузър може, върнете се към теста на защитната стена.
След това задайте въпросите, които задават купувачите ви, без да назовавате сайта си, и отворете цитираните източници. Anthropic казва, че Claude може да използва местоположение, определено по IP адреса ви, за локализирани резултати, така че отговорите може да се различават според мястото и при отделните изпълнения.
Разработчиците могат да повторят това през Claude API. Инструментът за търсене в мрежата приема списък allowed_domains, така че заявка, ограничена до вашия домейн, показва дали търсенето на Claude връща някоя от страниците ви за даден въпрос:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Празни резултати от търсенето означават, че търсенето на Claude не е намерило нищо в този домейн за въпроса. Anthropic таксува търсенията в мрежата през API отделно от токените. Инструментът web fetch на API също съобщава защо страница не е могла да бъде прочетена: url_not_allowed покрива блокирания като robots.txt, а url_not_accessible означава HTTP грешка. Отговорите през API може да се различават от това, което показват приложенията на Claude.
Какво да направя, ако Claude чете страницата ми, но не я цитира?
Първо се уверете, че нужният текст е в HTML, който изпраща сървърът ви. Документацията на API на Anthropic посочва, че инструментът web fetch не поддържа сайтове, рендирани с JavaScript, а Anthropic не казва, че ботовете ѝ изпълняват скриптове. Изтеглете страницата си с curl и потърсете в резултата изречение от основното съдържание. Ако липсва, рендирането от страна на сървъра или предварителното рендиране решава това за Claude и за повечето други AI ботове.
След това решава самата страница. Сложете отговора на главния въпрос на страницата в първите ѝ изречения, използвайте заглавия, които съвпадат с въпросите, които хората задават, посочете издателя и покажете дати. След това сравнете страницата си с тази, която Claude цитира за същия въпрос: цитираната страница често отговаря на точно този въпрос по-директно.
Как AISeeWhy проверява това?
Безплатната проверка на AISeeWhy изтегля страницата ви като Claude-SearchBot, Claude-User, ClaudeBot и другите AI ботове и ботове на търсачки редом с истински браузър, прилага robots.txt за всеки от тях, разпознава страници за проверка и показва колко текст пристига без JavaScript. Проверката на AI видимостта, в платените планове, задава въпросите ви през Claude с търсене в мрежата с вашия собствен API ключ и показва дали марката или домейнът ви се споменава или цитира.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Мога ли безплатно да проверя дали Claude вижда сайта ми?
Да. robots.txt, заявка с curl, сървърният лог и въпрос в Claude не струват нищо. Безплатната проверка на AISeeWhy тества агентите на Anthropic и 13 други бота за една страница на ден без профил.
Защо Claude не може да отвори сайта ми, когато поставя връзката?
Обичайните причини са защитна стена или защита от ботове, която отговаря на агентите на Anthropic с 403 или страница за проверка, правило в robots.txt, което забранява Claude-User, или страница, чийто текст се появява едва след изпълнение на JavaScript. Тествайте URL адреса с curl като браузър и с токените на Claude и потърсете блокирани заявки в логовете си.
Публикува ли Anthropic user agent низ, с който да тествам?
Помощната страница на Anthropic за ботовете изброява токените ClaudeBot, Claude-SearchBot и Claude-User, но не и пълни user agent низове. За да различите истинския трафик на Anthropic от имитатори, сравнете IP адреса на източника със списъка на claude.com/crawling/bots.json.
За колко време промяна в robots.txt стига до Claude?
Anthropic не посочва срок. RFC 9309 казва, че ботовете не бива да използват кеширан robots.txt повече от 24 часа, така че изчакайте поне ден, преди да оценявате резултата в логовете си или в отговорите на Claude.
Дава ли Claude API същите отговори като приложението Claude?
Не непременно. Приложението може да използва приблизителното ви местоположение и собствените си настройки, докато заявката през API използва инструментите и параметрите, които изпращате. Приемайте резултатите от API като повторяем тест, а не като копие на това, което вижда всеки потребител.
Как да разбера дали Claude споменава марката ми?
Задайте на Claude, с включено търсене в мрежата, въпросите, които задават купувачите ви, и отбележете дали назовава или цитира сайта ви и кои конкуренти се появяват вместо вас. Повтаряйте всеки въпрос в продължение на няколко седмици, защото отговорите се променят. Проверката на AI видимостта в AISeeWhy прави това всяка седмица през Claude API с вашия ключ, редом с до четирима конкуренти.
Източници
- Anthropic: Обхожда ли Anthropic данни от уеб и как собствениците на сайтове могат да блокират бота?
- Anthropic: Enable and use web search
- Claude Platform Docs: Инструмент за търсене в мрежата
- Claude Platform Docs: Инструмент web fetch
- Anthropic: списък с IP адреси на ботовете (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: Отчет за достъпа на AI ботове, 2026-11