Чи бачить Claude мій сайт? Як перевірити
Claude може прочитати вашу сторінку, лише якщо ваш robots.txt дозволяє агентів Anthropic, а сервер надсилає їм той самий HTML, що й браузеру. Перевірте, що robots.txt не забороняє Claude-SearchBot чи Claude-User, що файрвол не відповідає їм кодом 403 або сторінкою-перевіркою і що основний текст є в початковому HTML. Потім перевірте сам Claude: вставте URL у чат і поставте запитання ваших покупців з увімкненим вебпошуком.
Якщо ви питаєте Claude про свій продукт, а він цитує інші сайти, перше питання — чи може він узагалі дістатися до вашого. На це є відповідь, яку можна перевірити. Anthropic публікує токени своїх агентів для robots.txt та IP-адреси, з яких вони приходять, а Claude показує джерела, якими скористався. Тож можна перевірити кожен крок по черзі: що каже ваш robots.txt, що надсилає ваш сервер, що записують журнали і що Claude робить зі сторінкою, коли ви її йому даєте.
На цій сторінці
- Перевірка за 5 хвилин, крок за кроком
- Як Claude читає вебсайти?
- Як перевірити в robots.txt, чи має Claude доступ до мого сайту?
- Як перевірити, що агенти Claude отримують від мого сервера?
- Як дізнатися, чи Claude справді відвідує мій сайт?
- Як перевірити мою сторінку в самому Claude?
- Що робити, якщо Claude може прочитати мою сторінку, але все одно її не цитує?
- Як це перевіряє AISeeWhy?
Перевірка за 5 хвилин, крок за кроком
- Відкрийте robots.txt і переконайтеся, що ні група для
Claude-SearchBot,Claude-User, ніUser-agent: *не забороняє сторінку.ClaudeBotважливий лише для навчання. - Запустіть безкоштовну перевірку сторінки в AISeeWhy або надішліть один запит з user agent
Claude-User: він має отримати статус 200 і той самий текст, що й браузер. - Знайдіть у журналі доступу
Claude-SearchBotіClaude-Userі подивіться, які коди статусу вони отримали. - Вставте свій URL у Claude з увімкненим вебпошуком, попросіть коротко переказати сторінку, потім поставте запитання, яке ставлять ваші покупці, і перевірте посилання на джерела.
Якщо не пройдено крок 1 або 2, спершу виправте доступ; як саме, показано в розділах нижче. Якщо Claude читає сторінку, але не цитує її, працюйте над контентом.
Як Claude читає вебсайти?
Claude виходить у веб двома способами. З вебпошуком він шукає, коли запитання потребує актуальної інформації, переглядає кілька джерел і відповідає з цитуваннями. У довідковому центрі Anthropic сказано, що кожна відповідь, для якої використано вебпошук, містить цитування. Коли ж хтось дає Claude конкретне посилання, він може відкрити цю сторінку напряму.
Anthropic описує для цього трьох агентів, кожен із власним токеном у robots.txt. Claude-SearchBot сканує сайти, щоб покращити результати пошуку Claude, Claude-User завантажує сторінки, коли вони потрібні для запитання користувача, а ClaudeBot збирає контент, який може використовуватися для навчання. Що робить кожен із них, докладно описано в нашому окремому посібнику про три краулери Anthropic. Щоб вас читали й цитували, перевіряти треба перші два.
Одне чесне обмеження: Anthropic не розкриває, який пошуковий індекс використовує вебпошук Claude і як він обирає джерела. Компанія зазначає, що блокування Claude-SearchBot може зменшити вашу видимість у результатах пошуку, а блокування Claude-User унеможливлює завантаження сторінок для запитань користувачів. Якщо дозволити обидва, цитування стає можливим, але не гарантованим.
Як перевірити в robots.txt, чи має Claude доступ до мого сайту?
Відкрийте https://yourdomain.com/robots.txt і знайдіть групи, де вказано Claude-SearchBot або Claude-User. Якщо жодного з них не названо, обидва дотримуються групи User-agent: *. За RFC 9309 токени зіставляються без урахування регістру, а Disallow: / у групі, що застосовується, закриває для агента весь сайт.
Перевірте й саму відповідь. Якщо robots.txt повертає помилку сервера, краулери мають вважати, що заборонено все. Відповідь 404 означає, що правил немає. Дві команди показують статус і всі групи у файлі:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic зазначає, що правила мають бути в robots.txt на верхньому рівні кожного піддомену, тож blog.example.com потребує власного файлу. Такі блокування не рідкість. У нашому дослідженні 1000 найпопулярніших доменів 67 із 518 сайтів, що віддавали robots.txt (12,9 %), закривали головну сторінку для Claude-SearchBot і 68 (13,1 %) — для Claude-User, тоді як для краулера навчання ClaudeBot так робили 110 (21,2 %).
Як перевірити, що агенти Claude отримують від мого сервера?
robots.txt — це прохання, а не контроль доступу. Файрвол, CDN або захист від ботів може відповідати агентам Anthropic кодом 403, 429 чи сторінкою-перевіркою, тоді як ваш браузер бачить сторінку як звичайно. Anthropic зазначає, що її боти не намагаються обходити CAPTCHA, тож сторінка-перевірка завершує візит.
Запитайте той самий URL з user agent браузера і з кожним токеном Anthropic, а потім порівняйте статус і розмір:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done На довідковій сторінці Anthropic названо токени, але не опубліковано повних рядків user agent, тож це тестові рядки, а не справжні рядки Anthropic. Вони показують, як правила, що реагують на назву, обробляють запит. Код 403, 429 чи 503 лише для рядків Claude або відповідь 200, значно менша, ніж для браузера, вказують на ваш файрвол.
Ваш тест іде з вашої власної IP-адреси. Anthropic зазначає, що запити з адрес зі списку claude.com/crawling/bots.json надходять від Anthropic. Якщо ваш файрвол пропускає перевірені краулери за IP, справжні агенти можуть проходити, а ваш тест — ні, і навпаки. Використовуйте список, щоб дозволити Anthropic, а не щоб її заблокувати: Anthropic не радить блокувати за IP, бо тоді її боти не можуть прочитати й ваш robots.txt.
Як дізнатися, чи Claude справді відвідує мій сайт?
На це прямо відповідають журнали доступу. Знайдіть у них три токени, а потім перевірте, чи адреси джерел входять до опублікованих діапазонів Anthropic, бо назву user agent може скопіювати будь-хто:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Перша команда розрахована на поширений формат журналу combined, де поле 1 — адреса клієнта, а поле 9 — код статусу. Багато кодів 403 чи 429 поруч з агентами Anthropic підтверджують проблему з файрволом. Повна відсутність візитів Claude-SearchBot означає лише, що він ще не сканував ці сторінки або що його зупиняє щось раніше.
Як перевірити мою сторінку в самому Claude?
Відкрийте чат і вставте URL однієї зі своїх сторінок із проханням на кшталт «Коротко перекажи цю сторінку». У довідковому центрі Anthropic сказано, що з увімкненим вебпошуком Claude може відкривати надані вами посилання. Якщо вебпошук вимкнено, увімкніть його в меню +; у новішій версії Claude від Anthropic перемикача немає, і Claude шукає, коли це допомагає. На тарифах Team і Enterprise власник спершу має ввімкнути вебпошук для організації. Якщо Claude не може відкрити вашу сторінку, а браузер може, поверніться до тесту файрвола.
Потім поставте запитання, які ставлять ваші покупці, не називаючи свого сайту, і відкрийте процитовані джерела. Anthropic зазначає, що Claude може використовувати місцезнаходження, визначене за вашою IP-адресою, для локалізованих результатів, тож відповіді можуть різнитися залежно від місця й від запуску до запуску.
Розробники можуть повторити це через Claude API. Інструмент вебпошуку приймає список allowed_domains, тож запит, обмежений вашим доменом, показує, чи повертає пошук Claude хоч якісь ваші сторінки на певне запитання:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Порожні результати пошуку означають, що пошук Claude не знайшов на цьому домені нічого для цього запитання. Anthropic бере плату за вебпошуки через API окремо від токенів. Інструмент web fetch в API також повідомляє, чому сторінку не вдалося прочитати: url_not_allowed охоплює блокування, як-от robots.txt, а url_not_accessible означає помилку HTTP. Відповіді через API можуть відрізнятися від того, що показують застосунки Claude.
Що робити, якщо Claude може прочитати мою сторінку, але все одно її не цитує?
Спершу переконайтеся, що потрібний текст є в HTML, який надсилає ваш сервер. У документації API Anthropic сказано, що інструмент web fetch не підтримує сайти, які рендеряться за допомогою JavaScript, а про те, що її краулери виконують скрипти, Anthropic не повідомляє. Завантажте сторінку через curl і пошукайте у виводі речення з основного тексту. Якщо його немає, серверний рендеринг або пререндеринг розв’яже проблему і для Claude, і для більшості інших AI-краулерів.
Далі все вирішує сама сторінка. Дайте відповідь на головне питання сторінки в перших реченнях, використовуйте заголовки, що збігаються з питаннями людей, назвіть видавця й покажіть дати. Потім порівняйте свою сторінку з тією, яку Claude цитує на те саме запитання: процитована сторінка часто відповідає саме на це запитання прямо.
Як це перевіряє AISeeWhy?
Безкоштовна перевірка AISeeWhy завантажує вашу сторінку як Claude-SearchBot, Claude-User, ClaudeBot та інші AI- і пошукові краулери поруч зі справжнім браузером, застосовує ваш robots.txt до кожного, розпізнає сторінки-перевірки й показує, скільки тексту надходить без JavaScript. Перевірка видимості в AI, доступна на платних тарифах, ставить ваші запитання через Claude з вебпошуком на вашому власному API-ключі й показує, чи згадано або процитовано ваш бренд чи домен.
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Перевірка IP ШІ-краулерів
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Чи можна безкоштовно перевірити, чи бачить Claude мій сайт?
Так. Ваш robots.txt, запит curl, серверний журнал і запитання в Claude нічого не коштують. Безкоштовна перевірка AISeeWhy тестує агентів Anthropic і 13 інших краулерів для однієї сторінки на день без облікового запису.
Чому Claude не може відкрити мій сайт, коли я вставляю посилання?
Звичайні причини — файрвол або захист від ботів, що відповідає агентам Anthropic кодом 403 чи сторінкою-перевіркою, правило robots.txt, яке забороняє Claude-User, або сторінка, текст якої з’являється лише після виконання JavaScript. Перевірте URL через curl як браузер і з токенами Claude та пошукайте заблоковані запити в журналах.
Чи публікує Anthropic рядок user agent для тестування?
На довідковій сторінці Anthropic про краулери перелічено токени ClaudeBot, Claude-SearchBot і Claude-User, але без повних рядків user agent. Щоб відрізнити справжній трафік Anthropic від імітацій, порівняйте IP джерела зі списком на claude.com/crawling/bots.json.
Скільки часу потрібно, щоб зміна robots.txt дійшла до Claude?
Anthropic не називає строку. RFC 9309 каже, що краулерам не слід використовувати кешований robots.txt довше ніж 24 години, тож зачекайте щонайменше добу, перш ніж оцінювати результат у журналах чи у відповідях Claude.
Чи дає Claude API ті самі відповіді, що й застосунок Claude?
Не обов’язково. Застосунок може враховувати ваше приблизне місцезнаходження та власні налаштування, а запит до API використовує ті інструменти й параметри, які ви надсилаєте. Сприймайте результати API як відтворюваний тест, а не як копію того, що бачить кожен користувач.
Як дізнатися, чи згадує Claude мій бренд?
Поставте Claude з увімкненим вебпошуком запитання, які ставлять ваші покупці, і занотуйте, чи називає або цитує він ваш сайт і які конкуренти з’являються натомість. Повторюйте кожне запитання кілька тижнів, бо відповіді змінюються. Перевірка видимості в AI від AISeeWhy робить це щотижня через Claude API з вашим ключем, поруч із щонайбільше чотирма конкурентами.
Джерела
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: список IP-адрес краулерів (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: звіт про доступ AI-краулерів, 2026-11