Czy Claude widzi moją stronę? Jak to sprawdzić

Opublikowano · Zaktualizowano

Krótka odpowiedź

Claude może odczytać Twoją stronę tylko wtedy, gdy robots.txt dopuszcza agentów Anthropic, a serwer wysyła im ten sam HTML, który dostaje przeglądarka. Sprawdź, czy robots.txt nie blokuje Claude-SearchBot ani Claude-User, czy firewall nie odpowiada im kodem 403 ani stroną weryfikacji i czy główny tekst jest w początkowym HTML. Potem przetestuj samego Claude: wklej adres URL do czatu i z włączonym wyszukiwaniem w sieci zadaj pytania, które zadają Twoi klienci.

Jeśli pytasz Claude o swój produkt, a on cytuje inne witryny, pierwsze pytanie brzmi: czy w ogóle może dotrzeć do Twojej? Na to da się odpowiedzieć testem. Anthropic publikuje tokeny robots.txt swoich agentów i adresy IP, z których przychodzą, a Claude pokazuje źródła, z których skorzystał. Możesz więc sprawdzić każdy krok po kolei: co mówi Twój robots.txt, co wysyła serwer, co zapisują logi i co Claude robi ze stroną, którą mu podasz.

Na tej stronie
  1. Sprawdzenie w 5 minut, krok po kroku
  2. Jak Claude czyta strony internetowe?
  3. Jak sprawdzić w robots.txt, czy Claude ma dostęp do mojej strony?
  4. Jak sprawdzić, co agenci Claude dostają z mojego serwera?
  5. Jak sprawdzić, czy Claude naprawdę odwiedza moją witrynę?
  6. Jak przetestować samego Claude na mojej stronie?
  7. Co, jeśli Claude może odczytać moją stronę, ale jej nie cytuje?
  8. Jak sprawdza to AISeeWhy

Sprawdzenie w 5 minut, krok po kroku

  1. Otwórz swój robots.txt i upewnij się, że żadna grupa dla Claude-SearchBot, Claude-User ani User-agent: * nie blokuje tej strony. ClaudeBot ma znaczenie tylko dla treningu.
  2. Uruchom darmowe sprawdzenie strony w AISeeWhy albo wyślij jedno żądanie z user agentem Claude-User: musi dostać status 200 i ten sam tekst co przeglądarka.
  3. Wyszukaj w logu dostępu Claude-SearchBot i Claude-User i sprawdź, jakie kody statusu otrzymały.
  4. Wklej swój URL do Claude z włączonym wyszukiwaniem w sieci, poproś o podsumowanie strony, a potem zadaj pytanie, które zadają Twoi klienci, i sprawdź cytowania.

Jeśli krok 1 lub 2 się nie powiedzie, najpierw napraw dostęp; sekcje poniżej pokazują jak. Jeśli Claude czyta stronę, ale jej nie cytuje, popracuj nad treścią.

Jak Claude czyta strony internetowe?

Claude sięga do sieci na dwa sposoby. Z wyszukiwaniem w sieci szuka, gdy pytanie wymaga aktualnych informacji, przegląda kilka źródeł i odpowiada z cytowaniami. Centrum pomocy Anthropic podaje, że każda odpowiedź korzystająca z wyszukiwania w sieci zawiera cytowania. Gdy ktoś poda Claude konkretny link, może on otworzyć tę stronę bezpośrednio.

Anthropic opisuje do tego trzech agentów, każdy z własnym tokenem robots.txt. Claude-SearchBot przeszukuje sieć, by ulepszać wyniki wyszukiwania Claude, Claude-User pobiera strony, gdy wymaga tego pytanie użytkownika, a ClaudeBot zbiera treści, które mogą posłużyć do trenowania. Nasz osobny przewodnik po trzech crawlerach Anthropic szczegółowo opisuje, co robi każdy z nich. Jeśli chodzi o bycie czytanym i cytowanym, sprawdzić trzeba pierwsze dwa.

Jedno uczciwe ograniczenie: Anthropic nie podaje, z jakiego indeksu wyszukiwania korzysta wyszukiwanie w sieci w Claude ani jak wybiera źródła. Mówi natomiast, że zablokowanie Claude-SearchBot może zmniejszyć Twoją widoczność w wynikach wyszukiwania, a zablokowanie Claude-User uniemożliwia pobieranie stron na potrzeby pytań użytkowników. Dopuszczenie obu umożliwia cytowanie, ale go nie gwarantuje.

Jak sprawdzić w robots.txt, czy Claude ma dostęp do mojej strony?

Otwórz https://yourdomain.com/robots.txt i poszukaj grup, które wymieniają Claude-SearchBot lub Claude-User. Jeśli żaden nie jest wymieniony, oba stosują się do grupy User-agent: *. Według RFC 9309 dopasowanie tokenów nie rozróżnia wielkości liter, a Disallow: / w grupie, która ma zastosowanie, zamyka przed tym agentem całą witrynę.

Sprawdź też samą odpowiedź. robots.txt, który zwraca błąd serwera, każe crawlerom założyć, że wszystko jest zablokowane. Kod 404 oznacza brak reguł. Dwa polecenia pokazują status i każdą grupę w pliku:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic podaje, że reguły muszą znajdować się w robots.txt na najwyższym poziomie każdej subdomeny, więc blog.example.com potrzebuje własnego pliku. Takie blokady nie są rzadkie. W naszym badaniu 1000 najpopularniejszych domen spośród 518 witryn udostępniających robots.txt 67 (12,9%) blokowało stronę główną dla Claude-SearchBot, a 68 (13,1%) dla Claude-User, podczas gdy 110 (21,2%) robiło to dla crawlera trenującego ClaudeBot.

Jak sprawdzić, co agenci Claude dostają z mojego serwera?

robots.txt to prośba, a nie kontrola dostępu. Firewall, CDN lub ochrona przed botami mogą odpowiadać agentom Anthropic kodem 403, 429 albo stroną weryfikacji, podczas gdy Twoja przeglądarka widzi stronę normalnie. Anthropic podaje, że jego boty nie próbują omijać CAPTCHA, więc strona weryfikacji kończy wizytę.

Pobierz ten sam adres URL z user agentem przeglądarki i z każdym tokenem Anthropic, a potem porównaj status i rozmiar:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Strona pomocy Anthropic podaje tokeny, ale nie publikuje pełnych ciągów user agenta, więc to są ciągi testowe, a nie prawdziwe ciągi Anthropic. Pokazują, jak reguły dopasowujące nazwę traktują żądanie. Kod 403, 429 lub 503 tylko w wierszach Claude albo 200 znacznie mniejsze niż w przypadku przeglądarki wskazuje na firewall.

Twój test pochodzi z Twojego własnego adresu IP. Anthropic podaje, że żądania z adresów z jego listy pod claude.com/crawling/bots.json pochodzą od Anthropic. Jeśli Twój firewall przepuszcza zweryfikowane crawlery na podstawie IP, prawdziwi agenci mogą przechodzić, a Twój test być blokowany, i odwrotnie. Używaj listy, aby dopuścić Anthropic, a nie aby go blokować: Anthropic odradza blokowanie po IP, bo uniemożliwia to też jego botom odczytanie Twojego robots.txt.

Jak sprawdzić, czy Claude naprawdę odwiedza moją witrynę?

Odpowiedź dają bezpośrednio logi dostępu. Przeszukaj je pod kątem trzech tokenów, a potem sprawdź, czy adresy źródłowe mieszczą się w opublikowanych zakresach Anthropic, bo nazwę user agenta może skopiować każdy:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Pierwsze polecenie zakłada popularny format logu combined, w którym pole 1 to adres klienta, a pole 9 to kod statusu. Wiele kodów 403 lub 429 przy agentach Anthropic potwierdza problem z firewallem. Brak jakichkolwiek wizyt Claude-SearchBot oznacza jedynie, że nie przeszukał jeszcze tych stron albo że coś wcześniej go zatrzymuje.

Jak przetestować samego Claude na mojej stronie?

Otwórz czat i wklej adres URL jednej ze swoich stron z prośbą w rodzaju „Streść tę stronę”. Centrum pomocy Anthropic podaje, że przy włączonym wyszukiwaniu w sieci Claude może otwierać podane przez Ciebie linki. Jeśli wyszukiwanie w sieci jest wyłączone, włącz je w menu +; w nowszej wersji Claude od Anthropic nie ma przełącznika, a Claude szuka, gdy to pomaga. W planach Team i Enterprise właściciel musi najpierw włączyć wyszukiwanie w sieci dla organizacji. Jeśli Claude nie może otworzyć strony, a przeglądarka może, wróć do testu firewalla.

Potem zadaj pytania, które zadają Twoi klienci, bez podawania nazwy swojej witryny, i otwórz cytowane źródła. Anthropic podaje, że Claude może używać lokalizacji ustalonej na podstawie Twojego adresu IP, by dawać wyniki lokalne, więc odpowiedzi mogą się różnić w zależności od miejsca i próby.

Deweloperzy mogą powtórzyć to przez Claude API. Narzędzie wyszukiwania w sieci przyjmuje listę allowed_domains, więc żądanie ograniczone do Twojej domeny pokazuje, czy wyszukiwanie Claude zwraca dla danego pytania którąkolwiek z Twoich stron:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Puste wyniki wyszukiwania oznaczają, że wyszukiwanie Claude nie znalazło nic w tej domenie dla tego pytania. Anthropic pobiera opłaty za wyszukiwania przez API niezależnie od tokenów. Narzędzie web fetch w API podaje też, dlaczego nie udało się odczytać strony: url_not_allowed obejmuje blokady takie jak robots.txt, a url_not_accessible oznacza błąd HTTP. Odpowiedzi przez API mogą różnić się od tego, co pokazują aplikacje Claude.

Co, jeśli Claude może odczytać moją stronę, ale jej nie cytuje?

Najpierw upewnij się, że potrzebny mu tekst jest w HTML wysyłanym przez serwer. Dokumentacja API Anthropic podaje, że narzędzie web fetch nie obsługuje stron renderowanych w JavaScripcie, a Anthropic nie twierdzi, że jego crawlery renderują skrypty. Pobierz stronę przez curl i poszukaj w wyniku zdania z głównej treści. Jeśli go brakuje, renderowanie po stronie serwera lub prerendering rozwiąże to dla Claude i większości innych crawlerów AI.

Dalej decyduje sama strona. Umieść odpowiedź na główne pytanie strony w pierwszych zdaniach, używaj nagłówków zgodnych z pytaniami, które zadają ludzie, podaj wydawcę i pokaż daty. Potem porównaj swoją stronę z tą, którą Claude cytuje dla tego samego pytania: cytowana strona często odpowiada na to konkretne pytanie bardziej bezpośrednio.

Jak sprawdza to AISeeWhy

Darmowe sprawdzenie AISeeWhy pobiera Twoją stronę jako Claude-SearchBot, Claude-User, ClaudeBot i inne crawlery AI i wyszukiwarek obok prawdziwej przeglądarki, stosuje do każdego z nich Twój robots.txt, rozpoznaje strony weryfikacji i pokazuje, ile tekstu dociera bez JavaScriptu. Sprawdzenie Widoczność w AI, dostępne w okresie próbnym i w płatnych planach, zadaje Twoje pytania przez Claude z wyszukiwaniem w sieci, używając Twojego własnego klucza API, i pokazuje, czy Twoja marka lub domena jest wspomniana albo cytowana.

Darmowe narzędzia

Następne kroki

Crawlery w tym artykule

Najczęstsze pytania

Czy mogę za darmo sprawdzić, czy Claude widzi moją stronę?

Tak. Twój robots.txt, żądanie curl, log serwera i pytanie w Claude nic nie kosztują. Darmowe sprawdzenie AISeeWhy testuje agentów Anthropic i 13 innych crawlerów dla jednej strony dziennie, bez konta.

Dlaczego Claude nie otwiera mojej strony, gdy wklejam link?

Typowe przyczyny to firewall lub ochrona przed botami, która odpowiada agentom Anthropic kodem 403 albo stroną weryfikacji, reguła robots.txt blokująca Claude-User lub strona, której tekst pojawia się dopiero po uruchomieniu JavaScriptu. Przetestuj adres URL przez curl jako przeglądarka i z tokenami Claude, a w logach poszukaj zablokowanych żądań.

Czy Anthropic publikuje ciąg user agenta, którym mogę testować?

Strona pomocy Anthropic o crawlerach wymienia tokeny ClaudeBot, Claude-SearchBot i Claude-User, ale nie podaje pełnych ciągów user agenta. Aby odróżnić prawdziwy ruch Anthropic od podróbek, porównaj źródłowy adres IP z listą pod claude.com/crawling/bots.json.

Po jakim czasie zmiana w robots.txt dociera do Claude?

Anthropic nie podaje czasu. RFC 9309 mówi, że crawlery nie powinny używać zapisanej w pamięci podręcznej kopii robots.txt dłużej niż 24 godziny, więc odczekaj co najmniej dzień, zanim ocenisz wynik w logach lub w odpowiedziach Claude.

Czy Claude API daje te same odpowiedzi co aplikacja Claude?

Niekoniecznie. Aplikacja może używać Twojej przybliżonej lokalizacji i własnych ustawień, a żądanie API korzysta z narzędzi i parametrów, które wysyłasz. Traktuj wyniki API jako powtarzalny test, a nie kopię tego, co widzi każdy użytkownik.

Jak sprawdzić, czy Claude wspomina moją markę?

Zadaj Claude, z włączonym wyszukiwaniem w sieci, pytania, które zadają Twoi klienci, i zanotuj, czy wymienia lub cytuje Twoją witrynę i którzy konkurenci pojawiają się zamiast niej. Powtarzaj każde pytanie przez kilka tygodni, bo odpowiedzi się różnią. Sprawdzenie Widoczność w AI od AISeeWhy robi to co tydzień przez Claude API z Twoim kluczem, obok maksymalnie czterech konkurentów.

Źródła

Więcej artykułów