Vidi li Claude moju web-stranicu? Kako to provjeriti

Objavljeno · Ažurirano

Kratki odgovor

Claude može pročitati vašu stranicu samo ako vaš robots.txt dopušta Anthropicove agente i ako im poslužitelj šalje isti HTML koji dobiva preglednik. Provjerite da robots.txt ne zabranjuje Claude-SearchBot ili Claude-User, da im vatrozid ne odgovara kodom 403 ili stranicom s provjerom i da je glavni tekst u početnom HTML-u. Zatim testirajte sam Claude: zalijepite URL u razgovor i s uključenim pretraživanjem weba postavite pitanja koja postavljaju vaši kupci.

Ako Claudea pitate o svom proizvodu, a on citira druge web-stranice, prvo je pitanje može li uopće doći do vaše. Na to postoji odgovor koji se može provjeriti. Anthropic objavljuje robots.txt tokene svojih agenata i IP adrese s kojih dolaze, a Claude pokazuje izvore koje je koristio. Zato svaki korak možete provjeriti redom: što kaže vaš robots.txt, što šalje vaš poslužitelj, što bilježe vaši zapisnici i što Claude radi sa stranicom kad mu je date.

Na ovoj stranici
  1. Provjera od 5 minuta, korak po korak
  2. Kako Claude čita web-stranice?
  3. Kako putem robots.txt provjeriti može li Claude pristupiti mojoj web-stranici?
  4. Kako testirati što Claudeovi agenti dobivaju od mog poslužitelja?
  5. Kako vidjeti posjećuje li Claude stvarno moju web-stranicu?
  6. Kako testirati sam Claude sa svojom stranicom?
  7. Što ako Claude može pročitati moju stranicu, ali je i dalje ne citira?
  8. Kako to provjerava AISeeWhy?

Provjera od 5 minuta, korak po korak

  1. Otvorite svoj robots.txt i provjerite da nijedna grupa za Claude-SearchBot, Claude-User ili User-agent: * ne zabranjuje stranicu. ClaudeBot je važan samo za treniranje.
  2. Pokrenite besplatnu provjeru stranice na AISeeWhy ili pošaljite jedan zahtjev s user agentom Claude-User: mora dobiti status 200 i isti tekst koji dobiva preglednik.
  3. Potražite Claude-SearchBot i Claude-User u svom zapisniku pristupa i pogledajte statusne kodove koje su dobili.
  4. Zalijepite svoj URL u Claude s uključenim web-pretraživanjem, zamolite ga da sažme stranicu, zatim postavite pitanje koje postavljaju vaši kupci i provjerite citate.

Ako 1. ili 2. korak ne prođe, najprije ispravite pristup; odjeljci u nastavku pokazuju kako. Ako Claude čita stranicu, ali je ne citira, radite na sadržaju.

Kako Claude čita web-stranice?

Claude do weba dolazi na dva načina. S pretraživanjem weba pretražuje kad pitanje traži aktualne informacije, pregledava nekoliko izvora i odgovara s citatima. Anthropicov centar za pomoć navodi da svaki odgovor koji koristi pretraživanje weba sadrži citate. Kad Claudeu netko da određenu poveznicu, može izravno otvoriti tu stranicu.

Anthropic za to dokumentira tri agenta, svaki s vlastitim robots.txt tokenom. Claude-SearchBot pretražuje web kako bi poboljšao Claudeove rezultate pretraživanja, Claude-User dohvaća stranice kad ih korisnikovo pitanje traži, a ClaudeBot prikuplja sadržaj koji se može koristiti za treniranje. Naš zasebni vodič o Anthropicova tri crawlera detaljno opisuje što svaki radi. Za čitanje i citiranje treba provjeriti prva dva.

Jedno iskreno ograničenje: Anthropic ne dokumentira koji indeks pretraživanja koristi Claudeovo pretraživanje weba ni kako bira izvore. Navodi da blokiranje Claude-SearchBot može smanjiti vašu vidljivost u rezultatima pretraživanja, a blokiranje Claude-User sprječava dohvaćanje za korisnička pitanja. Ako dopustite oba, citat postaje moguć; nije zajamčen.

Kako putem robots.txt provjeriti može li Claude pristupiti mojoj web-stranici?

Otvorite https://yourdomain.com/robots.txt i potražite grupe koje navode Claude-SearchBot ili Claude-User. Ako nijedan nije naveden, oba slijede grupu User-agent: *. Prema RFC 9309 usporedba tokena ne razlikuje velika i mala slova, a Disallow: / u grupi koja se primjenjuje zatvara cijelu web-stranicu za tog agenta.

Provjerite i sam odgovor. robots.txt koji vraća pogrešku poslužitelja govori crawlerima da pretpostave da je sve zabranjeno. 404 znači da nema pravila. Dvije naredbe pokazuju status i svaku grupu u datoteci:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic navodi da pravila moraju biti u robots.txt na najvišoj razini svake poddomene, pa blog.example.com treba vlastitu datoteku. Ove blokade nisu rijetke. U našem istraživanju 1.000 najpopularnijih domena, od 518 web-stranica koje su posluživale robots.txt njih 67 (12,9 %) zabranilo je početnu stranicu za Claude-SearchBot i 68 (13,1 %) za Claude-User, dok je 110 (21,2 %) to učinilo za crawler za treniranje ClaudeBot.

Kako testirati što Claudeovi agenti dobivaju od mog poslužitelja?

robots.txt je zahtjev, a ne kontrola pristupa. Vatrozid, CDN ili zaštita od botova mogu Anthropicovim agentima odgovoriti kodom 403, 429 ili stranicom s provjerom, dok vaš preglednik stranicu vidi normalno. Anthropic navodi da njegovi botovi neće pokušavati zaobići CAPTCHA, pa stranica s provjerom završava posjet.

Zatražite isti URL s user agentom preglednika i sa svakim Anthropicovim tokenom, pa usporedite status i veličinu:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropicova stranica pomoći navodi tokene, ali ne objavljuje pune nizove user agenta, pa su ovo testni nizovi, a ne Anthropicovi stvarni. Pokazuju kako pravila koja se podudaraju s imenom postupaju sa zahtjevom. 403, 429 ili 503 samo za Claudeove retke, ili 200 koji je mnogo manji od odgovora pregledniku, upućuje na vaš vatrozid.

Vaš test dolazi s vaše IP adrese. Anthropic navodi da su zahtjevi s adresa s njegova popisa na claude.com/crawling/bots.json od Anthropica. Ako vaš vatrozid dopušta provjerene crawlere prema IP-u, stvarni agenti mogu proći dok je vaš test blokiran, a moguće je i obrnuto. Popis koristite da biste dopustili Anthropic, a ne da biste ga blokirali: Anthropic ne preporučuje blokiranje prema IP-u jer njegovim botovima onemogućuje i čitanje vašeg robots.txt.

Kako vidjeti posjećuje li Claude stvarno moju web-stranicu?

Na to izravno odgovaraju vaši pristupni zapisnici. Pretražite ih za tri tokena, a zatim provjerite jesu li izvorne adrese unutar Anthropicovih objavljenih raspona, jer ime user agenta može kopirati bilo tko:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Prva naredba pretpostavlja uobičajeni kombinirani format zapisnika, u kojem je polje 1 adresa klijenta, a polje 9 statusni kod. Mnogo kodova 403 ili 429 uz Anthropicove agente potvrđuje problem s vatrozidom. Ako Claude-SearchBot uopće nije posjetio stranice, to samo znači da ih još nije pretražio ili da ga nešto zaustavlja ranije.

Kako testirati sam Claude sa svojom stranicom?

Otvorite razgovor i zalijepite URL jedne svoje stranice uz zahtjev poput "Sažmi ovu stranicu". Anthropicov centar za pomoć navodi da s uključenim pretraživanjem weba Claude može otvoriti poveznice koje mu date. Ako je pretraživanje weba isključeno, uključite ga u izborniku +; u Anthropicovu novijem iskustvu Claudea nema prekidača i Claude pretražuje kad to pomaže. Na planovima Team i Enterprise vlasnik najprije mora uključiti pretraživanje weba za organizaciju. Ako Claude ne može otvoriti vašu stranicu, a preglednik može, vratite se na test vatrozida.

Zatim postavite pitanja koja postavljaju vaši kupci, bez navođenja svoje web-stranice, i otvorite citirane izvore. Anthropic navodi da Claude za lokalizirane rezultate može koristiti lokaciju procijenjenu iz vaše IP adrese, pa se odgovori mogu razlikovati po mjestu i između pokretanja.

Programeri to mogu ponoviti putem Claude API-ja. Alat za pretraživanje weba prima popis allowed_domains, pa zahtjev ograničen na vašu domenu pokazuje vraća li Claudeovo pretraživanje ijednu vašu stranicu za neko pitanje:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Prazni rezultati pretraživanja znače da Claudeovo pretraživanje za to pitanje nije pronašlo ništa na toj domeni. Anthropic naplaćuje pretraživanja weba putem API-ja uz tokene. API-jev alat za dohvaćanje weba navodi i zašto stranica nije mogla biti pročitana: url_not_allowed obuhvaća blokade poput robots.txt, a url_not_accessible znači HTTP pogrešku. Odgovori putem API-ja mogu se razlikovati od onoga što prikazuju Claudeove aplikacije.

Što ako Claude može pročitati moju stranicu, ali je i dalje ne citira?

Najprije provjerite je li tekst koji mu treba u HTML-u koji šalje vaš poslužitelj. Anthropicova API dokumentacija navodi da njegov alat za dohvaćanje weba ne podržava web-stranice koje se renderiraju JavaScriptom, a Anthropic ne kaže da njegovi crawleri izvršavaju skripte. Dohvatite stranicu naredbom curl i u izlazu potražite rečenicu iz glavnog sadržaja. Ako je nema, renderiranje na poslužitelju ili predrenderiranje rješava to za Claude i za većinu drugih AI crawlera.

Nakon toga odlučuje sama stranica. Odgovor na glavno pitanje stranice stavite u prve rečenice, koristite naslove koji odgovaraju pitanjima koja ljudi postavljaju, navedite izdavača i prikažite datume. Zatim usporedite svoju stranicu sa stranicom koju Claude citira za isto pitanje: citirana stranica često izravnije odgovara upravo na to pitanje.

Kako to provjerava AISeeWhy?

Besplatna provjera AISeeWhy dohvaća vašu stranicu kao Claude-SearchBot, Claude-User, ClaudeBot i drugi AI crawleri i crawleri tražilica, usporedno sa stvarnim preglednikom, na svaki primjenjuje vaš robots.txt, prepoznaje stranice s provjerom i pokazuje koliko teksta stiže bez JavaScripta. Provjera AI vidljivosti, u plaćenim planovima, postavlja vaša pitanja Claudeu s pretraživanjem weba putem vašeg vlastitog API ključa i pokazuje spominje li se ili citira vaš brend ili domena.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Mogu li besplatno provjeriti vidi li Claude moju web-stranicu?

Da. Vaš robots.txt, zahtjev curlom, zapisnik poslužitelja i pitanje u Claudeu ne koštaju ništa. Besplatna provjera AISeeWhy testira Anthropicove agente i 13 drugih crawlera za jednu stranicu dnevno, bez računa.

Zašto Claude ne može otvoriti moju web-stranicu kad zalijepim poveznicu?

Uobičajeni uzroci su vatrozid ili zaštita od botova koji Anthropicovim agentima odgovaraju kodom 403 ili stranicom s provjerom, pravilo u robots.txt koje zabranjuje Claude-User ili stranica čiji se tekst pojavljuje tek nakon izvršavanja JavaScripta. Testirajte URL naredbom curl kao preglednik i s Claudeovim tokenima te u zapisnicima potražite blokirane zahtjeve.

Objavljuje li Anthropic niz user agenta s kojim mogu testirati?

Anthropicova stranica pomoći o crawlerima navodi tokene ClaudeBot, Claude-SearchBot i Claude-User, ali ne i pune nizove user agenta. Da biste stvarni Anthropicov promet razlikovali od imitatora, usporedite izvornu IP adresu s popisom na claude.com/crawling/bots.json.

Koliko treba da promjena u robots.txt stigne do Claudea?

Anthropic ne navodi vrijeme. RFC 9309 kaže da crawleri ne bi trebali koristiti predmemorirani robots.txt dulje od 24 sata, pa pričekajte barem dan prije nego što procijenite rezultat u zapisnicima ili u Claudeovim odgovorima.

Daje li Claude API iste odgovore kao aplikacija Claude?

Ne nužno. Aplikacija može koristiti vašu približnu lokaciju i vlastite postavke, dok API zahtjev koristi alate i parametre koje pošaljete. Rezultate API-ja smatrajte ponovljivim testom, a ne kopijom onoga što vidi svaki korisnik.

Kako saznati spominje li Claude moj brend?

Postavite Claudeu, s uključenim pretraživanjem weba, pitanja koja postavljaju vaši kupci i zabilježite navodi li ili citira vašu web-stranicu i koji se konkurenti pojavljuju umjesto vas. Svako pitanje ponavljajte tijekom nekoliko tjedana jer se odgovori razlikuju. Provjera AI vidljivosti u AISeeWhyju to radi svaki tjedan putem Claude API-ja s vašim ključem, uz najviše četiri konkurenta.

Izvori

Još članaka