Näkeekö Claude sivustoni? Näin tarkistat

Julkaistu · Päivitetty

Lyhyt vastaus

Claude voi lukea sivusi vain, jos robots.txt sallii Anthropicin agentit ja palvelimesi lähettää niille saman HTML:n kuin selaimelle. Tarkista, ettei robots.txt estä agentteja Claude-SearchBot tai Claude-User, ettei palomuuri vastaa niille 403-virheellä tai haastesivulla ja että pääteksti on alkuperäisessä HTML:ssä. Testaa sitten itse Claudea: liitä sivusi osoite keskusteluun ja kysy ostajiesi kysymykset verkkohaku päällä.

Jos kysyt Claudelta tuotteestasi ja se lainaa muita sivustoja, ensimmäinen kysymys on, pääseekö se sivustollesi lainkaan. Siihen on testattava vastaus. Anthropic julkaisee agenttiensa robots.txt-tunnisteet ja IP-osoitteet, joista ne tulevat, ja Claude näyttää käyttämänsä lähteet. Voit siis tarkistaa jokaisen vaiheen järjestyksessä: mitä robots.txt sanoo, mitä palvelimesi lähettää, mitä lokisi kirjaavat ja mitä Claude tekee sivulle, kun annat sen sille.

Tällä sivulla
  1. 5 minuutin tarkistus vaihe vaiheelta
  2. Miten Claude lukee verkkosivustoja?
  3. Miten tarkistan robots.txt:stä, pääseekö Claude sivustolleni?
  4. Miten testaan, mitä Clauden agentit saavat palvelimeltani?
  5. Miten näen, käykö Claude oikeasti sivustollani?
  6. Miten testaan Claudea omalla sivullani?
  7. Entä jos Claude pystyy lukemaan sivuni mutta ei silti lainaa sitä?
  8. Miten AISeeWhy tarkistaa tämän?

5 minuutin tarkistus vaihe vaiheelta

  1. Avaa robots.txt ja varmista, ettei mikään ryhmä, joka koskee crawleria Claude-SearchBot, Claude-User tai User-agent: *, kiellä sivua. ClaudeBot vaikuttaa vain koulutukseen.
  2. Aja sivulle ilmainen tarkistus AISeeWhyssa tai lähetä yksi pyyntö Claude-User-käyttäjäagentilla: sen on saatava tila 200 ja sama teksti kuin selain.
  3. Hae pääsylokistasi Claude-SearchBot ja Claude-User ja katso, mitä tilakoodeja ne saivat.
  4. Liitä URL-osoitteesi Claudeen verkkohaku päällä, pyydä sitä tiivistämään sivu, kysy sitten kysymys, jota ostajasi kysyvät, ja tarkista lähdeviitteet.

Jos vaihe 1 tai 2 epäonnistuu, korjaa ensin pääsy; alla olevat osiot näyttävät miten. Jos Claude lukee sivun mutta ei viittaa siihen, työstä sisältöä.

Miten Claude lukee verkkosivustoja?

Claude pääsee verkkoon kahdella tavalla. Verkkohaun avulla se hakee, kun kysymys vaatii ajantasaista tietoa, käy läpi useita lähteitä ja vastaa lähdeviittein. Anthropicin ohjekeskuksen mukaan jokaisessa verkkohakua käyttävässä vastauksessa on lähdeviitteet. Kun joku antaa Claudelle tietyn linkin, se voi avata sivun suoraan.

Anthropic dokumentoi tähän kolme agenttia, joilla kullakin on oma robots.txt-tunnisteensa. Claude-SearchBot indeksoi parantaakseen Clauden hakutuloksia, Claude-User noutaa sivuja, kun käyttäjän kysymys niitä vaatii, ja ClaudeBot kerää sisältöä, jota voidaan käyttää koulutukseen. Erillinen oppaamme Anthropicin kolmesta crawlerista kertoo tarkemmin, mitä kukin tekee. Luetuksi ja lainatuksi tulemisen kannalta tarkistettavat ovat kaksi ensimmäistä.

Yksi rehellinen rajoitus: Anthropic ei kerro, mitä hakuindeksiä Clauden verkkohaku käyttää tai miten se valitsee lähteet. Sen mukaan Claude-SearchBotin estäminen voi heikentää näkyvyyttäsi hakutuloksissa ja Claude-Userin estäminen estää sivujen noutamisen käyttäjien kysymyksiin. Kun sallit molemmat, lainaus on mahdollinen, mutta se ei ole taattu.

Miten tarkistan robots.txt:stä, pääseekö Claude sivustolleni?

Avaa https://yourdomain.com/robots.txt ja etsi ryhmiä, joissa mainitaan Claude-SearchBot tai Claude-User. Jos kumpaakaan ei mainita, molemmat noudattavat ryhmää User-agent: *. RFC 9309:n mukaan tunnisteiden vertailu ei huomioi kirjainkokoa, ja sovellettavan ryhmän Disallow: / sulkee koko sivuston kyseiseltä agentilta.

Tarkista myös itse vastaus. Palvelinvirheen palauttava robots.txt käskee crawlereita olettamaan, että kaikki on kielletty. 404 tarkoittaa, ettei sääntöjä ole. Kaksi komentoa näyttää tilakoodin ja tiedoston jokaisen ryhmän:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropicin mukaan säännöt on oltava kunkin aliverkkotunnuksen ylimmän tason robots.txt:ssä, joten blog.example.com tarvitsee oman tiedostonsa. Nämä estot eivät ole harvinaisia. Tutkimuksessamme, joka kattoi 1 000 suosituinta verkkotunnusta, 518 robots.txt-tiedoston tarjoavasta sivustosta 67 (12,9 %) esti etusivun agentilta Claude-SearchBot ja 68 (13,1 %) agentilta Claude-User, kun taas koulutuscrawlerin ClaudeBot esti 110 (21,2 %).

Miten testaan, mitä Clauden agentit saavat palvelimeltani?

robots.txt on pyyntö, ei pääsynhallintaa. Palomuuri, CDN tai bottisuojaus voi vastata Anthropicin agenteille 403- tai 429-koodilla tai haastesivulla, vaikka oma selaimesi näkee sivun normaalisti. Anthropicin mukaan sen botit eivät yritä ohittaa CAPTCHA-tarkistuksia, joten haastesivu päättää käynnin.

Pyydä sama URL selaimen user agentilla ja jokaisella Anthropicin tunnisteella ja vertaa tilakoodia ja kokoa:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropicin ohjesivu nimeää tunnisteet mutta ei julkaise täydellisiä user agent -merkkijonoja, joten nämä ovat testimerkkijonoja eivätkä Anthropicin oikeita. Ne näyttävät, miten nimeen perustuvat säännöt kohtelevat pyyntöä. 403, 429 tai 503 vain Claude-riveillä tai 200-vastaus, joka on paljon selaimen vastausta pienempi, viittaa palomuuriisi.

Testisi lähtee omasta IP-osoitteestasi. Anthropicin mukaan luettelon claude.com/crawling/bots.json osoitteista tulevat pyynnöt ovat Anthropicilta. Jos palomuurisi sallii varmennetut crawlerit IP:n perusteella, oikeat agentit voivat päästä läpi, vaikka testisi estetään, ja päinvastoinkin voi käydä. Käytä luetteloa Anthropicin sallimiseen, ei sen estämiseen: Anthropic ei suosittele IP-estoja, koska ne estävät sen botteja myös lukemasta robots.txt:täsi.

Miten näen, käykö Claude oikeasti sivustollani?

Käyttölokisi vastaavat tähän suoraan. Hae niistä kolmea tunnistetta ja tarkista sitten, että lähdeosoitteet osuvat Anthropicin julkaisemille alueille, koska kuka tahansa voi kopioida user agentin nimen:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Ensimmäinen komento olettaa yleisen combined-lokimuodon, jossa kenttä 1 on asiakkaan osoite ja kenttä 9 tilakoodi. Runsaat 403- tai 429-koodit Anthropicin agenttien kohdalla vahvistavat palomuuriongelman. Se, ettei Claude-SearchBot ole käynyt lainkaan, tarkoittaa vain, ettei se ole vielä indeksoinut niitä sivuja tai että jokin aiempi vaihe pysäyttää sen.

Miten testaan Claudea omalla sivullani?

Avaa keskustelu ja liitä jonkin sivusi URL pyynnön kanssa, esimerkiksi ”Tiivistä tämä sivu”. Anthropicin ohjekeskuksen mukaan Claude voi avata antamasi linkit, kun verkkohaku on päällä. Jos verkkohaku on pois päältä, kytke se päälle +-valikosta; Anthropicin uudemmassa Claude-kokemuksessa kytkintä ei ole, ja Claude hakee, kun siitä on apua. Team- ja Enterprise-tilauksissa omistajan on ensin otettava verkkohaku käyttöön organisaatiolle. Jos Claude ei pysty avaamaan sivuasi mutta selain pystyy, palaa palomuuritestiin.

Kysy sitten ostajiesi kysymykset mainitsematta sivustoasi ja avaa lainatut lähteet. Anthropicin mukaan Claude voi käyttää IP-osoitteestasi pääteltyä sijaintia paikallisiin tuloksiin, joten vastaukset voivat vaihdella paikan ja ajokerran mukaan.

Kehittäjät voivat toistaa tämän Claude API:n kautta. Verkkohakutyökalu ottaa vastaan allowed_domains-luettelon, joten verkkotunnukseesi rajattu pyyntö näyttää, palauttaako Clauden haku kysymykseen yhtään sivuistasi:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Tyhjät hakutulokset tarkoittavat, ettei Clauden haku löytänyt kysymykseen mitään kyseiseltä verkkotunnukselta. Anthropic veloittaa API:n verkkohauista tokenien lisäksi. API:n web fetch -työkalu kertoo myös, miksi sivua ei voitu lukea: url_not_allowed kattaa estot, kuten robots.txt:n, ja url_not_accessible tarkoittaa HTTP-virhettä. API:n vastaukset voivat poiketa siitä, mitä Claude-sovellukset näyttävät.

Entä jos Claude pystyy lukemaan sivuni mutta ei silti lainaa sitä?

Varmista ensin, että tarvittava teksti on palvelimesi lähettämässä HTML:ssä. Anthropicin API-dokumentaation mukaan sen web fetch -työkalu ei tue JavaScriptillä renderöityjä sivustoja, eikä Anthropic kerro, että sen crawlerit suorittaisivat skriptejä. Hae sivusi curlilla ja etsi tulosteesta jokin lause pääsisällöstäsi. Jos sitä ei ole, palvelinpuolen renderöinti tai esirenderöinti korjaa asian Claudelle ja useimmille muille tekoälycrawlereille.

Sen jälkeen ratkaisee sivu itse. Vastaa sivun pääkysymykseen ensimmäisissä lauseissa, käytä otsikoita, jotka vastaavat ihmisten kysymyksiä, nimeä julkaisija ja näytä päivämäärät. Vertaa sitten sivuasi siihen, jonka Claude lainaa samaan kysymykseen: lainattu sivu vastaa usein juuri siihen kysymykseen suoremmin.

Miten AISeeWhy tarkistaa tämän?

Ilmainen AISeeWhy-tarkistus noutaa sivusi crawlereina Claude-SearchBot, Claude-User, ClaudeBot sekä muina tekoäly- ja hakucrawlereina oikean selaimen rinnalla, soveltaa robots.txt:täsi jokaiseen, tunnistaa haastesivut ja näyttää, kuinka paljon tekstiä tulee perille ilman JavaScriptiä. Näkyvyys tekoälyssä -tarkistus, joka sisältyy maksullisiin tilauksiin, kysyy kysymyksesi Claudelta verkkohaku päällä omalla API-avaimellasi ja näyttää, mainitaanko tai lainataanko brändiäsi tai verkkotunnustasi.

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Usein kysytyt kysymykset

Voinko tarkistaa ilmaiseksi, näkeekö Claude sivustoni?

Kyllä. robots.txt, curl-pyyntö, palvelinloki ja kysymys Claudelle eivät maksa mitään. AISeeWhyn ilmainen tarkistus testaa Anthropicin agentit ja 13 muuta crawleria yhdelle sivulle päivässä ilman tiliä.

Miksi Claude ei avaa sivustoani, kun liitän linkin?

Tavallisia syitä ovat palomuuri tai bottisuojaus, joka vastaa Anthropicin agenteille 403-koodilla tai haastesivulla, robots.txt-sääntö, joka estää Claude-Userin, tai sivu, jonka teksti ilmestyy vasta JavaScriptin suorittamisen jälkeen. Testaa URL curlilla selaimena ja Claude-tunnisteilla ja tarkista lokeista estetyt pyynnöt.

Julkaiseeko Anthropic user agent -merkkijonon, jolla voin testata?

Anthropicin crawler-ohjesivulla luetellaan tunnisteet ClaudeBot, Claude-SearchBot ja Claude-User, mutta ei täydellisiä user agent -merkkijonoja. Erottaaksesi aidon Anthropic-liikenteen jäljittelijöistä vertaa lähde-IP:tä luetteloon claude.com/crawling/bots.json.

Kuinka kauan robots.txt-muutoksen välittyminen Claudelle kestää?

Anthropic ei ilmoita aikaa. RFC 9309:n mukaan crawlerien ei pidä käyttää välimuistissa olevaa robots.txt:tä yli 24 tuntia, joten odota vähintään vuorokausi ennen kuin arvioit tulosta lokeista tai Clauden vastauksista.

Antaako Claude API samat vastaukset kuin Claude-sovellus?

Ei välttämättä. Sovellus voi käyttää likimääräistä sijaintiasi ja omia asetuksiaan, kun taas API-pyyntö käyttää lähettämiäsi työkaluja ja parametreja. Pidä API-tuloksia toistettavana testinä, älä kopiona siitä, mitä kukin käyttäjä näkee.

Mistä tiedän, mainitseeko Claude brändini?

Kysy Claudelta verkkohaku päällä ostajiesi kysymykset ja kirjaa, mainitseeko tai lainaako se sivustoasi ja mitkä kilpailijat näkyvät sen sijaan. Toista jokainen kysymys usean viikon ajan, koska vastaukset vaihtelevat. AISeeWhyn Näkyvyys tekoälyssä -tarkistus tekee tämän viikoittain Claude API:n kautta avaimellasi enintään neljän kilpailijan rinnalla.

Lähteet

Lisää artikkeleita