Látja a Claude a weboldalamat? Így ellenőrizheti

Megjelent · Frissítve

Rövid válasz

A Claude csak akkor tudja elolvasni az oldalát, ha a robots.txt engedi az Anthropic ügynökeit, és a szerver ugyanazt a HTML-t küldi nekik, amelyet egy böngésző kap. Ellenőrizze, hogy a robots.txt nem tiltja-e a Claude-SearchBot vagy a Claude-User ügynököt, hogy a tűzfal nem 403-mal vagy kihívásoldallal válaszol-e nekik, és hogy a fő szöveg benne van-e a kezdeti HTML-ben. Ezután tesztelje magát a Claude-ot: illessze be az URL-t egy csevegésbe, és bekapcsolt webes kereséssel tegye fel a vásárlói kérdéseit.

Ha a Claude-ot a termékéről kérdezi, és más webhelyeket idéz, az első kérdés az, hogy egyáltalán eléri-e az Önét. Erre tesztelhető válasz adható. Az Anthropic közzéteszi az ügynökei robots.txt-tokenjeit és azokat az IP-címeket, ahonnan érkeznek, a Claude pedig megmutatja, milyen forrásokat használt. Így minden lépést sorban ellenőrizhet: mit mond a robots.txt, mit küld a szerver, mit rögzítenek a naplók, és mit kezd a Claude egy oldallal, ha megadja neki.

Ezen az oldalon
  1. Az 5 perces ellenőrzés lépésről lépésre
  2. Hogyan olvassa a Claude a weboldalakat?
  3. Hogyan ellenőrizhetem a robots.txt-ben, hogy a Claude hozzáfér-e a webhelyemhez?
  4. Hogyan tesztelhetem, mit kapnak a Claude ügynökei a szerveremtől?
  5. Hogyan láthatom, hogy a Claude valóban felkeresi-e a webhelyemet?
  6. Hogyan tesztelhetem magát a Claude-ot az oldalammal?
  7. Mi a teendő, ha a Claude el tudja olvasni az oldalamat, de mégsem idézi?
  8. Hogyan ellenőrzi ezt az AISeeWhy?

Az 5 perces ellenőrzés lépésről lépésre

  1. Nyissa meg a robots.txt-jét, és győződjön meg róla, hogy egyetlen Claude-SearchBot, Claude-User vagy User-agent: * csoport sem tiltja az oldalt. A ClaudeBot csak a tanítás szempontjából számít.
  2. Futtasson ingyenes ellenőrzést az oldalra az AISeeWhy-on, vagy küldjön egy kérést Claude-User user agenttel: 200-as állapotot és ugyanazt a szöveget kell kapnia, mint egy böngészőnek.
  3. Keressen rá a hozzáférési naplójában a Claude-SearchBot és a Claude-User bejegyzésekre, és nézze meg, milyen állapotkódokat kaptak.
  4. Illessze be az URL-jét a Claude-ba bekapcsolt webes kereséssel, kérje meg, hogy foglalja össze az oldalt, majd tegyen fel egy kérdést, amelyet a vásárlói feltesznek, és ellenőrizze a hivatkozásokat.

Ha az 1. vagy a 2. lépés nem sikerül, először a hozzáférést javítsa; az alábbi szakaszok megmutatják, hogyan. Ha a Claude elolvassa az oldalt, de nem hivatkozik rá, a tartalmon dolgozzon.

Hogyan olvassa a Claude a weboldalakat?

A Claude kétféleképpen éri el a webet. Webes kereséssel akkor keres, amikor egy kérdéshez friss információ kell, több forrást áttekint, és hivatkozásokkal válaszol. Az Anthropic súgóközpontja szerint minden webes keresést használó válasz tartalmaz hivatkozásokat. Ha valaki konkrét linket ad a Claude-nak, közvetlenül megnyithatja azt az oldalt.

Az Anthropic ehhez három ügynököt dokumentál, mindegyiket saját robots.txt-tokennel. A Claude-SearchBot a Claude keresési eredményeinek javításához crawlol, a Claude-User akkor kér le oldalakat, amikor egy felhasználó kérdéséhez szükség van rájuk, a ClaudeBot pedig olyan tartalmat gyűjt, amelyet tanításra is felhasználhatnak. Az Anthropic három crawleréről szóló külön útmutatónk részletesen leírja, melyik mit csinál. Ahhoz, hogy olvassák és idézzék, az első kettőt kell ellenőrizni.

Egy őszinte korlát: az Anthropic nem dokumentálja, milyen keresési indexet használ a Claude webes keresése, és hogyan választja ki a forrásokat. Azt írja, hogy a Claude-SearchBot blokkolása csökkentheti a láthatóságát a keresési eredményekben, a Claude-User blokkolása pedig megakadályozza a lekérést a felhasználói kérdésekhez. Ha mindkettőt engedi, az idézés lehetővé válik, de nem garantált.

Hogyan ellenőrizhetem a robots.txt-ben, hogy a Claude hozzáfér-e a webhelyemhez?

Nyissa meg a https://yourdomain.com/robots.txt címet, és keressen olyan csoportokat, amelyek a Claude-SearchBot vagy a Claude-User ügynököt nevezik meg. Ha egyiket sem nevezik meg, mindkettő a User-agent: * csoportot követi. Az RFC 9309 szerint a tokenek egyeztetése nem különbözteti meg a kis- és nagybetűket, és az érvényes csoportban álló Disallow: / az egész webhelyet lezárja az adott ügynök elől.

Magát a választ is ellenőrizze. A szerverhibát adó robots.txt azt üzeni a crawlereknek, hogy mindent tiltottnak tekintsenek. A 404 azt jelenti, hogy nincsenek szabályok. Két parancs megmutatja az állapotot és a fájl minden csoportját:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Az Anthropic szerint a szabályoknak minden aldomain legfelső szintjén lévő robots.txt-ben kell lenniük, így a blog.example.com címnek saját fájl kell. Ezek a tiltások nem ritkák. Az 1000 legnépszerűbb domainről készült felmérésünkben a robots.txt-t kiszolgáló 518 webhely közül 67 (12,9%) tiltotta a kezdőlapot a Claude-SearchBot számára és 68 (13,1%) a Claude-User számára, a tanító crawler, a ClaudeBot esetében pedig 110 (21,2%).

Hogyan tesztelhetem, mit kapnak a Claude ügynökei a szerveremtől?

A robots.txt kérés, nem hozzáférés-szabályozás. Egy tűzfal, CDN vagy botvédelem 403-mal, 429-cel vagy kihívásoldallal válaszolhat az Anthropic ügynökeinek, miközben az Ön böngészője rendesen látja az oldalt. Az Anthropic szerint a botjai nem próbálják megkerülni a CAPTCHA-kat, így egy kihívásoldal véget vet a látogatásnak.

Kérje le ugyanazt az URL-t böngészős user agenttel és az Anthropic minden tokenjével, majd hasonlítsa össze az állapotkódot és a méretet:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Az Anthropic súgóoldala megnevezi a tokeneket, de teljes user agent karakterláncokat nem tesz közzé, ezért ezek tesztkarakterláncok, nem az Anthropic valódi karakterláncai. Azt mutatják meg, hogyan kezelik a kérést a névre illeszkedő szabályok. Ha csak a Claude-sorok kapnak 403-at, 429-et vagy 503-at, vagy egy 200-as válasz sokkal kisebb a böngészőénél, az a tűzfalra utal.

A teszt az Ön saját IP-címéről érkezik. Az Anthropic szerint a claude.com/crawling/bots.json listájában szereplő címekről érkező kérések az Anthropictól származnak. Ha a tűzfala IP alapján engedi át az ellenőrzött crawlereket, a valódi ügynökök átjuthatnak, miközben az Ön tesztje blokkolva van, és fordítva is előfordulhat. A listát az Anthropic engedélyezésére használja, ne a blokkolására: az Anthropic nem javasolja az IP-alapú blokkolást, mert az a robots.txt olvasásától is elzárja a botjait.

Hogyan láthatom, hogy a Claude valóban felkeresi-e a webhelyemet?

Erre a hozzáférési naplók közvetlenül válaszolnak. Keressen bennük a három tokenre, majd ellenőrizze, hogy a forráscímek az Anthropic közzétett tartományaiba esnek-e, mert egy user agent nevét bárki lemásolhatja:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Az első parancs a gyakori combined naplóformátumot feltételezi, amelyben az 1. mező a kliens címe, a 9. mező pedig az állapotkód. Ha az Anthropic ügynökei mellett sok 403-as vagy 429-es kód áll, az tűzfalproblémát igazol. Ha a Claude-SearchBot egyáltalán nem járt az oldalakon, az csak annyit jelent, hogy még nem crawlolta őket, vagy valami korábban megállítja.

Hogyan tesztelhetem magát a Claude-ot az oldalammal?

Nyisson egy csevegést, és illessze be az egyik oldala URL-jét egy ilyen kéréssel: „Foglald össze ezt az oldalt”. Az Anthropic súgóközpontja szerint bekapcsolt webes kereséssel a Claude meg tudja nyitni a megadott linkeket. Ha a webes keresés ki van kapcsolva, kapcsolja be a + menüben; az Anthropic újabb Claude-felületén nincs kapcsoló, és a Claude akkor keres, amikor az segít. A Team és Enterprise csomagokban egy tulajdonosnak előbb engedélyeznie kell a webes keresést a szervezet számára. Ha a Claude nem tudja megnyitni az oldalt, a böngésző viszont igen, térjen vissza a tűzfalteszthez.

Ezután tegye fel a vásárlói kérdéseit a webhelye megnevezése nélkül, és nyissa meg az idézett forrásokat. Az Anthropic szerint a Claude a helyi eredményekhez az IP-címből becsült helyet használhat, így a válaszok helyenként és futásonként eltérhetnek.

A fejlesztők ezt a Claude API-val is megismételhetik. A webes keresőeszköz allowed_domains listát fogad, így egy az Ön domainjére korlátozott kérés megmutatja, hogy a Claude keresése visszaad-e bármely oldalt Öntől egy adott kérdésre:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Az üres keresési eredmény azt jelenti, hogy a Claude keresése nem talált semmit azon a domainen az adott kérdésre. Az Anthropic az API-n keresztüli webes keresésekért a tokeneken felül díjat számít fel. Az API webes lekérőeszköze azt is jelzi, miért nem lehetett elolvasni egy oldalt: a url_not_allowed az olyan tiltásokat jelöli, mint a robots.txt, az url_not_accessible pedig HTTP-hibát jelent. Az API-válaszok eltérhetnek attól, amit a Claude alkalmazásai mutatnak.

Mi a teendő, ha a Claude el tudja olvasni az oldalamat, de mégsem idézi?

Először győződjön meg arról, hogy a szükséges szöveg benne van a szerver által küldött HTML-ben. Az Anthropic API-dokumentációja szerint a webes lekérőeszköze nem támogatja a JavaScripttel renderelt webhelyeket, és az Anthropic nem állítja, hogy a crawlerei futtatják a szkripteket. Kérje le az oldalt curl paranccsal, és keressen a kimenetben egy mondatot a fő tartalomból. Ha nincs benne, a szerveroldali renderelés vagy az előrenderelés megoldja ezt a Claude és a legtöbb más AI-crawler számára.

Ezután maga az oldal dönt. Az oldal fő kérdésére adott választ tegye az első mondatokba, használjon olyan címsorokat, amelyek megfelelnek az emberek kérdéseinek, nevezze meg a kiadót, és tüntesse fel a dátumokat. Ezután hasonlítsa össze az oldalát azzal, amelyet a Claude ugyanarra a kérdésre idéz: az idézett oldal gyakran közvetlenebbül válaszol pontosan arra a kérdésre.

Hogyan ellenőrzi ezt az AISeeWhy?

Az ingyenes AISeeWhy-ellenőrzés egy valódi böngésző mellett Claude-SearchBot, Claude-User, ClaudeBot és a többi AI- és keresőcrawler nevében is lekéri az oldalát, mindegyikre alkalmazza a robots.txt-t, felismeri a kihívásoldalakat, és megmutatja, mennyi szöveg érkezik meg JavaScript nélkül. Az AI-láthatósági ellenőrzés a próbaidőszakban és a fizetős csomagokban az Ön saját API-kulcsával, webes kereséssel teszi fel a kérdéseit a Claude-nak, és megmutatja, hogy említi vagy idézi-e a márkáját vagy a domainjét.

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

Ingyen ellenőrizhetem, hogy a Claude látja-e a webhelyemet?

Igen. A robots.txt, egy curl-kérés, a szervernapló és egy kérdés a Claude-nak semmibe sem kerül. Az AISeeWhy ingyenes ellenőrzése fiók nélkül, naponta egy oldalra teszteli az Anthropic ágenseit és 13 másik crawlert.

Miért nem tudja a Claude megnyitni a webhelyemet, amikor beillesztem a linket?

A szokásos okok: egy tűzfal vagy botvédelem, amely 403-mal vagy kihívásoldallal válaszol az Anthropic ügynökeinek, egy robots.txt-szabály, amely tiltja a Claude-User ügynököt, vagy egy oldal, amelynek a szövege csak a JavaScript lefutása után jelenik meg. Tesztelje az URL-t curl paranccsal böngészőként és a Claude-tokenekkel, és keressen blokkolt kéréseket a naplókban.

Közzétesz az Anthropic user agent karakterláncot, amellyel tesztelhetek?

Az Anthropic crawlerekről szóló súgóoldala felsorolja a ClaudeBot, Claude-SearchBot és Claude-User tokeneket, de teljes user agent karakterláncokat nem. Ahhoz, hogy a valódi Anthropic-forgalmat megkülönböztesse az utánzóktól, vesse össze a forrás IP-címet a claude.com/crawling/bots.json listájával.

Mennyi idő alatt ér el egy robots.txt-módosítás a Claude-hoz?

Az Anthropic nem ad meg időt. Az RFC 9309 szerint a crawlerek ne használjanak 24 óránál régebbi gyorsítótárazott robots.txt-t, ezért várjon legalább egy napot, mielőtt a naplókban vagy a Claude válaszaiban megítéli az eredményt.

Ugyanazokat a válaszokat adja a Claude API, mint a Claude alkalmazás?

Nem feltétlenül. Az alkalmazás használhatja a hozzávetőleges helyét és a saját beállításait, míg egy API-kérés azokat az eszközöket és paramétereket használja, amelyeket Ön küld. Az API-eredményeket megismételhető tesztnek tekintse, ne annak másolatának, amit az egyes felhasználók látnak.

Honnan tudhatom, hogy a Claude említi-e a márkámat?

Tegye fel a Claude-nak bekapcsolt webes kereséssel a vásárlói kérdéseit, és jegyezze fel, hogy megnevezi vagy idézi-e a webhelyét, és mely versenytársak jelennek meg helyette. Minden kérdést ismételjen meg több héten át, mert a válaszok változnak. Az AISeeWhy AI-láthatósági ellenőrzése ezt hetente elvégzi a Claude API-n keresztül az Ön kulcsával, legfeljebb négy versenytárs mellett.

Források

További cikkek