AISeeWhy
HU
Ingyenes próba

Az Anthropic crawlerei: ClaudeBot, Claude-SearchBot és Claude-User

Megjelent

Rövid válasz

Az Anthropic három ügynököt futtat: a ClaudeBot a modelljei tanítására szolgálható tartalmat gyűjt, a Claude-SearchBot a Claude keresési találatainak javítására jár be oldalakat, a Claude-User pedig akkor tölt le oldalakat, amikor egy Claude-felhasználó kérdéséhez szükség van rájuk. Mindegyiknek saját robots.txt-tokenje van, és az Anthropic szerint mindhárom betartja a robots.txt-et. A ClaudeBot önálló blokkolása nem állítja meg a keresést vagy a felhasználói lekéréseket.

Az Anthropic egyetlen súgóoldalon dokumentálja a crawlereit, és a felépítés tükrözi a többi AI-szolgáltatóét: egy ügynök a tanításra, egy a keresésre, és egy az élő lekérésekre a felhasználó nevében. Ha azt szeretné, hogy a Claude megtalálja és idézze az oldalait, az utolsó kettő számít a legtöbbet.

Ezen az oldalon
  1. Mit csinál a ClaudeBot?
  2. Mit csinál a Claude-SearchBot?
  3. Mit csinál a Claude-User?
  4. Hogyan írjak robots.txt-szabályokat a Claude-hoz?
  5. Hogyan viszonyul az Anthropic megoldása az OpenAI-éhoz és a Perplexityéhez?
  6. Blokkoljam az Anthropicot IP-cím alapján?
  7. Miért nem olvashatja el mégsem a Claude az oldalamat?

Mit csinál a ClaudeBot?

A ClaudeBot olyan webes tartalmat gyűjt, amely hozzájárulhat az Anthropic generatív AI-modelljeinek tanításához. Az Anthropic szerint a tiltása azt jelzi, hogy a webhelye jövőbeli tartalmát ki kell zárni a tanítóadathalmazokból.

Az Anthropic azt is mondja, hogy tiszteletben tart egy IETF-tervezeten alapuló, géppel olvasható tanításellenes jelzést, és hogy a robots.txt-ben a ClaudeBot-ot megnevező szabályok elsőbbséget élveznek ezzel az általános beállítással szemben. Mint a többi tanító crawlernél, a blokkolása irányelvi döntés.

Mit csinál a Claude-SearchBot?

A Claude-SearchBot a webet járja be, hogy javítsa a Claude keresési találatainak relevanciáját és pontosságát. Az Anthropic szerint a blokkolása megakadályozza, hogy a tartalmát indexeljék kereséshez, ami csökkentheti a láthatóságát és pontosságát a felhasználók keresési találataiban.

Ezt az ügynököt érdemes engedélyezni, ha azt szeretné, hogy a Claude keresési funkciói ismerjék az oldalait, mielőtt bárki rákérdezne. Mivel keresőcrawler, ugyanazok hasznára válnak, mint bármely keresőcrawlernek: a robots.txt-ben megadott sitemap, tiszta belső linkek, és olyan oldalak, amelyek az első válaszban visszaadják a tartalmukat.

Mit csinál a Claude-User?

A Claude-User akkor látogat meg egy webhelyet, amikor egy Claude-felhasználó olyan kérdést tesz fel, amelyhez ez szükséges, például amikor valaki megoszt egy URL-t, vagy megkéri a Claude-ot, hogy nézzen utána valaminek. Az Anthropic szerint a blokkolása megakadályozza a lekérést a felhasználói kérdésekre válaszul, ami csökkentheti a láthatóságát a felhasználó által irányított webes keresésben.

Figyeljen egy különbségre néhány más szolgáltatóhoz képest. Az Anthropic kijelenti, hogy a botjai betartják a robots.txt direktíváit, és a Claude-User blokkolását a robots.txt-n keresztül írja le. Az OpenAI és a Perplexity ezzel szemben azt mondja, hogy a felhasználói kérésre működő lekérőik nem feltétlenül követik a robots.txt-et.

Hogyan írjak robots.txt-szabályokat a Claude-hoz?

Minden ügynöknek saját tokenje van, és az RFC 9309 szerint egy crawlert megnevező csoport az adott crawlernél felváltja a * csoportot. Gyakori választás a keresés és a felhasználói lekérések engedélyezése, a tanításból pedig a kilépés:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Az Anthropic nem szabványos kiterjesztésként támogatja a Crawl-delay-t is, például Crawl-delay: 1 a User-agent: ClaudeBot alatt, ha lassítani szeretné a bejárást a blokkolás helyett. A szabályoknak minden host legfelső szintű könyvtárában lévő robots.txt-ben kell lenniük, ezért adja hozzá őket minden lefedni kívánt aldomainhez.

Hogyan viszonyul az Anthropic megoldása az OpenAI-éhoz és a Perplexityéhez?

A három szolgáltató ugyanazt a mintát követi más nevekkel, ami megkönnyíti az egyesített robots.txt átgondolását. A fő különbség az, hogyan kezeli mindegyik a robots.txt-et a felhasználó kérésére történő élő lekéréseknél.

Ha egyetlen robots.txt-et ír mindhárom szolgáltatóhoz, a keresési és felhasználói tokeneket tegye egy csoportba, a tanítótokeneket egy másikba. Így az irányelv olvasható marad, és egyértelmű, melyik célra mit döntött.

Blokkoljam az Anthropicot IP-cím alapján?

Az Anthropic ellenzi. A dokumentációja szerint az IP-címek blokkolása nem feltétlenül működik helyesen, és nem garantálja tartósan a kilépést, mert azt is megakadályozza, hogy a crawler elolvassa a robots.txt-et. Az irányelvét a robots.txt-ben rögzítse.

Az Anthropic közzéteszi a crawlerei IP-címeit a claude.com/crawling/bots.json címen. A lista hasznos felhasználása a blokkolás ellentéte: hagyja, hogy a tűzfala ellenőrizze, hogy a Claude-SearchBot-nak vagy Claude-User-nek valló kérés tényleg az Anthropictól jön-e, és engedje át.

Miért nem olvashatja el mégsem a Claude az oldalamat?

Még megengedő robots.txt mellett is előfordulhat, hogy a tűzfala vagy CDN-je 403-mal vagy kihívásoldallal válaszol az Anthropic ügynökeinek. Az Anthropic szerint a botjai tiszteletben tartják a megkerülés elleni technológiákat, és nem próbálják megkerülni a CAPTCHA-kat, így egy kihívásoldal egyszerűen véget vet a látogatásnak. Azok az oldalak, amelyek szövege csak a JavaScript lefutása után jelenik meg, szintén szinte üresen érkezhetnek.

Az AISeeWhy ClaudeBot, Claude-SearchBot és Claude-User néven is lekéri az oldalát egy böngésző mellett, és mindegyikhez ellenőrzi a robots.txt-szabályait, így látni fogja, hogy az Ön által írt irányelvet érvényesíti-e a szervere.

Gyakran ismételt kérdések

A ClaudeBot blokkolása eltávolítja a webhelyemet a Claude válaszaiból?

Önmagában nem. A keresési indexelés és a felhasználó kérte lekérések a Claude-SearchBot-ot és a Claude-User-t használják, amelyeknek saját robots.txt-tokenjük van.

Követi a Claude-User a robots.txt-et?

Az Anthropic szerint a botjai betartják a robots.txt-et, és a Claude-User blokkolását ott írja le, aminek következtében a Claude nem tudja lekérni az oldalait a felhasználói kérdésekhez.

Megold az Anthropic crawlere CAPTCHA-t?

Nem. Az Anthropic szerint a botjai tiszteletben tartják a megkerülés elleni technológiákat, és nem próbálják megkerülni a CAPTCHA-kat.

Lassíthatom a ClaudeBot-ot blokkolás helyett?

Igen. Az Anthropic nem szabványos kiterjesztésként támogatja a Crawl-delay-t, például Crawl-delay: 1 a robots.txt ClaudeBot csoportjában.

Hogyan ellenőrizhetem, hogy egy kérés tényleg az Anthropictól jön?

Hasonlítsa össze a forrás IP-címet az Anthropic által a claude.com/crawling/bots.json címen közzétett listával. Egy user agentet bárki lemásolhat.

Források

További cikkek