Anthropicovi crawleri: ClaudeBot, Claude-SearchBot i Claude-User
Anthropic pokreće tri agenta: ClaudeBot prikuplja sadržaj koji se može koristiti za treniranje njegovih modela, Claude-SearchBot indeksira kako bi poboljšao rezultate pretraživanja Claudea, a Claude-User dohvaća stranice kad su potrebne za pitanje korisnika Claudea. Svaki ima vlastiti token u robots.txt, a Anthropic navodi da sva tri poštuju robots.txt. Samo blokiranje ClaudeBot ne zaustavlja pretraživanje ni dohvaćanje za korisnike.
Anthropic dokumentira svoje crawlere na jednoj stranici pomoći, a struktura odgovara onoj drugih AI dobavljača: jedan agent za treniranje, jedan za pretraživanje i jedan za dohvaćanje uživo u ime korisnika. Ako želite da Claude može pronaći i citirati vaše stranice, najvažnija su posljednja dva.
Na ovoj stranici
Što radi ClaudeBot?
ClaudeBot prikuplja web-sadržaj koji bi mogao pridonijeti treniranju Anthropicovih modela generativnog AI-ja. Prema Anthropicu, zabrana za njega signalizira da budući sadržaj vaše web-stranice treba isključiti iz skupova podataka za treniranje.
Anthropic također navodi da poštuje strojno čitljiv signal protiv AI treniranja temeljen na nacrtu IETF-a te da pravila koja u robots.txt navode ClaudeBot imaju prednost pred tom općom postavkom. Kao i kod drugih crawlera za treniranje, njegovo je blokiranje izbor pravila.
Što radi Claude-SearchBot?
Claude-SearchBot indeksira web kako bi poboljšao relevantnost i točnost rezultata pretraživanja u Claudeu. Anthropic navodi da njegovo blokiranje sprječava indeksiranje vašeg sadržaja za pretraživanje, što može smanjiti vašu vidljivost i točnost u rezultatima pretraživanja korisnika.
Ovo je agent kojeg treba dopustiti ako želite da Claudeove značajke pretraživanja znaju za vaše stranice prije nego što itko o njima pita. Budući da je riječ o crawleru za pretraživanje, koristi mu isto što i svakom crawleru za pretraživanje: sitemap naveden u robots.txt, uredne unutarnje poveznice i stranice koje svoj sadržaj vraćaju u prvom odgovoru.
Što radi Claude-User?
Claude-User pristupa web-stranici kad korisnik Claudea postavi pitanje koje to zahtijeva, na primjer kad netko podijeli URL ili zatraži od Claudea da nešto potraži. Anthropic navodi da njegovo blokiranje sprječava dohvaćanje kao odgovor na upite korisnika, što može smanjiti vašu vidljivost u web-pretraživanju koje usmjeravaju korisnici.
Obratite pozornost na razliku u odnosu na neke druge dobavljače. Anthropic navodi da njegovi botovi poštuju direktive iz robots.txt i opisuje blokiranje Claude-User putem robots.txt. OpenAI i Perplexity, nasuprot tome, navode da njihovi dohvatitelji na zahtjev korisnika možda ne poštuju robots.txt.
Kako napisati pravila u robots.txt za Claude?
Svaki agent ima vlastiti token, a grupa koja navodi crawler prema RFC 9309 za taj crawler zamjenjuje grupu *. Čest je izbor dopustiti pretraživanje i dohvaćanje za korisnike, a isključiti treniranje:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic podržava i Crawl-delay kao nestandardno proširenje, na primjer Crawl-delay: 1 pod User-agent: ClaudeBot, ako indeksiranje želite usporiti umjesto blokirati. Pravila moraju biti u robots.txt u korijenskom direktoriju svakog hosta, pa ih dodajte na svaku poddomenu koju želite obuhvatiti.
Kako se Anthropicov sustav uspoređuje s OpenAI-jem i Perplexityjem?
Tri dobavljača slijede isti obrazac s različitim nazivima, pa je o zajedničkom robots.txt lako razmišljati. Glavna je razlika u tome kako svaki tretira robots.txt kod dohvaćanja uživo na zahtjev korisnika.
- Crawler za pretraživanje:
Claude-SearchBotza Anthropic,OAI-SearchBotza OpenAI,PerplexityBotza Perplexity. - Crawler za treniranje:
ClaudeBotza Anthropic,GPTBotza OpenAI. Perplexity navodi da sePerplexityBotne koristi za prikupljanje sadržaja za temeljne AI modele. - Dohvaćanje za korisnike:
Claude-User,ChatGPT-UseriPerplexity-User. Anthropic navodi da njegovi botovi poštuju robots.txt; OpenAI navodi da se robots.txt naChatGPT-Usermožda ne primjenjuje; Perplexity navodi da gaPerplexity-Useruglavnom zanemaruje.
Ako pišete jedan robots.txt za sva tri, tokene za pretraživanje i korisnike stavite u jednu grupu, a tokene za treniranje u drugu. Tako pravila ostaju čitljiva i odmah je jasno koji ste izbor napravili za koju namjenu.
Trebam li blokirati Anthropic po IP adresi?
Anthropic to ne preporučuje. Njegova dokumentacija navodi da blokiranje IP adresa možda neće ispravno raditi niti trajno jamčiti isključenje, jer crawleru onemogućuje i čitanje vašeg robots.txt. Za izražavanje svojih pravila koristite robots.txt.
Anthropic objavljuje IP adrese svojih crawlera na claude.com/crawling/bots.json. Koristan način upotrebe tog popisa suprotan je blokiranju: neka vaš vatrozid provjeri dolazi li zahtjev koji se predstavlja kao Claude-SearchBot ili Claude-User stvarno od Anthropica i neka ga propusti.
Zašto Claude i dalje možda ne može pročitati moju stranicu?
Čak i uz popustljiv robots.txt, vaš vatrozid ili CDN mogu Anthropicovim agentima odgovoriti kodom 403 ili stranicom s provjerom. Anthropic navodi da njegovi botovi poštuju tehnologije protiv zaobilaženja i da neće pokušavati zaobići CAPTCHA provjere, pa stranica s provjerom jednostavno završava posjet. Stranice čiji se tekst pojavljuje tek nakon izvođenja JavaScripta također mogu stići gotovo prazne.
AISeeWhy dohvaća vašu stranicu kao ClaudeBot, Claude-SearchBot i Claude-User uz preglednik i za svakog provjerava pravila u vašem robots.txt, pa možete vidjeti provodi li vaš poslužitelj upravo ona pravila koja ste napisali.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Uklanja li blokiranje ClaudeBota moju web-stranicu iz Claudeovih odgovora?
Ne samo po sebi. Indeksiranje za pretraživanje i dohvaćanje na zahtjev korisnika koriste Claude-SearchBot i Claude-User, koji imaju vlastite tokene u robots.txt.
Poštuje li Claude-User robots.txt?
Anthropic navodi da njegovi botovi poštuju robots.txt i opisuje blokiranje Claude-User u njemu, s učinkom da Claude ne može dohvatiti vaše stranice za pitanja korisnika.
Hoće li Anthropicovi crawleri riješiti CAPTCHA?
Neće. Anthropic navodi da njegovi botovi poštuju tehnologije protiv zaobilaženja i da neće pokušavati zaobići CAPTCHA provjere.
Mogu li ClaudeBot usporiti umjesto da ga blokiram?
Možete. Anthropic podržava Crawl-delay kao nestandardno proširenje, na primjer Crawl-delay: 1 u grupi ClaudeBot u vašem robots.txt.
Kako provjeriti dolazi li zahtjev stvarno od Anthropica?
Usporedite izvornu IP adresu s popisom koji Anthropic objavljuje na claude.com/crawling/bots.json. Sam user agent svatko može kopirati.
Izvori
- Anthropic: Prikuplja li Anthropic podatke s weba i kako vlasnici web-stranica mogu blokirati crawler?
- RFC 9309: Robots Exclusion Protocol