AISeeWhy
RO
Începe proba gratuită

Crawlerele Anthropic: ClaudeBot, Claude-SearchBot și Claude-User

Publicat

Răspuns scurt

Anthropic rulează trei agenți: ClaudeBot colectează conținut care poate fi folosit pentru antrenarea modelelor sale, Claude-SearchBot parcurge web-ul pentru a îmbunătăți rezultatele căutării din Claude, iar Claude-User preia pagini atunci când întrebarea unui utilizator Claude are nevoie de ele. Fiecare are propriul token în robots.txt, iar Anthropic spune că toți trei respectă robots.txt. Blocarea doar a ClaudeBot nu oprește nici căutarea, nici preluările făcute pentru utilizatori.

Anthropic își documentează crawlerele pe o singură pagină de ajutor, iar structura oglindește pe cea a altor furnizori AI: un agent pentru antrenare, unul pentru căutare și unul pentru preluări live în numele unui utilizator. Dacă vrei ca Claude să-ți poată găsi și cita paginile, ultimii doi contează cel mai mult.

Pe această pagină
  1. Ce face ClaudeBot?
  2. Ce face Claude-SearchBot?
  3. Ce face Claude-User?
  4. Cum scriu regulile robots.txt pentru Claude?
  5. Cum se compară configurația Anthropic cu cea a OpenAI și Perplexity?
  6. Ar trebui să-l blochez pe Anthropic după adresa IP?
  7. De ce nu ar citi Claude pagina mea?

Ce face ClaudeBot?

ClaudeBot colectează conținut web care ar putea contribui la antrenarea modelelor de AI generativ ale Anthropic. Potrivit Anthropic, interzicerea lui semnalează că viitorul conținut al site-ului tău trebuie exclus din seturile de date de antrenare.

Anthropic spune și că respectă un semnal de interzicere a antrenării AI, care poate fi citit de mașini și se bazează pe un draft IETF, și că regulile din robots.txt care îl menționează pe ClaudeBot au prioritate față de această setare generală. Ca la alte crawlere de antrenare, blocarea lui este o alegere de politică.

Ce face Claude-SearchBot?

Claude-SearchBot parcurge web-ul pentru a îmbunătăți relevanța și acuratețea rezultatelor căutării din Claude. Anthropic spune că blocarea lui împiedică indexarea conținutului tău pentru căutare, ceea ce îți poate reduce vizibilitatea și acuratețea în rezultatele de căutare ale utilizatorilor.

Acesta este agentul de permis dacă vrei ca funcțiile de căutare ale Claude să-ți cunoască paginile înainte ca cineva să întrebe despre ele. Fiind un crawler de căutare, beneficiază de aceleași lucruri ca orice crawler de căutare: un sitemap listat în robots.txt, linkuri interne curate și pagini care returnează conținutul în primul răspuns.

Ce face Claude-User?

Claude-User accesează un site atunci când un utilizator Claude pune o întrebare care o cere, de exemplu când cineva distribuie un URL sau îi cere lui Claude să caute ceva. Anthropic spune că blocarea lui împiedică preluarea ca răspuns la interogările utilizatorilor, ceea ce îți poate reduce vizibilitatea în căutarea web dirijată de utilizator.

Reține o diferență față de alți furnizori. Anthropic afirmă că boții săi respectă directivele din robots.txt și descrie blocarea Claude-User prin robots.txt. OpenAI și Perplexity, în schimb, spun că agenții lor care acționează la cererea utilizatorului pot să nu respecte robots.txt.

Cum scriu regulile robots.txt pentru Claude?

Fiecare agent are propriul token, iar un grup care menționează un crawler înlocuiește grupul * pentru acel crawler, conform RFC 9309. O alegere frecventă este să permiți căutarea și preluările făcute pentru utilizatori și să refuzi antrenarea:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic acceptă și Crawl-delay ca extensie nestandard, de exemplu Crawl-delay: 1 sub User-agent: ClaudeBot, dacă vrei să încetinești parcurgerea în loc să o blochezi. Regulile trebuie să fie în robots.txt din directorul de nivel superior al fiecărui host, așa că adaugă-le la fiecare subdomeniu pe care vrei să-l acoperi.

Cum se compară configurația Anthropic cu cea a OpenAI și Perplexity?

Cei trei furnizori urmează același tipar cu nume diferite, ceea ce face ușor de înțeles un robots.txt comun. Diferența principală este cum tratează fiecare robots.txt pentru preluările live făcute la cererea unui utilizator.

Dacă scrii un singur robots.txt pentru toți trei, pune tokenurile de căutare și cele de utilizator într-un grup, iar pe cele de antrenare în altul. Așa politica rămâne lizibilă și se vede clar ce ai ales pentru fiecare scop.

Ar trebui să-l blochez pe Anthropic după adresa IP?

Anthropic îți recomandă să nu o faci. Documentația sa spune că blocarea adreselor IP poate să nu funcționeze corect și să nu garanteze în mod persistent refuzul, pentru că împiedică și crawlerul să-ți citească robots.txt. Folosește robots.txt pentru a enunța politica.

Anthropic publică adresele IP ale crawlerelor sale la claude.com/crawling/bots.json. Utilizarea utilă a acelei liste este opusul blocării: lasă firewall-ul să verifice că o cerere care pretinde că e Claude-SearchBot sau Claude-User vine într-adevăr de la Anthropic și lasă-o să treacă.

De ce nu ar citi Claude pagina mea?

Chiar și cu un robots.txt permisiv, firewall-ul sau CDN-ul tău poate răspunde agenților Anthropic cu un 403 sau cu o pagină de verificare. Anthropic spune că boții săi respectă tehnologiile anti-ocolire și nu încearcă să ocolească CAPTCHA-urile, așa că o pagină de verificare încheie pur și simplu vizita. Paginile al căror text apare doar după ce rulează JavaScript pot ajunge și ele aproape goale.

AISeeWhy cere pagina ta ca ClaudeBot, Claude-SearchBot și Claude-User, alături de un browser, și verifică regulile din robots.txt pentru fiecare, ca să vezi dacă politica pe care ai scris-o este cea pe care o aplică serverul tău.

Întrebări frecvente

Mă scoate din răspunsurile Claude blocarea ClaudeBot?

Nu prin ea însăși. Indexarea pentru căutare și preluările cerute de utilizatori folosesc Claude-SearchBot și Claude-User, care au propriile tokenuri în robots.txt.

Respectă Claude-User robots.txt?

Anthropic spune că boții săi respectă robots.txt și descrie blocarea Claude-User acolo, cu efectul că Claude nu-ți poate prelua paginile pentru întrebările utilizatorilor.

Rezolvă crawlerele Anthropic CAPTCHA-uri?

Nu. Anthropic spune că boții săi respectă tehnologiile anti-ocolire și nu încearcă să ocolească CAPTCHA-urile.

Pot încetini ClaudeBot în loc să-l blochez?

Da. Anthropic acceptă Crawl-delay ca extensie nestandard, de exemplu Crawl-delay: 1 în grupul ClaudeBot din robots.txt.

Cum verific dacă o cerere vine cu adevărat de la Anthropic?

Compară IP-ul sursă cu lista pe care Anthropic o publică la claude.com/crawling/bots.json. Un user agent poate fi copiat de oricine.

Surse

Alte articole