ClaudeBot
ClaudeBot este crawlerul Anthropic pentru conținut web care poate fi folosit la antrenarea modelelor sale de AI generativ. Dacă îl interzici în robots.txt, semnalezi că viitorul conținut al site-ului tău trebuie exclus din antrenare. Blocarea lui singură nu oprește Claude-SearchBot sau Claude-User, care deservesc căutarea și răspunsurile în timp real.
Ce face
Anthropic spune că ClaudeBot adună conținut web care ar putea contribui la antrenarea modelelor sale, pentru a le îmbunătăți utilitatea și siguranța. Interzicerea lui ClaudeBot semnalează că materialele viitoare ale site-ului tău trebuie excluse din seturile de date de antrenare.
Anthropic acceptă și directiva nestandard Crawl-delay, deci poți încetini ClaudeBot în loc să-l blochezi. Regulile din robots.txt care numesc ClaudeBot au prioritate față de semnalul general al Anthropic de refuz al antrenării AI. Regulile robots.txt se aplică pe fiecare host, deci adaugă-le pe fiecare subdomeniu pe care vrei să-l acoperi.
În studiul nostru din 2026-11, 21.2% dintre site-urile populare cu robots.txt îl blocau. →
Tokenul robots.txt
ClaudeBot
Cum îl permiți
User-agent: ClaudeBot
Allow: /Cum îl blochezi
User-agent: ClaudeBot
Disallow: /Cum verifici vizitele reale
Anthropic publică adresele IP ale crawlerelor sale la claude.com/crawling/bots.json și spune că un crawler al cărui IP se află pe acea listă vine de la Anthropic. Compară IP-ul sursă cu lista, în loc să te încrezi în user agent. Anthropic nu recomandă blocarea pe IP pentru a refuza, deoarece aceasta împiedică și crawlerul să citească robots.txt.
Verifică dacă site-ul tău îl lasă să intre →
Crawlerele Anthropic: ClaudeBot, Claude-SearchBot și Claude-User →