Claude-SearchBot
Claude-SearchBot nuskaito žiniatinklį, kad pagerintų Claude paieškos rezultatų tinkamumą ir tikslumą. Anthropic teigia, kad jį užblokavus jūsų turinys neindeksuojamas paieškai, o tai gali sumažinti jūsų matomumą ir tikslumą naudotojų paieškos rezultatuose. Įleiskite jį, jei norite, kad Claude rastų ir cituotų jūsų puslapius.
Kaip jį įleisti
User-agent: Claude-SearchBot
Allow: / Kaip jį blokuoti
User-agent: Claude-SearchBot
Disallow: / Ką jis daro
Anthropic naudoja Claude-SearchBot naršyti žiniatinklį ir gerinti paieškos rezultatų kokybę Claude naudotojams. Jis atskirtas nuo ClaudeBot, mokymo roboto, todėl galite leisti paiešką ir atsisakyti mokymo.
Anthropic teigia, kad išjungus Claude-SearchBot jūsų turinys neindeksuojamas paieškos optimizavimui, o tai gali sumažinti jūsų svetainės matomumą ir tikslumą naudotojų paieškos rezultatuose. Anthropic robotai paiso robots.txt ir gerbia apėjimo prevencijos priemones, todėl CAPTCHA ar patikrinimo puslapis apsilankymą nutraukia.
Mūsų 2026-11 tyrime jį blokavo 12.9% populiarių svetainių, turinčių robots.txt. →
robots.txt žymuo
Claude-SearchBot
Kaip patvirtinti tikrus apsilankymus
Anthropic skelbia savo robotų IP adresus adresu claude.com/crawling/bots.json ir nurodo, kad robotas, kurio IP yra tame sąraše, yra iš Anthropic. Tikrinkite šaltinio IP pagal sąrašą, o ne pasitikėkite user agent. Anthropic nepataria atsisakyti blokuojant IP, nes tada robotas negali perskaityti ir robots.txt.
Patikrinkite, ar jūsų svetainė jį įleidžia →
Anthropic robotai: ClaudeBot, Claude-SearchBot ir Claude-User →