Claude-SearchBot

Anthropic · AI-otsing

Claude-SearchBot läbib veebi, et parandada Claude'i otsingutulemuste asjakohasust ja täpsust. Anthropic ütleb, et selle blokeerimine takistab sinu sisu otsingu jaoks indekseerimist, mis võib vähendada sinu nähtavust ja täpsust kasutajate otsingutulemustes. Luba see, kui soovid, et Claude sinu lehed leiaks ja neile viitaks.

Kuidas seda lubada

User-agent: Claude-SearchBot
Allow: /

Kuidas seda blokeerida

User-agent: Claude-SearchBot
Disallow: /

Mida see teeb

Anthropic kasutab Claude-SearchBotit veebis liikumiseks ja Claude'i kasutajate otsingutulemuste kvaliteedi parandamiseks. See on eraldi treeningrobotist ClaudeBot, nii et saad otsingu lubada ja treenimisest loobuda.

Anthropic ütleb, et Claude-SearchBoti keelamine takistab sinu sisu indekseerimist otsingu optimeerimiseks, mis võib vähendada sinu saidi nähtavust ja täpsust kasutajate otsingutulemustes. Anthropicu robotid järgivad robots.txt-d ja austavad möödahiilimisvastaseid meetmeid, seega lõpetab CAPTCHA või kontrolleht külastuse.

Meie uuringus (2026-11) blokeeris selle 12.9% populaarsetest saitidest, millel on robots.txt. →

robots.txt tunnus

Claude-SearchBot

Kuidas päris külastusi kinnitada

Anthropic avaldab oma robotite IP-aadressid aadressil claude.com/crawling/bots.json ja ütleb, et robot, mille IP on selles loendis, pärineb Anthropicult. Võrdle lähte-IP-d loendiga, selle asemel et user agent'i usaldada. Anthropic ei soovita loobumiseks IP-blokeeringut kasutada, sest see takistab robotil ka robots.txt lugemist.

Kontrolli, kas sinu sait laseb selle sisse →

Anthropicu robotid: ClaudeBot, Claude-SearchBot ja Claude-User →