ClaudeBot
A ClaudeBot az Anthropic crawlere olyan webes tartalmakhoz, amelyeket generatív AI-modelljeinek tanítására használhatnak fel. Ha a robots.txt-ben letiltja, azzal jelzi, hogy a webhely jövőbeli tartalmait ki kell zárni a tanításból. Önmagában a letiltása nem állítja meg a Claude-SearchBotot és a Claude-Usert, amelyek a keresést és az élő válaszokat szolgálják ki.
Mit csinál
Az Anthropic szerint a ClaudeBot olyan webes tartalmakat gyűjt, amelyek hozzájárulhatnak a modelljei tanításához, hogy javítsa azok hasznosságát és biztonságát. A ClaudeBot letiltása azt jelzi, hogy a webhely jövőbeli anyagait ki kell zárni a tanítási adathalmazokból.
Az Anthropic a nem szabványos Crawl-delay direktívát is támogatja, így a ClaudeBotot letiltás helyett lelassíthatja. A robots.txt-ben a ClaudeBotot megnevező szabályok elsőbbséget élveznek az Anthropic általános AI-tanítás elleni jelzésével szemben. A robots.txt szabályai gazdagépenként érvényesek, ezért adja hozzá őket minden lefedni kívánt aldomainhez.
A 2026-11 havi vizsgálatunkban a robots.txt-vel rendelkező népszerű webhelyek 21.2% letiltotta. →
robots.txt token
ClaudeBot
Hogyan engedélyezheti
User-agent: ClaudeBot
Allow: /Hogyan tilthatja le
User-agent: ClaudeBot
Disallow: /Hogyan ellenőrizheti a valódi látogatásokat
Az Anthropic a claude.com/crawling/bots.json címen közzéteszi a crawlerei IP-címeit, és azt állítja, hogy az a crawler, amelynek IP-címe szerepel a listán, az Anthropictól származik. A forrás-IP-t a listához hasonlítsa, ne a user agentben bízzon. Az Anthropic nem javasolja az IP-blokkolást a kizáráshoz, mert ez azt is megakadályozza, hogy a crawler beolvassa a robots.txt fájlt.
Ellenőrizze, beengedi-e a webhelye →
Az Anthropic crawlerei: ClaudeBot, Claude-SearchBot és Claude-User →