robots.txt para sa mga AI crawler: ano ang papayagan, ano ang iba-block
Bigyan ng sariling grupong User-agent ang bawat AI crawler na mahalaga sa iyo. Payagan ang mga search crawler gaya ng OAI-SearchBot, Claude-SearchBot at PerplexityBot kung gusto mong masipi, at hiwalay na magpasya tungkol sa mga training token gaya ng GPTBot, ClaudeBot, Google-Extended at Applebot-Extended. Pinapalitan ng grupong may pangalan ang grupong * para sa crawler na iyon.
Ang robots.txt ay plain text file na nagsimula pa noong 1994 at naging pormal na standard, ang RFC 9309, noong 2022. Sinasabi ng karamihan sa mga AI vendor na sinusunod ito ng mga crawler nila, at may ilang naglalathala ng magkahiwalay na token para sa search at para sa training. Kaya ang robots.txt ang pinakasimpleng lugar para isaad ang patakaran mo sa AI, basta ang ibig sabihin ng mga rule ay ang inaakala mo.
Sa pahinang ito
- Anong mga robots.txt token ang ginagamit ng mga AI crawler?
- Ano ang hitsura ng mahusay na robots.txt para sa AI?
- Paano pinipili ng mga crawler kung aling mga rule ang nalalapat sa kanila?
- Ano ang mga pinakakaraniwang pagkakamali sa robots.txt?
- Puwede ba akong magsaad ng patakaran sa paggamit ng AI na higit pa sa allow at disallow?
- Gaano katagal bago magkabisa ang mga pagbabago, at paano ko ito susuriin?
Anong mga robots.txt token ang ginagamit ng mga AI crawler?
Ito ang mga token na inilalarawan ng mga vendor. Ayon sa RFC 9309, hindi case-sensitive ang pagtutugma.
- OpenAI:
OAI-SearchBot(ChatGPT search),GPTBot(training),ChatGPT-User(mga pagbisitang hiniling ng user; sinasabi ng OpenAI na maaaring hindi nalalapat ang robots.txt). - Anthropic:
Claude-SearchBot(search),ClaudeBot(training),Claude-User(mga pagbisitang hiniling ng user). - Perplexity:
PerplexityBot(search),Perplexity-User(mga pagbisitang hiniling ng user; sinasabi ng Perplexity na karaniwang hindi nito pinapansin ang robots.txt). - Google:
Googlebot(Search, kasama ang mga AI feature nito) atGoogle-Extended, isang token na walang sariling crawler na kumokontrol sa paggamit sa Gemini training at grounding. - Apple:
Applebot(Spotlight, Siri, Safari search) atApplebot-Extended, na hindi nagka-crawl pero kumokontrol sa paggamit para sa pag-train ng mga foundation model ng Apple. - Meta:
meta-externalagent(training at pag-index ng produkto) atmeta-webindexer(Meta AI search). - Common Crawl:
CCBot, na bumubuo sa libre at pampublikong archive ng web data ng Common Crawl.
Ano ang hitsura ng mahusay na robots.txt para sa AI?
Pinapapasok ng halimbawang ito ang AI search at ang mga pagkuha ng user, nag-o-opt out sa mga pangunahing training token at pinapanatiling sarado sa lahat ang isang pribadong bahagi:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Bumubuo ng iisang grupo ang ilang magkakasunod na linyang User-agent, kaya nalalapat ang mga rule sa ilalim nila sa bawat isa sa mga crawler na iyon. Kung gusto mong gamitin ang content mo para sa training, alisin lang ang pangalawang grupo. Hindi naaapektuhan ng pag-block sa Google-Extended ang Google Search: sinasabi ng Google na hindi nito naaapektuhan ang pagkakasama sa Search at hindi ito ranking signal. Gayundin, sinasabi ng Apple na puwede pa ring lumabas sa mga resulta ng search nito ang mga pahinang nagdi-disallow sa Applebot-Extended.
Paano pinipili ng mga crawler kung aling mga rule ang nalalapat sa kanila?
Eksaktong itinatakda ito ng RFC 9309, at ipinapaliwanag ng mga detalye ang karamihan sa mga sorpresa:
- Hinahanap ng crawler ang grupong tumutugma ang
User-agentsa product token nito, anuman ang laki ng titik. Kung maraming grupo ang tumutugma, pinagsasama ang mga rule nila sa iisa. - Kapag walang grupong tumutugma lang susundin ng crawler ang grupong
User-agent: *. Walang minamana mula sa*ang grupong may pangalan. - Sa loob ng grupo, nananalo ang rule na may pinakamahabang tumutugmang path. Tinatalo ng
Allow: /blog/angDisallow: /para sa/blog/post. - Kung parehong haba ang tumutugmang rule na
AllowatDisallow, dapat gamitin angAllow. - Tumutugma ang
*sa path sa anumang character at minamarkahan ng$ang dulo, kaya sinasaklaw ngDisallow: /*.pdf$ang bawat PDF.
Ano ang mga pinakakaraniwang pagkakamali sa robots.txt?
- Pag-asang magmamana mula sa
*ang grupong may pangalan. Binubuksan ng grupo para saOAI-SearchBotnaAllow: /lang ang laman ang bawat path, kasama ang mga dini-disallow mo sa ilalim ng*. - Robots.txt address na nagbabalik ng HTML page, madalas isang 404 page na ipinapadala na may status 200. Walang mahahanap na valid na rule doon ang mga crawler.
- Robots.txt na nagbabalik ng server error. Sinasabi ng RFC 9309 na dapat ituring ng crawler na hindi pinapayagan ang buong site. Iba ang 404: ibig sabihin ay walang paghihigpit.
- Pag-block sa isang search token habang training ang balak i-block, halimbawa pag-disallow sa
PerplexityBotoClaude-SearchBotpara iwasan ang model training. - Pag-asa sa robots.txt para pigilan ang mga pagkuhang hiniling ng user. Sinasabi ng OpenAI at Perplexity na maaaring hindi ito sundin ng kanilang mga user agent.
- Pagkalimot sa mga subdomain. May sariling robots.txt ang bawat host; pinapaalala ng dokumentasyon ng Anthropic sa mga may-ari ng site na magdagdag ng mga rule para sa bawat subdomain.
Puwede ba akong magsaad ng patakaran sa paggamit ng AI na higit pa sa allow at disallow?
Nagmungkahi ang Cloudflare ng linyang Content-Signal para sa robots.txt na may tatlong signal: search (pagbuo ng search index at pagpapakita ng mga link at maiikling sipi), ai-input (paggamit ng content nang real time para sa mga sagot ng AI) at ai-train (pag-train o fine-tuning ng mga model). Kayang idagdag ito para sa iyo ng managed robots.txt ng Cloudflare.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Gaya ng lahat ng nasa robots.txt, mga kagustuhan ang mga ito, hindi technical na kontrol. Binabanggit mismo ng Cloudflare na boluntaryo ang pagsunod sa robots.txt. Opsyonal ang linya at walang pinsala, pero hindi nito pinapalitan ang mga grupo kada crawler sa itaas.
Gaano katagal bago magkabisa ang mga pagbabago, at paano ko ito susuriin?
Sinasabi ng RFC 9309 na hindi dapat gumamit ang mga crawler ng naka-cache na robots.txt nang higit sa 24 oras, at sinasabi ng OpenAI at Perplexity na maaaring umabot nang mga isang araw bago mailapat ang mga pagbabago. Tandaan din na hindi access control ang robots.txt: puwede pa ring i-block ng firewall ang isang crawler na pinapayagan ng mga rule mo.
Pina-parse ng AISeeWhy ang robots.txt mo ayon sa RFC 9309 para sa bawat crawler na sinusubukan nito, minamarkahan ang mga file na hindi maabot o ipinapadala bilang HTML, ipinapakita kung saan hindi nagkakasundo ang mga rule mo at ang server mo, at nagbibigay ng handang diff para sa pagbabago.
Mga ayos para sa problemang ito
- Pinapayagan ng robots.txt ang GPTBot, pero bina-block ito ng server
- Hindi pinapayagan ng robots.txt ang OAI-SearchBot
- HTML page ang robots.txt
- Walang Content-Signal sa robots.txt
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Nakakasira ba sa visibility ko sa mga sagot ng AI ang pag-block sa GPTBot o ClaudeBot?
Hindi nang direkta. Gumagamit ang dalawang vendor ng magkahiwalay na search crawler, ang OAI-SearchBot at Claude-SearchBot, para sa search. Pagpili sa patakaran ang pag-block sa training crawler.
Pinipigilan ba ng Google-Extended ang AI Overviews?
Hindi. Sinasabi ng Google na gumagamit ang mga AI feature sa Search ng Googlebot at ng mga karaniwang kontrol ng Search gaya ng nosnippet at noindex. Saklaw ng Google-Extended ang Gemini training at grounding sa ibang produkto ng Google at hindi nito naaapektuhan ang Search.
Sinusuportahan ba ng mga AI crawler ang Crawl-delay?
Hindi ito bahagi ng RFC 9309. Sinasabi ng Anthropic na sinusuportahan nito ang Crawl-delay bilang hindi standard na extension; para sa ibang vendor, tingnan ang dokumentasyon nila.
Saan dapat nakalagay ang robots.txt?
Sa root ng bawat host, halimbawa https://example.com/robots.txt. Hindi pinapansin ang file na nasa subfolder, at kailangan ng bawat subdomain ang sarili nito.
Mga pinagmulan
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Google: Common crawlers, including Google-Extended
- Apple: About Applebot
- Cloudflare: Managed robots.txt and Content Signals