robots.txt para sa mga AI crawler: ano ang papayagan, ano ang iba-block

Inilathala

Maikling sagot

Bigyan ng sariling grupong User-agent ang bawat AI crawler na mahalaga sa iyo. Payagan ang mga search crawler gaya ng OAI-SearchBot, Claude-SearchBot at PerplexityBot kung gusto mong masipi, at hiwalay na magpasya tungkol sa mga training token gaya ng GPTBot, ClaudeBot, Google-Extended at Applebot-Extended. Pinapalitan ng grupong may pangalan ang grupong * para sa crawler na iyon.

Ang robots.txt ay plain text file na nagsimula pa noong 1994 at naging pormal na standard, ang RFC 9309, noong 2022. Sinasabi ng karamihan sa mga AI vendor na sinusunod ito ng mga crawler nila, at may ilang naglalathala ng magkahiwalay na token para sa search at para sa training. Kaya ang robots.txt ang pinakasimpleng lugar para isaad ang patakaran mo sa AI, basta ang ibig sabihin ng mga rule ay ang inaakala mo.

Sa pahinang ito
  1. Anong mga robots.txt token ang ginagamit ng mga AI crawler?
  2. Ano ang hitsura ng mahusay na robots.txt para sa AI?
  3. Paano pinipili ng mga crawler kung aling mga rule ang nalalapat sa kanila?
  4. Ano ang mga pinakakaraniwang pagkakamali sa robots.txt?
  5. Puwede ba akong magsaad ng patakaran sa paggamit ng AI na higit pa sa allow at disallow?
  6. Gaano katagal bago magkabisa ang mga pagbabago, at paano ko ito susuriin?

Anong mga robots.txt token ang ginagamit ng mga AI crawler?

Ito ang mga token na inilalarawan ng mga vendor. Ayon sa RFC 9309, hindi case-sensitive ang pagtutugma.

Ano ang hitsura ng mahusay na robots.txt para sa AI?

Pinapapasok ng halimbawang ito ang AI search at ang mga pagkuha ng user, nag-o-opt out sa mga pangunahing training token at pinapanatiling sarado sa lahat ang isang pribadong bahagi:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Bumubuo ng iisang grupo ang ilang magkakasunod na linyang User-agent, kaya nalalapat ang mga rule sa ilalim nila sa bawat isa sa mga crawler na iyon. Kung gusto mong gamitin ang content mo para sa training, alisin lang ang pangalawang grupo. Hindi naaapektuhan ng pag-block sa Google-Extended ang Google Search: sinasabi ng Google na hindi nito naaapektuhan ang pagkakasama sa Search at hindi ito ranking signal. Gayundin, sinasabi ng Apple na puwede pa ring lumabas sa mga resulta ng search nito ang mga pahinang nagdi-disallow sa Applebot-Extended.

Paano pinipili ng mga crawler kung aling mga rule ang nalalapat sa kanila?

Eksaktong itinatakda ito ng RFC 9309, at ipinapaliwanag ng mga detalye ang karamihan sa mga sorpresa:

Ano ang mga pinakakaraniwang pagkakamali sa robots.txt?

Puwede ba akong magsaad ng patakaran sa paggamit ng AI na higit pa sa allow at disallow?

Nagmungkahi ang Cloudflare ng linyang Content-Signal para sa robots.txt na may tatlong signal: search (pagbuo ng search index at pagpapakita ng mga link at maiikling sipi), ai-input (paggamit ng content nang real time para sa mga sagot ng AI) at ai-train (pag-train o fine-tuning ng mga model). Kayang idagdag ito para sa iyo ng managed robots.txt ng Cloudflare.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Gaya ng lahat ng nasa robots.txt, mga kagustuhan ang mga ito, hindi technical na kontrol. Binabanggit mismo ng Cloudflare na boluntaryo ang pagsunod sa robots.txt. Opsyonal ang linya at walang pinsala, pero hindi nito pinapalitan ang mga grupo kada crawler sa itaas.

Gaano katagal bago magkabisa ang mga pagbabago, at paano ko ito susuriin?

Sinasabi ng RFC 9309 na hindi dapat gumamit ang mga crawler ng naka-cache na robots.txt nang higit sa 24 oras, at sinasabi ng OpenAI at Perplexity na maaaring umabot nang mga isang araw bago mailapat ang mga pagbabago. Tandaan din na hindi access control ang robots.txt: puwede pa ring i-block ng firewall ang isang crawler na pinapayagan ng mga rule mo.

Pina-parse ng AISeeWhy ang robots.txt mo ayon sa RFC 9309 para sa bawat crawler na sinusubukan nito, minamarkahan ang mga file na hindi maabot o ipinapadala bilang HTML, ipinapakita kung saan hindi nagkakasundo ang mga rule mo at ang server mo, at nagbibigay ng handang diff para sa pagbabago.

Mga ayos para sa problemang ito

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Nakakasira ba sa visibility ko sa mga sagot ng AI ang pag-block sa GPTBot o ClaudeBot?

Hindi nang direkta. Gumagamit ang dalawang vendor ng magkahiwalay na search crawler, ang OAI-SearchBot at Claude-SearchBot, para sa search. Pagpili sa patakaran ang pag-block sa training crawler.

Pinipigilan ba ng Google-Extended ang AI Overviews?

Hindi. Sinasabi ng Google na gumagamit ang mga AI feature sa Search ng Googlebot at ng mga karaniwang kontrol ng Search gaya ng nosnippet at noindex. Saklaw ng Google-Extended ang Gemini training at grounding sa ibang produkto ng Google at hindi nito naaapektuhan ang Search.

Sinusuportahan ba ng mga AI crawler ang Crawl-delay?

Hindi ito bahagi ng RFC 9309. Sinasabi ng Anthropic na sinusuportahan nito ang Crawl-delay bilang hindi standard na extension; para sa ibang vendor, tingnan ang dokumentasyon nila.

Saan dapat nakalagay ang robots.txt?

Sa root ng bawat host, halimbawa https://example.com/robots.txt. Hindi pinapansin ang file na nasa subfolder, at kailangan ng bawat subdomain ang sarili nito.

Mga pinagmulan

Iba pang artikulo