Paano i-block ang AI training pero manatili sa mga sagot ng AI search

Inilathala

Maikling sagot

Karamihan sa mga AI vendor ay may magkahiwalay na robots.txt token para sa model training at para sa search. I-disallow ang mga training token, gaya ng GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent at CCBot, at payagan ang mga search at user token, gaya ng OAI-SearchBot, Claude-SearchBot at PerplexityBot. Magdagdag ng linyang Content-Signal para isaad din sa salita ang parehong kagustuhan.

Maraming may-ari ng site ang may dalawang gusto nang sabay: ayaw nilang gamitin ang content nila sa pag-train ng mga AI model, pero gusto nilang mahanap, masipi at ma-link ng mga AI assistant ang mga pahina nila. Dahil hinahati na ngayon ng malalaking vendor ang mga trabahong ito sa magkakaibang crawler o token, kayang ipahayag ng robots.txt ang dalawang pagpili. Ang problema, magkakaiba ang mga pangalan sa bawat vendor, may ilang vendor na hindi sumusunod sa pattern, at isang maling linya lang ay puwedeng mag-alis sa iyo sa mga sagot ng AI sa halip na sa training data.

Sa pahinang ito
  1. Ano ang pagkakaiba ng training crawler at search crawler?
  2. Aling mga token ang kumokontrol sa training at alin sa search?
  3. Ano ang hitsura ng robots.txt?
  4. Ilang site na ang gumagawa nito?
  5. Ano ang idinadagdag ng Content-Signal?
  6. Saan hindi malinis na gumagana ang paghahati?
  7. Paano ko masusuri kung gumagana ang paghahati?

Ano ang pagkakaiba ng training crawler at search crawler?

Nangongolekta ang training crawler ng mga pahinang maaaring gamitin para buuin o pahusayin ang mga AI model. Hindi nagbubunga ng pagsipi o link ang training mismo. Bumubuo ang search crawler ng index na ginagamit ng AI assistant para maghanap ng mga pinagmulan para sa isang sagot, at ang mga pinagmulang iyon ang puwede nitong sipiin. Ang fetcher na pinapagana ng user ay nagbubukas ng pahina nang live dahil may nagtanong tungkol dito.

Hiwalay na inilalarawan ng mga vendor ang mga papel na ito at sinasabing independiyente ang mga setting. Halimbawa, sinasabi ng OpenAI na independiyente sa isa't isa ang bawat robots.txt setting para sa mga crawler nito. Kaya ang training opt-out, kapag ginawa nang tama, ay hindi gumagalaw sa visibility mo sa search.

Aling mga token ang kumokontrol sa training at alin sa search?

Ito ang mga token na inilalarawan ng mga vendor, nakagrupo ayon sa kinokontrol nila:

Ano ang hitsura ng robots.txt?

Ayon sa RFC 9309, ang ilang magkakasunod na linyang User-agent ay bumubuo ng iisang grupo, kaya nalalapat ang mga rule sa bawat isa sa kanila. Nag-o-opt out ang file na ito sa mga training token sa itaas, pinapapasok ang mga search at user agent, at pinapanatiling sarado sa lahat ang isang pribadong path:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Dalawang detalye ang mahalaga. Una, hindi nagmamana mula sa * ang grupong may pangalan, kaya kailangang ulitin sa search group ang anumang pribadong path. Pangalawa, huwag idagdag ang Googlebot o Applebot sa training group: sila ang mga search crawler, at ang pag-block sa kanila ay nag-aalis sa iyo sa Google Search at sa mga search feature ng Apple. Hindi agad-agad ang mga pagbabago: mga 24 oras para sa search ayon sa OpenAI, at hanggang 24 oras ayon sa Perplexity.

Ilang site na ang gumagawa nito?

Mas kaunti kaysa sa inaakala mo. Binasa namin ang mga robots.txt file ng 1,000 pinakasikat na domain sa listahan ng Tranco noong 2026-11-12. Sa 518 na may robots.txt, 155 (29.9%) ang hindi nagpapapasok sa kahit isang AI training crawler sa home page. 57 (11.0%) lang ang pumipili ng selective na paraan: bina-block nila ang mga training crawler at pinapapasok ang bawat AI search at user crawler na sinubukan namin. Sa kabuuan, 101 site (19.5%) ang nagba-block ng kahit isang AI search o user crawler.

Ganoon din ang hati sa mga numero kada crawler. Na-block ang GPTBot sa 111 site (21.4%) at ang OAI-SearchBot sa 58 (11.2%). Na-block ang ClaudeBot sa 110 (21.2%) at ang Claude-SearchBot sa 67 (12.9%). Na-block ang Google-Extended sa 94 (18.1%), ang Googlebot sa 14 (2.7%). 18 site (3.5%) lang ang gumagamit ng Content-Signal.

Tinitingnan lang ng pag-aaral ang mga rule sa robots.txt para sa home page. Hindi nito sinusukat ang mga block ng firewall, at hindi nito ipinapakita kung ano ang balak ng bawat site.

Ano ang idinadagdag ng Content-Signal?

Ang Content Signals ay isang extension ng robots.txt na inilathala ng Cloudflare sa contentsignals.org. Isinasaad ng linyang Content-Signal kung paano maaaring gamitin ang content, gamit ang tatlong signal: search (pagbuo ng search index at pagpapakita ng mga link at maiikling sipi), ai-input (pagpasok ng content sa mga AI model nang real time, gaya ng grounding o retrieval para sa mga generative na sagot) at ai-train (pag-train o fine-tuning ng mga model).

Tandaan na hindi kasama sa kahulugan ng search ang mga buod ng search na gawa ng AI. Kung gusto mong lumabas sa mga sagot ng AI, itakda rin ang ai-input=yes, gaya ng sa halimbawa sa itaas. Idinadagdag ng managed robots.txt ng Cloudflare ang search=yes, ai-train=no bilang default; ang signal na hindi mo isinama ay hindi nagbibigay ni naglilimita sa paggamit na iyon.

Mga ipinahayag na kagustuhan ang mga ito. Sinasabi ng site ng Content Signals na hindi nito pinipigilan ang crawling sa technical na antas, at binabanggit ng Cloudflare na boluntaryo ang pagsunod sa robots.txt. Wala sa mga pahina ng crawler ng OpenAI, Anthropic, Google o Perplexity na sinuri namin ang nagsasabi kung binabasa nila ang Content-Signal, kaya ituring itong dagdag sa mga grupo kada crawler, hindi pamalit.

Saan hindi malinis na gumagana ang paghahati?

May ilang kaso na kailangang pag-ingatan:

Paano ko masusuri kung gumagana ang paghahati?

Basahin ang robots.txt mo gaya ng pagbasa ng bawat crawler: hanapin ang grupong nagbabanggit dito, bumalik sa * lang kung walang ganoon, at ilapat ang pinakamahabang tumutugmang rule. Pagkatapos ay mag-request ng pahina gamit ang user agent ng bawat search crawler at tiyaking 200 na may buong content ang nakukuha nito, hindi 403 o challenge page.

Ginagawa ng AISeeWhy ang dalawa para sa 14 na crawler, nakagrupo bilang training, search at user agent, at minamarkahan ang pinakakaraniwang pagkakamali: pag-block sa isang search token gaya ng PerplexityBot o Claude-SearchBot habang training ang balak i-block.

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Maaalis ba ang site ko sa mga sagot ng ChatGPT kapag na-block ko ang GPTBot?

Hindi. Sinasabi ng OpenAI na para sa training ang GPTBot at independiyente ang bawat robots.txt setting. Gumagamit ang ChatGPT search ng OAI-SearchBot; hangga't pinapayagan iyon at hindi bina-block ng firewall mo, nananatiling kwalipikado ang mga pahina mo.

Maaalis ba ako sa AI Overviews kapag na-block ko ang Google-Extended?

Hindi, ayon sa dokumentasyon ng Google. Sinasabi ng Google na hindi naaapektuhan ng Google-Extended ang pagkakasama sa Google Search, at kumukuha ang AI Overviews mula sa Search index. May hiwalay na kontrol ang Google sa Search Console para alisin ang isang site sa AI Overviews at AI Mode.

May iisang linya ba na nagba-block sa lahat ng AI training?

Walang standard na linya na gumagawa nito. Isinasaad ng Content-Signal: ai-train=no ang kagustuhan para sa lahat ng crawler, pero nakadepende sa operator kung susundin ito ng crawler. Ang mga grupong may pangalan para sa bawat training token ang dokumentadong paraan.

Dapat ko bang i-block ang Perplexity para pigilan ang AI training?

Sinasabi ng Perplexity na hindi ginagamit ang mga agent nito para mangolekta ng training data. Binabawasan ng pag-block sa PerplexityBot ang visibility mo sa mga resulta ng search ng Perplexity nang hindi nagsisilbing training opt-out.

Mga pinagmulan

Iba pang artikulo