Paano i-block ang AI training pero manatili sa mga sagot ng AI search
Karamihan sa mga AI vendor ay may magkahiwalay na robots.txt token para sa model training at para sa search. I-disallow ang mga training token, gaya ng GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent at CCBot, at payagan ang mga search at user token, gaya ng OAI-SearchBot, Claude-SearchBot at PerplexityBot. Magdagdag ng linyang Content-Signal para isaad din sa salita ang parehong kagustuhan.
Maraming may-ari ng site ang may dalawang gusto nang sabay: ayaw nilang gamitin ang content nila sa pag-train ng mga AI model, pero gusto nilang mahanap, masipi at ma-link ng mga AI assistant ang mga pahina nila. Dahil hinahati na ngayon ng malalaking vendor ang mga trabahong ito sa magkakaibang crawler o token, kayang ipahayag ng robots.txt ang dalawang pagpili. Ang problema, magkakaiba ang mga pangalan sa bawat vendor, may ilang vendor na hindi sumusunod sa pattern, at isang maling linya lang ay puwedeng mag-alis sa iyo sa mga sagot ng AI sa halip na sa training data.
Sa pahinang ito
- Ano ang pagkakaiba ng training crawler at search crawler?
- Aling mga token ang kumokontrol sa training at alin sa search?
- Ano ang hitsura ng robots.txt?
- Ilang site na ang gumagawa nito?
- Ano ang idinadagdag ng Content-Signal?
- Saan hindi malinis na gumagana ang paghahati?
- Paano ko masusuri kung gumagana ang paghahati?
Ano ang pagkakaiba ng training crawler at search crawler?
Nangongolekta ang training crawler ng mga pahinang maaaring gamitin para buuin o pahusayin ang mga AI model. Hindi nagbubunga ng pagsipi o link ang training mismo. Bumubuo ang search crawler ng index na ginagamit ng AI assistant para maghanap ng mga pinagmulan para sa isang sagot, at ang mga pinagmulang iyon ang puwede nitong sipiin. Ang fetcher na pinapagana ng user ay nagbubukas ng pahina nang live dahil may nagtanong tungkol dito.
Hiwalay na inilalarawan ng mga vendor ang mga papel na ito at sinasabing independiyente ang mga setting. Halimbawa, sinasabi ng OpenAI na independiyente sa isa't isa ang bawat robots.txt setting para sa mga crawler nito. Kaya ang training opt-out, kapag ginawa nang tama, ay hindi gumagalaw sa visibility mo sa search.
Aling mga token ang kumokontrol sa training at alin sa search?
Ito ang mga token na inilalarawan ng mga vendor, nakagrupo ayon sa kinokontrol nila:
- OpenAI: nagka-crawl ang
GPTBotng content na maaaring gamitin sa pag-train ng mga foundation model nito. Para sa ChatGPT search angOAI-SearchBot, at hinahawakan ngChatGPT-Userang mga aksyon ng user; sinasabi ng OpenAI na maaaring hindi ito saklaw ng robots.txt. - Anthropic: nangongolekta ang
ClaudeBotng content na maaaring makaambag sa training. Pinapahusay ngClaude-SearchBotang mga resulta ng search ng Claude, at kumukuha angClaude-Userng mga pahina para sa mga user. Sinasabi ng Anthropic na sinusunod ng mga bot nito ang robots.txt. - Google: ang
Google-Extendeday robots.txt token na walang sariling crawler. Kinokontrol nito ang paggamit sa pag-train ng mga susunod na Gemini model at sa grounding para sa Gemini Apps at Vertex AI. Sinasabi ng Google na hindi nito naaapektuhan ang pagkakasama o ranking sa Google Search, na kinokontrol sa pamamagitan ngGooglebot. - Apple: hindi nagka-crawl ang
Applebot-Extended; kinokontrol nito kung gagamitin ang content na na-crawl ngApplebotsa pag-train ng mga foundation model ng Apple. Sinasabi ng Apple na puwede pa ring lumabas sa mga resulta ng search nito ang mga pahinang nagdi-disallow dito. - Meta: nagka-crawl ang
meta-externalagentpara sa mga gamit gaya ng pag-train ng mga foundation model, habang pinapahusay ngmeta-webindexerang mga resulta ng search ng Meta AI. - Common Crawl: binubuo ng
CCBotang pampublikong web archive ng Common Crawl. Nakalista ito sa managed robots.txt ng Cloudflare bilang isa sa mga AI training crawler na dini-disallow nito. - Perplexity: naglilingkod ang
PerplexityBotatPerplexity-Usersa search at sa mga request ng user. Sinasabi ng Perplexity na wala sa dalawa ang ginagamit para mangolekta ng training data, kaya walang training token ng Perplexity na iba-block.
Ano ang hitsura ng robots.txt?
Ayon sa RFC 9309, ang ilang magkakasunod na linyang User-agent ay bumubuo ng iisang grupo, kaya nalalapat ang mga rule sa bawat isa sa kanila. Nag-o-opt out ang file na ito sa mga training token sa itaas, pinapapasok ang mga search at user agent, at pinapanatiling sarado sa lahat ang isang pribadong path:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Dalawang detalye ang mahalaga. Una, hindi nagmamana mula sa * ang grupong may pangalan, kaya kailangang ulitin sa search group ang anumang pribadong path. Pangalawa, huwag idagdag ang Googlebot o Applebot sa training group: sila ang mga search crawler, at ang pag-block sa kanila ay nag-aalis sa iyo sa Google Search at sa mga search feature ng Apple. Hindi agad-agad ang mga pagbabago: mga 24 oras para sa search ayon sa OpenAI, at hanggang 24 oras ayon sa Perplexity.
Ilang site na ang gumagawa nito?
Mas kaunti kaysa sa inaakala mo. Binasa namin ang mga robots.txt file ng 1,000 pinakasikat na domain sa listahan ng Tranco noong 2026-11-12. Sa 518 na may robots.txt, 155 (29.9%) ang hindi nagpapapasok sa kahit isang AI training crawler sa home page. 57 (11.0%) lang ang pumipili ng selective na paraan: bina-block nila ang mga training crawler at pinapapasok ang bawat AI search at user crawler na sinubukan namin. Sa kabuuan, 101 site (19.5%) ang nagba-block ng kahit isang AI search o user crawler.
Ganoon din ang hati sa mga numero kada crawler. Na-block ang GPTBot sa 111 site (21.4%) at ang OAI-SearchBot sa 58 (11.2%). Na-block ang ClaudeBot sa 110 (21.2%) at ang Claude-SearchBot sa 67 (12.9%). Na-block ang Google-Extended sa 94 (18.1%), ang Googlebot sa 14 (2.7%). 18 site (3.5%) lang ang gumagamit ng Content-Signal.
Tinitingnan lang ng pag-aaral ang mga rule sa robots.txt para sa home page. Hindi nito sinusukat ang mga block ng firewall, at hindi nito ipinapakita kung ano ang balak ng bawat site.
Ano ang idinadagdag ng Content-Signal?
Ang Content Signals ay isang extension ng robots.txt na inilathala ng Cloudflare sa contentsignals.org. Isinasaad ng linyang Content-Signal kung paano maaaring gamitin ang content, gamit ang tatlong signal: search (pagbuo ng search index at pagpapakita ng mga link at maiikling sipi), ai-input (pagpasok ng content sa mga AI model nang real time, gaya ng grounding o retrieval para sa mga generative na sagot) at ai-train (pag-train o fine-tuning ng mga model).
Tandaan na hindi kasama sa kahulugan ng search ang mga buod ng search na gawa ng AI. Kung gusto mong lumabas sa mga sagot ng AI, itakda rin ang ai-input=yes, gaya ng sa halimbawa sa itaas. Idinadagdag ng managed robots.txt ng Cloudflare ang search=yes, ai-train=no bilang default; ang signal na hindi mo isinama ay hindi nagbibigay ni naglilimita sa paggamit na iyon.
Mga ipinahayag na kagustuhan ang mga ito. Sinasabi ng site ng Content Signals na hindi nito pinipigilan ang crawling sa technical na antas, at binabanggit ng Cloudflare na boluntaryo ang pagsunod sa robots.txt. Wala sa mga pahina ng crawler ng OpenAI, Anthropic, Google o Perplexity na sinuri namin ang nagsasabi kung binabasa nila ang Content-Signal, kaya ituring itong dagdag sa mga grupo kada crawler, hindi pamalit.
Saan hindi malinis na gumagana ang paghahati?
May ilang kaso na kailangang pag-ingatan:
- Kumukuha ang Google AI Overviews at AI Mode mula sa Search index na binubuo ng
Googlebot, kaya hindi ka inaalis doon ngGoogle-Extended. Idinadagdag ng help ng Search Console ng Google na nililimitahan ngGoogle-Extendedang pag-train ng mga model sa likod ng mga generative AI feature ng Search, saklaw na hindi binabanggit sa dokumentasyon ng crawler nito. May hiwalay na ngayong setting ang Google sa Search Console para alisin ang isang site sa AI Overviews at AI Mode. - Sinasabi ng OpenAI na kung pinapapasok ng isang site ang
GPTBotatOAI-SearchBot, maaari nitong gamitin ang resulta ng isang crawl para sa dalawang layunin. Ang pag-disallow saGPTBotang nagsasabing hindi dapat gamitin ang content para sa training. - Pasulong ang epekto ng mga opt-out. Halimbawa, inilalarawan ng Anthropic ang pag-disallow sa
ClaudeBotbilang pag-aalis sa magiging content ng site mo mula sa mga training dataset. - Nasa gitna ang mga fetcher na pinapagana ng user. Sinasabi ng OpenAI at Perplexity na maaaring hindi saklaw ng robots.txt ang
ChatGPT-Userat karaniwang hindi saklaw angPerplexity-User. - Hindi binabasa ng mga firewall ang robots.txt. Puwedeng pigilan ng malawak na bot-blocking rule ang mga search crawler na pinayagan mo. Kung ipinapatupad mo ang training block sa firewall, itugma ang mga training agent ayon sa pangalan at beripikahin sila ayon sa mga inilathala nilang IP range.
Paano ko masusuri kung gumagana ang paghahati?
Basahin ang robots.txt mo gaya ng pagbasa ng bawat crawler: hanapin ang grupong nagbabanggit dito, bumalik sa * lang kung walang ganoon, at ilapat ang pinakamahabang tumutugmang rule. Pagkatapos ay mag-request ng pahina gamit ang user agent ng bawat search crawler at tiyaking 200 na may buong content ang nakukuha nito, hindi 403 o challenge page.
Ginagawa ng AISeeWhy ang dalawa para sa 14 na crawler, nakagrupo bilang training, search at user agent, at minamarkahan ang pinakakaraniwang pagkakamali: pag-block sa isang search token gaya ng PerplexityBot o Claude-SearchBot habang training ang balak i-block.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Maaalis ba ang site ko sa mga sagot ng ChatGPT kapag na-block ko ang GPTBot?
Hindi. Sinasabi ng OpenAI na para sa training ang GPTBot at independiyente ang bawat robots.txt setting. Gumagamit ang ChatGPT search ng OAI-SearchBot; hangga't pinapayagan iyon at hindi bina-block ng firewall mo, nananatiling kwalipikado ang mga pahina mo.
Maaalis ba ako sa AI Overviews kapag na-block ko ang Google-Extended?
Hindi, ayon sa dokumentasyon ng Google. Sinasabi ng Google na hindi naaapektuhan ng Google-Extended ang pagkakasama sa Google Search, at kumukuha ang AI Overviews mula sa Search index. May hiwalay na kontrol ang Google sa Search Console para alisin ang isang site sa AI Overviews at AI Mode.
May iisang linya ba na nagba-block sa lahat ng AI training?
Walang standard na linya na gumagawa nito. Isinasaad ng Content-Signal: ai-train=no ang kagustuhan para sa lahat ng crawler, pero nakadepende sa operator kung susundin ito ng crawler. Ang mga grupong may pangalan para sa bawat training token ang dokumentadong paraan.
Dapat ko bang i-block ang Perplexity para pigilan ang AI training?
Sinasabi ng Perplexity na hindi ginagamit ang mga agent nito para mangolekta ng training data. Binabawasan ng pag-block sa PerplexityBot ang visibility mo sa mga resulta ng search ng Perplexity nang hindi nagsisilbing training opt-out.
Mga pinagmulan
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Google: Common crawlers, including Google-Extended
- Google Search Console Help: Search generative AI control
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot
- Perplexity: Perplexity crawlers
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt and Content Signals
- AISeeWhy: AI Crawler Access Report, 2026-11