Binasa namin ang robots.txt ng 10,000 pinakasikat na site. Ito ang ginagawa nila tungkol sa mga AI crawler
Sa 6,192 domain sa Tranco top 10,000 na may robots.txt, 23.2% ang humaharang sa kahit isang AI training crawler at 12.3% ang humaharang sa kahit isang AI search o user crawler. 51.6% ng mga site na humaharang sa training ay humaharang din sa AI search. 11.2% lang ang tumatanggi sa training habang pinapayagan ang lahat ng AI search crawler.
Noong Nobyembre, binasa namin ang robots.txt ng 1,000 pinakasikat na domain. Ngayon, 10,000 na ang binasa namin gamit ang parehong paraan, at tiningnan din namin kung paano nagbabago ang larawan habang lumiliit ang mga site. Nanatili ang pangunahing resulta: iisang desisyon ang turing sa pagharang sa training at sa search, kahit dalawa itong magkaibang bagay.
Sa pahinang ito
Paano namin ito sinukat?
Kinuha namin ang top 10,000 domain ng Tranco list (list ID JZWZY) at kinuha nang isang beses ang home page, robots.txt at llms.txt ng bawat domain noong 21 Nobyembre 2026, gamit ang sariling user agent ng AISeeWhy. Sinuri namin ang bawat robots.txt ayon sa RFC 9309 para sa home page (/) at para sa 16 na AI at search crawler.
6,192 sa 10,000 domain ang may robots.txt (matagumpay na sagot na hindi HTML page). 1,121 ang sumagot ng 4xx, na nangangahulugang walang panuntunan at pinapayagan ang lahat ng crawler, at 2,687 ang walang robots.txt (walang HTTPS site, may error, nag-timeout o HTML page ang isinagot). Ang bawat porsyento sa ibaba ay mula sa 6,192. Kasama sa listahan ang mga CDN at API na walang website.
Ano ang nakita namin?
- 23.2% (1,437 domain) ang humaharang sa kahit isang AI training crawler.
- 12.3% (762) ang humaharang sa kahit isang AI search o user crawler, kaya hindi dapat gamitin o banggitin ang kanilang mga pahina ng mga sagot na umaasa rito.
- 51.6% ng mga domain na humaharang sa training crawler (742 sa 1,437) ay humaharang din sa kahit isang AI search o user crawler.
- 11.2% (695) lang ang pumipili ng piling paraan: hinaharang nila ang mga training crawler at pinapayagan ang lahat ng AI search at user crawler.
- 6.5% (401) ang naglalahad ng kanilang kagustuhan sa AI gamit ang
Content-Signal. - 12.4% ng lahat ng 10,000 domain (1,240) ang naglalathala ng
llms.txt. - Bilang paghahambing, 2.0% (124) ang humaharang sa
Googlebotsa home page.
Aling mga crawler ang pinakamadalas harangan?
Bahagi ng 6,192 domain na ang robots.txt ay nagbabawal sa crawler na ma-access ang home page:
- Una ang
Bytespider18.7%,CCBot18.5%,GPTBot17.4% atClaudeBot16.5%. - Sunod ang
Meta-ExternalAgent15.5%,Google-Extended14.9% atApplebot-Extended14.6%. PerplexityBot10.4% ang AI search crawler na pinakamadalas harangan, sunod angOAI-SearchBot7.0% atClaude-SearchBot7.0%.- Ang mga crawler na nagbubukas ng pahina kapag nagtanong ang isang tao:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%.
Mas marami bang humaharang ang malalaking site?
Oo, at mas madalas nilang pinagsasama ang training at search. Hinati namin ang listahan ayon sa ranggo:
- Ranggo 1 hanggang 1,000 (560 domain na may robots.txt): 28.6% ang humaharang sa training, 18.6% ang humaharang sa AI search, at 63.1% ng mga humaharang sa training ay humaharang din sa AI search.
- Ranggo 1,001 hanggang 3,000 (1,256 domain): 23.5%, 13.5% at 55.6%.
- Ranggo 3,001 hanggang 10,000 (4,376 domain): 22.4%, 11.2% at 48.6%.
Bihira ang piling paraan sa lahat ng laki: 10.5%, 10.4% at 11.5% ng mga domain sa tatlong grupo.
May nagbago ba mula sa ulat namin noong Nobyembre 12?
Pinatakbo naming muli ang unang 1,000 domain gamit ang parehong listahan. Matatag ang resulta, may pagkakaiba lang na humigit-kumulang isang punto: 28.6% ang humaharang sa training (29.9% noong 12 Nobyembre), 18.6% ang humaharang sa AI search (19.5%), at 63.1% ng mga humaharang sa training ay humaharang din sa AI search (63.2%). Bahagyang magkaiba ang mga denominator (560 domain na may robots.txt ngayon, 518 noon) dahil sinusundan ng pagtakbong ito ang redirect ng domain papunta sa pangunahing host bago kunin ang file.
Ano ang ibig sabihin nito para sa iyong robots.txt?
Karamihan sa mga kumpanya ng AI ay may magkahiwalay na crawler na dokumentado para sa training at para sa search, at sinasabi nilang hiwalay ang mga setting nito. Ang pagbabawal sa GPTBot ay hindi nakaaapekto sa OAI-SearchBot, at ang pagbabawal sa ClaudeBot ay hindi nakaaapekto sa Claude-SearchBot. Kung gusto mong tumanggi sa training pero mabanggit pa rin, harangan ang mga training token at payagan ang mga search at user token, at ulitin ang anumang pribadong path sa bawat grupo, dahil hindi nagmamana ang isang pinangalanang grupo mula sa *.
Gaano kapani-paniwala ang mga numerong ito?
Mga panuntunan ito ng robots.txt para sa home page, binasa ng iisang parser sa iisang araw. Hindi nito sinusukat ang mga harang ng firewall, na maaaring tumanggi sa crawler kahit pinapayagan ito ng robots.txt. Hindi nito masasabi kung ano ang layunin ng bawat site, at kasama sa Tranco list ang mga domain na walang website. Ang panuntunang humaharang sa search crawler ay hindi patunay ng pagkakamali, kundi ng pagpiling madalas gawin nang hindi alam ang pagkakaiba. Maaari mong sipiin ang mga bilang na may link sa pahinang ito.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- llms.txt checker at validator
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Gaano karaming sikat na site ang humaharang sa mga AI crawler?
Sa 6,192 domain sa Tranco top 10,000 na may robots.txt, 23.2% ang humaharang sa kahit isang AI training crawler at 12.3% ang humaharang sa kahit isang AI search o user crawler.
Humaharang din ba sa AI search ang mga site na humaharang sa AI training?
Madalas. 51.6% ng mga site na humaharang sa training crawler ay humaharang din sa kahit isang AI search o user crawler, kahit dokumentado ng mga vendor na magkahiwalay ang mga crawler na ito at may independiyenteng setting.
Aling AI crawler ang pinakamadalas harangan?
Sa mga training crawler, Bytespider (18.7%) at CCBot (18.5%), sunod ang GPTBot (17.4%). Sa mga AI search crawler, ang PerplexityBot ang pinakamadalas harangan, sa 10.4% ng mga domain.
Bakit magkaiba ang mga numero kumpara sa ulat ninyo sa 1,000 site?
Halos pareho ang porsyento ng unang 1,000 domain (28.6% at 18.6% kumpara sa 29.9% at 19.5%). Mas mababa ang mga numero ng 10,000 site dahil mas kaunti ang hinaharang ng mas maliliit na site.
Mga pinagmulan
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers