Binasa namin ang robots.txt ng 10,000 pinakasikat na site. Ito ang ginagawa nila tungkol sa mga AI crawler

Inilathala

Maikling sagot

Sa 6,192 domain sa Tranco top 10,000 na may robots.txt, 23.2% ang humaharang sa kahit isang AI training crawler at 12.3% ang humaharang sa kahit isang AI search o user crawler. 51.6% ng mga site na humaharang sa training ay humaharang din sa AI search. 11.2% lang ang tumatanggi sa training habang pinapayagan ang lahat ng AI search crawler.

Noong Nobyembre, binasa namin ang robots.txt ng 1,000 pinakasikat na domain. Ngayon, 10,000 na ang binasa namin gamit ang parehong paraan, at tiningnan din namin kung paano nagbabago ang larawan habang lumiliit ang mga site. Nanatili ang pangunahing resulta: iisang desisyon ang turing sa pagharang sa training at sa search, kahit dalawa itong magkaibang bagay.

Sa pahinang ito
  1. Paano namin ito sinukat?
  2. Ano ang nakita namin?
  3. Aling mga crawler ang pinakamadalas harangan?
  4. Mas marami bang humaharang ang malalaking site?
  5. May nagbago ba mula sa ulat namin noong Nobyembre 12?
  6. Ano ang ibig sabihin nito para sa iyong robots.txt?
  7. Gaano kapani-paniwala ang mga numerong ito?

Paano namin ito sinukat?

Kinuha namin ang top 10,000 domain ng Tranco list (list ID JZWZY) at kinuha nang isang beses ang home page, robots.txt at llms.txt ng bawat domain noong 21 Nobyembre 2026, gamit ang sariling user agent ng AISeeWhy. Sinuri namin ang bawat robots.txt ayon sa RFC 9309 para sa home page (/) at para sa 16 na AI at search crawler.

6,192 sa 10,000 domain ang may robots.txt (matagumpay na sagot na hindi HTML page). 1,121 ang sumagot ng 4xx, na nangangahulugang walang panuntunan at pinapayagan ang lahat ng crawler, at 2,687 ang walang robots.txt (walang HTTPS site, may error, nag-timeout o HTML page ang isinagot). Ang bawat porsyento sa ibaba ay mula sa 6,192. Kasama sa listahan ang mga CDN at API na walang website.

Ano ang nakita namin?

Aling mga crawler ang pinakamadalas harangan?

Bahagi ng 6,192 domain na ang robots.txt ay nagbabawal sa crawler na ma-access ang home page:

Mas marami bang humaharang ang malalaking site?

Oo, at mas madalas nilang pinagsasama ang training at search. Hinati namin ang listahan ayon sa ranggo:

Bihira ang piling paraan sa lahat ng laki: 10.5%, 10.4% at 11.5% ng mga domain sa tatlong grupo.

May nagbago ba mula sa ulat namin noong Nobyembre 12?

Pinatakbo naming muli ang unang 1,000 domain gamit ang parehong listahan. Matatag ang resulta, may pagkakaiba lang na humigit-kumulang isang punto: 28.6% ang humaharang sa training (29.9% noong 12 Nobyembre), 18.6% ang humaharang sa AI search (19.5%), at 63.1% ng mga humaharang sa training ay humaharang din sa AI search (63.2%). Bahagyang magkaiba ang mga denominator (560 domain na may robots.txt ngayon, 518 noon) dahil sinusundan ng pagtakbong ito ang redirect ng domain papunta sa pangunahing host bago kunin ang file.

Ano ang ibig sabihin nito para sa iyong robots.txt?

Karamihan sa mga kumpanya ng AI ay may magkahiwalay na crawler na dokumentado para sa training at para sa search, at sinasabi nilang hiwalay ang mga setting nito. Ang pagbabawal sa GPTBot ay hindi nakaaapekto sa OAI-SearchBot, at ang pagbabawal sa ClaudeBot ay hindi nakaaapekto sa Claude-SearchBot. Kung gusto mong tumanggi sa training pero mabanggit pa rin, harangan ang mga training token at payagan ang mga search at user token, at ulitin ang anumang pribadong path sa bawat grupo, dahil hindi nagmamana ang isang pinangalanang grupo mula sa *.

Gaano kapani-paniwala ang mga numerong ito?

Mga panuntunan ito ng robots.txt para sa home page, binasa ng iisang parser sa iisang araw. Hindi nito sinusukat ang mga harang ng firewall, na maaaring tumanggi sa crawler kahit pinapayagan ito ng robots.txt. Hindi nito masasabi kung ano ang layunin ng bawat site, at kasama sa Tranco list ang mga domain na walang website. Ang panuntunang humaharang sa search crawler ay hindi patunay ng pagkakamali, kundi ng pagpiling madalas gawin nang hindi alam ang pagkakaiba. Maaari mong sipiin ang mga bilang na may link sa pahinang ito.

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Gaano karaming sikat na site ang humaharang sa mga AI crawler?

Sa 6,192 domain sa Tranco top 10,000 na may robots.txt, 23.2% ang humaharang sa kahit isang AI training crawler at 12.3% ang humaharang sa kahit isang AI search o user crawler.

Humaharang din ba sa AI search ang mga site na humaharang sa AI training?

Madalas. 51.6% ng mga site na humaharang sa training crawler ay humaharang din sa kahit isang AI search o user crawler, kahit dokumentado ng mga vendor na magkahiwalay ang mga crawler na ito at may independiyenteng setting.

Aling AI crawler ang pinakamadalas harangan?

Sa mga training crawler, Bytespider (18.7%) at CCBot (18.5%), sunod ang GPTBot (17.4%). Sa mga AI search crawler, ang PerplexityBot ang pinakamadalas harangan, sa 10.4% ng mga domain.

Bakit magkaiba ang mga numero kumpara sa ulat ninyo sa 1,000 site?

Halos pareho ang porsyento ng unang 1,000 domain (28.6% at 18.6% kumpara sa 29.9% at 19.5%). Mas mababa ang mga numero ng 10,000 site dahil mas kaunti ang hinaharang ng mas maliliit na site.

Mga pinagmulan

Iba pang artikulo