Izlasījām 10 000 populārāko vietņu robots.txt. Lūk, ko tās dara attiecībā uz AI rāpuļprogrammām
No 6 192 domēniem Tranco 10 000 populārāko vidū, kas atdod robots.txt, 23,2% bloķē vismaz vienu AI apmācības rāpuļprogrammu un 12,3% bloķē vismaz vienu AI meklēšanas vai lietotāja rāpuļprogrammu. 51,6% vietņu, kas bloķē apmācību, bloķē arī AI meklēšanu. Tikai 11,2% atsakās no apmācības, vienlaikus atļaujot visas AI meklēšanas rāpuļprogrammas.
Novembrī izlasījām 1000 populārāko domēnu robots.txt. Šoreiz izlasījām 10 000 ar to pašu metodi un pievienojām pārbaudi, kā aina mainās, vietnēm kļūstot mazākām. Galvenais secinājums saglabājas: apmācības bloķēšanu un meklēšanas bloķēšanu uzskata par vienu lēmumu, lai gan tie ir divi.
Šajā lapā
Kā mēs mērījām?
Mēs paņēmām Tranco saraksta 10 000 populārākos domēnus (saraksta ID JZWZY) un 2026. gada 21. novembrī vienreiz ielādējām katra domēna sākumlapu, robots.txt un llms.txt ar AISeeWhy paša user agent. Katru robots.txt vērtējām pēc RFC 9309 sākumlapai (/) un 16 AI un meklētājprogrammu rāpuļprogrammām.
6 192 no 10 000 domēniem atdeva robots.txt (sekmīga atbilde, kas nav HTML lapa). 1 121 atbildēja ar 4xx, kas nozīmē, ka noteikumu nav un visas rāpuļprogrammas ir atļautas, bet 2 687 neatdeva failu (nav HTTPS vietnes, kļūdas, noildzes vai HTML lapa tā vietā). Visi turpmākie procenti ir no 6 192. Sarakstā ir CDN un API, kas neapkalpo nevienu vietni.
Ko mēs atradām?
- 23,2% (1 437 domēni) bloķē vismaz vienu AI apmācības rāpuļprogrammu.
- 12,3% (762) bloķē vismaz vienu AI meklēšanas vai lietotāja rāpuļprogrammu, tātad to lapas nedrīkstētu izmantot vai citēt atbildēs, kas uz to balstās.
- 51,6% domēnu, kas bloķē apmācības rāpuļprogrammu (742 no 1 437), bloķē arī vismaz vienu AI meklēšanas vai lietotāja rāpuļprogrammu.
- Tikai 11,2% (695) izvēlas selektīvo ceļu: bloķē apmācības rāpuļprogrammas un atļauj visas AI meklēšanas un lietotāja rāpuļprogrammas.
- 6,5% (401) savas AI preferences norāda ar
Content-Signal. - 12,4% no visiem 10 000 domēniem (1 240) publicē
llms.txt. - Salīdzinājumam: 2,0% (124) bloķē
Googlebotsākumlapā.
Kuras rāpuļprogrammas bloķē visbiežāk?
To 6 192 domēnu daļa, kuru robots.txt aizliedz sākumlapu attiecīgajai rāpuļprogrammai:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% ir visbiežāk bloķētā AI meklēšanas rāpuļprogramma, pirmsOAI-SearchBot7,0% unClaude-SearchBot7,0%.- Rāpuļprogrammas, kas atver lapu, kad cilvēks jautā:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Vai lielākas vietnes bloķē vairāk?
Jā, un tās biežāk sajauc apmācību ar meklēšanu. Mēs sadalījām sarakstu pēc vietas:
- 1.–1 000. vieta (560 domēni ar robots.txt): 28,6% bloķē apmācību, 18,6% bloķē AI meklēšanu, un 63,1% apmācības bloķētāju bloķē arī AI meklēšanu.
- 1 001.–3 000. vieta (1 256 domēni): 23,5%, 13,5% un 55,6%.
- 3 001.–10 000. vieta (4 376 domēni): 22,4%, 11,2% un 48,6%.
Selektīvais ceļš ir rets jebkurā lielumā: 10,5%, 10,4% un 11,5% domēnu trijās grupās.
Vai kaut kas mainījies kopš mūsu 12. novembra pārskata?
Mēs atkārtoti pārbaudījām pirmos 1000 domēnus no tā paša saraksta. Rezultāts ir stabils aptuveni viena procentpunkta robežās: 28,6% bloķē apmācību (12. novembrī 29,9%), 18,6% bloķē AI meklēšanu (19,5%), un 63,1% apmācības bloķētāju bloķē arī AI meklēšanu (63,2%). Saucēji nedaudz atšķiras (tagad 560 domēni ar robots.txt, toreiz 518), jo šajā reizē pirms ielādes tiek sekots domēna novirzei uz galveno hostu.
Ko tas nozīmē jūsu robots.txt?
Lielākā daļa AI uzņēmumu dokumentē atsevišķas rāpuļprogrammas apmācībai un meklēšanai un norāda, ka iestatījumi ir neatkarīgi. GPTBot aizliegšana neskar OAI-SearchBot, un ClaudeBot aizliegšana neskar Claude-SearchBot. Ja vēlaties atteikties no apmācības, bet joprojām tikt citēts, bloķējiet apmācības tokenus un atļaujiet meklēšanas un lietotāja tokenus, un atkārtojiet visus privātos ceļus katrā grupā, jo nosaukta grupa nemantojas no *.
Cik uzticami ir šie skaitļi?
Tie ir sākumlapas robots.txt noteikumi, ko vienā dienā nolasīja viens parsētājs. Tie neizmēra ugunsmūra bloķēšanu, kas var atteikt rāpuļprogrammai, ko robots.txt atļauj. Tie nevar pateikt, ko katra vietne bija domājusi, un Tranco sarakstā ir domēni, kas neapkalpo nevienu vietni. Noteikums, kas bloķē meklēšanas rāpuļprogrammu, nav kļūdas pierādījums, bet tikai izvēle, ko bieži veic, nezinot atšķirību. Skaitļus drīkstat citēt ar saiti uz šo lapu.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- llms.txt pārbaude un validators
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Cik populāru vietņu bloķē AI rāpuļprogrammas?
No 6 192 domēniem Tranco 10 000 populārāko vidū, kas atdod robots.txt, 23,2% bloķē vismaz vienu AI apmācības rāpuļprogrammu un 12,3% bloķē vismaz vienu AI meklēšanas vai lietotāja rāpuļprogrammu.
Vai vietnes, kas bloķē AI apmācību, bloķē arī AI meklēšanu?
Bieži. 51,6% vietņu, kas bloķē apmācības rāpuļprogrammu, bloķē arī vismaz vienu AI meklēšanas vai lietotāja rāpuļprogrammu, lai gan piegādātāji tās dokumentē kā atsevišķas rāpuļprogrammas ar neatkarīgiem iestatījumiem.
Kuru AI rāpuļprogrammu bloķē visbiežāk?
Starp apmācības rāpuļprogrammām Bytespider (18,7%) un CCBot (18,5%), tad GPTBot (17,4%). Starp AI meklēšanas rāpuļprogrammām visbiežāk bloķē PerplexityBot, 10,4% domēnu.
Kāpēc skaitļi atšķiras no jūsu 1000 vietņu pārskata?
Pirmie 1000 domēnu dod gandrīz tādus pašus procentus (28,6% un 18,6% pret 29,9% un 19,5%). 10 000 vietņu rādītāji ir zemāki, jo mazākas vietnes bloķē mazāk.
Avoti
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers