Am citit robots.txt de pe cele mai populare 10.000 de site-uri. Iată ce fac ele cu crawlerele AI
Dintre cele 6.192 de domenii din primele 10.000 din Tranco care oferă un robots.txt, 23,2% blochează cel puțin un crawler AI de antrenare și 12,3% blochează cel puțin un crawler AI de căutare sau de utilizator. 51,6% dintre site-urile care blochează antrenarea blochează și căutarea AI. Doar 11,2% refuză antrenarea și permit toate crawlerele AI de căutare.
În noiembrie am citit robots.txt de pe cele mai populare 1.000 de domenii. De data aceasta am citit 10.000, cu aceeași metodă, și am adăugat o verificare a modului în care tabloul se schimbă pe măsură ce site-urile se micșorează. Concluzia principală se menține: blocarea antrenării și blocarea căutării sunt tratate ca o singură decizie, deși sunt două.
Pe această pagină
Cum am măsurat?
Am luat primele 10.000 de domenii din lista Tranco (ID-ul listei JZWZY) și am cerut o singură dată pagina de start, robots.txt și llms.txt ale fiecărui domeniu, pe 21 noiembrie 2026, cu user agent-ul propriu al AISeeWhy. Am evaluat fiecare robots.txt după RFC 9309, pentru pagina de start (/) și pentru 16 crawlere AI și de căutare.
6.192 din cele 10.000 de domenii au oferit un robots.txt (un răspuns reușit care nu este o pagină HTML). 1.121 au răspuns cu un 4xx, ceea ce înseamnă că nu există reguli și toate crawlerele sunt permise, iar 2.687 nu au oferit unul (fără site HTTPS, erori, depășiri de timp sau o pagină HTML în loc). Toate procentele de mai jos sunt calculate din cele 6.192. Lista include CDN-uri și API-uri care nu servesc niciun site.
Ce am găsit?
- 23,2% (1.437 de domenii) blochează cel puțin un crawler AI de antrenare.
- 12,3% (762) blochează cel puțin un crawler AI de căutare sau de utilizator, deci paginile lor nu ar trebui folosite sau citate de răspunsurile care se bazează pe el.
- 51,6% dintre domeniile care blochează un crawler de antrenare (742 din 1.437) blochează și cel puțin un crawler AI de căutare sau de utilizator.
- Doar 11,2% (695) aleg varianta selectivă: blochează crawlerele de antrenare și permit toate crawlerele AI de căutare și de utilizator.
- 6,5% (401) își declară preferințele privind AI cu
Content-Signal. - 12,4% dintre toate cele 10.000 de domenii (1.240) publică un
llms.txt. - Pentru comparație, 2,0% (124) blochează
Googlebotpe pagina de start.
Care crawlere sunt blocate cel mai des?
Procentul din cele 6.192 de domenii al căror robots.txt interzice pagina de start pentru crawler:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBotcu 10,4% este crawlerul AI de căutare blocat cel mai des, înaintea luiOAI-SearchBotcu 7,0% șiClaude-SearchBotcu 7,0%.- Crawlerele care deschid o pagină atunci când o persoană întreabă:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Blochează mai mult site-urile mari?
Da, și confundă mai des antrenarea cu căutarea. Am împărțit lista după rang:
- Locurile 1–1.000 (560 de domenii cu robots.txt): 28,6% blochează antrenarea, 18,6% blochează căutarea AI, iar 63,1% dintre cei care blochează antrenarea blochează și căutarea AI.
- Locurile 1.001–3.000 (1.256 de domenii): 23,5%, 13,5% și 55,6%.
- Locurile 3.001–10.000 (4.376 de domenii): 22,4%, 11,2% și 48,6%.
Varianta selectivă este rară la orice dimensiune: 10,5%, 10,4% și 11,5% dintre domeniile celor trei grupuri.
S-a schimbat ceva de la raportul nostru din 12 noiembrie?
Am rulat din nou primele 1.000 de domenii cu aceeași listă. Rezultatul este stabil, cu o diferență de aproximativ un punct: 28,6% blochează antrenarea (29,9% pe 12 noiembrie), 18,6% blochează căutarea AI (19,5%), iar 63,1% dintre cei care blochează antrenarea blochează și căutarea AI (63,2%). Numitorii diferă puțin (acum 560 de domenii cu robots.txt, atunci 518), pentru că de data aceasta rularea urmează redirecționarea unui domeniu către gazda principală înainte de a o cere.
Ce înseamnă pentru robots.txt-ul tău?
Cele mai multe companii de AI documentează crawlere separate pentru antrenare și pentru căutare și spun că setările sunt independente. Interzicerea lui GPTBot nu îl afectează pe OAI-SearchBot, iar interzicerea lui ClaudeBot nu îl afectează pe Claude-SearchBot. Dacă vrei să refuzi antrenarea și să fii totuși citat, blochează tokenurile de antrenare și permite-le pe cele de căutare și de utilizator, și repetă orice căi private în fiecare grup, pentru că un grup numit nu moștenește nimic de la *.
Cât de sigure sunt aceste cifre?
Sunt reguli robots.txt pentru pagina de start, citite de un singur parser într-o singură zi. Nu măsoară blocajele de firewall, care pot refuza un crawler pe care robots.txt îl permite. Nu pot spune ce a intenționat fiecare site, iar lista Tranco include domenii care nu servesc niciun site. O regulă care blochează un crawler de căutare nu este dovada unei greșeli, ci doar a unei alegeri făcute adesea fără a cunoaște diferența. Poți cita cifrele cu un link către această pagină.
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Verificator și validator llms.txt
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Ce procent din site-urile populare blochează crawlerele AI?
Dintre cele 6.192 de domenii din primele 10.000 din Tranco care oferă un robots.txt, 23,2% blochează cel puțin un crawler AI de antrenare și 12,3% blochează cel puțin un crawler AI de căutare sau de utilizator.
Site-urile care blochează antrenarea AI blochează și căutarea AI?
Adesea. 51,6% dintre site-urile care blochează un crawler de antrenare blochează și cel puțin un crawler AI de căutare sau de utilizator, deși producătorii le documentează ca crawlere separate, cu setări independente.
Care crawler AI este blocat cel mai des?
Dintre crawlerele de antrenare, Bytespider (18,7%) și CCBot (18,5%), apoi GPTBot (17,4%). Dintre crawlerele AI de căutare, PerplexityBot este blocat cel mai des, pe 10,4% dintre domenii.
De ce diferă cifrele de raportul vostru pe 1.000 de site-uri?
Primele 1.000 de domenii dau aproape aceleași procente (28,6% și 18,6%, față de 29,9% și 19,5%). Cifrele pe 10.000 de site-uri sunt mai mici pentru că site-urile mai mici blochează mai puțin.
Surse
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers