Am citit robots.txt de pe cele mai populare 10.000 de site-uri. Iată ce fac ele cu crawlerele AI

Publicat

Răspuns scurt

Dintre cele 6.192 de domenii din primele 10.000 din Tranco care oferă un robots.txt, 23,2% blochează cel puțin un crawler AI de antrenare și 12,3% blochează cel puțin un crawler AI de căutare sau de utilizator. 51,6% dintre site-urile care blochează antrenarea blochează și căutarea AI. Doar 11,2% refuză antrenarea și permit toate crawlerele AI de căutare.

În noiembrie am citit robots.txt de pe cele mai populare 1.000 de domenii. De data aceasta am citit 10.000, cu aceeași metodă, și am adăugat o verificare a modului în care tabloul se schimbă pe măsură ce site-urile se micșorează. Concluzia principală se menține: blocarea antrenării și blocarea căutării sunt tratate ca o singură decizie, deși sunt două.

Pe această pagină
  1. Cum am măsurat?
  2. Ce am găsit?
  3. Care crawlere sunt blocate cel mai des?
  4. Blochează mai mult site-urile mari?
  5. S-a schimbat ceva de la raportul nostru din 12 noiembrie?
  6. Ce înseamnă pentru robots.txt-ul tău?
  7. Cât de sigure sunt aceste cifre?

Cum am măsurat?

Am luat primele 10.000 de domenii din lista Tranco (ID-ul listei JZWZY) și am cerut o singură dată pagina de start, robots.txt și llms.txt ale fiecărui domeniu, pe 21 noiembrie 2026, cu user agent-ul propriu al AISeeWhy. Am evaluat fiecare robots.txt după RFC 9309, pentru pagina de start (/) și pentru 16 crawlere AI și de căutare.

6.192 din cele 10.000 de domenii au oferit un robots.txt (un răspuns reușit care nu este o pagină HTML). 1.121 au răspuns cu un 4xx, ceea ce înseamnă că nu există reguli și toate crawlerele sunt permise, iar 2.687 nu au oferit unul (fără site HTTPS, erori, depășiri de timp sau o pagină HTML în loc). Toate procentele de mai jos sunt calculate din cele 6.192. Lista include CDN-uri și API-uri care nu servesc niciun site.

Ce am găsit?

Care crawlere sunt blocate cel mai des?

Procentul din cele 6.192 de domenii al căror robots.txt interzice pagina de start pentru crawler:

Blochează mai mult site-urile mari?

Da, și confundă mai des antrenarea cu căutarea. Am împărțit lista după rang:

Varianta selectivă este rară la orice dimensiune: 10,5%, 10,4% și 11,5% dintre domeniile celor trei grupuri.

S-a schimbat ceva de la raportul nostru din 12 noiembrie?

Am rulat din nou primele 1.000 de domenii cu aceeași listă. Rezultatul este stabil, cu o diferență de aproximativ un punct: 28,6% blochează antrenarea (29,9% pe 12 noiembrie), 18,6% blochează căutarea AI (19,5%), iar 63,1% dintre cei care blochează antrenarea blochează și căutarea AI (63,2%). Numitorii diferă puțin (acum 560 de domenii cu robots.txt, atunci 518), pentru că de data aceasta rularea urmează redirecționarea unui domeniu către gazda principală înainte de a o cere.

Ce înseamnă pentru robots.txt-ul tău?

Cele mai multe companii de AI documentează crawlere separate pentru antrenare și pentru căutare și spun că setările sunt independente. Interzicerea lui GPTBot nu îl afectează pe OAI-SearchBot, iar interzicerea lui ClaudeBot nu îl afectează pe Claude-SearchBot. Dacă vrei să refuzi antrenarea și să fii totuși citat, blochează tokenurile de antrenare și permite-le pe cele de căutare și de utilizator, și repetă orice căi private în fiecare grup, pentru că un grup numit nu moștenește nimic de la *.

Cât de sigure sunt aceste cifre?

Sunt reguli robots.txt pentru pagina de start, citite de un singur parser într-o singură zi. Nu măsoară blocajele de firewall, care pot refuza un crawler pe care robots.txt îl permite. Nu pot spune ce a intenționat fiecare site, iar lista Tranco include domenii care nu servesc niciun site. O regulă care blochează un crawler de căutare nu este dovada unei greșeli, ci doar a unei alegeri făcute adesea fără a cunoaște diferența. Poți cita cifrele cu un link către această pagină.

Instrumente gratuite

Pașii următori

Crawlere din acest articol

Întrebări frecvente

Ce procent din site-urile populare blochează crawlerele AI?

Dintre cele 6.192 de domenii din primele 10.000 din Tranco care oferă un robots.txt, 23,2% blochează cel puțin un crawler AI de antrenare și 12,3% blochează cel puțin un crawler AI de căutare sau de utilizator.

Site-urile care blochează antrenarea AI blochează și căutarea AI?

Adesea. 51,6% dintre site-urile care blochează un crawler de antrenare blochează și cel puțin un crawler AI de căutare sau de utilizator, deși producătorii le documentează ca crawlere separate, cu setări independente.

Care crawler AI este blocat cel mai des?

Dintre crawlerele de antrenare, Bytespider (18,7%) și CCBot (18,5%), apoi GPTBot (17,4%). Dintre crawlerele AI de căutare, PerplexityBot este blocat cel mai des, pe 10,4% dintre domenii.

De ce diferă cifrele de raportul vostru pe 1.000 de site-uri?

Primele 1.000 de domenii dau aproape aceleași procente (28,6% și 18,6%, față de 29,9% și 19,5%). Cifrele pe 10.000 de site-uri sunt mai mici pentru că site-urile mai mici blochează mai puțin.

Surse

Alte articole