Patru din zece site-uri de afaceri refuză crawlerele AI
În auditurile noastre pe 165 de site-uri de afaceri din SUA, Marea Britanie și Franța, 38% au refuzat la nivel de server cel puțin un crawler AI, aproape întotdeauna un bot de antrenare sau de scraping. Aproximativ un site din zece a refuzat și un crawler AI de căutare, precum PerplexityBot sau OAI-SearchBot, adică tocmai crawlerele care pot duce la o citare. Verifică-l pe al tău cu o cerere pentru fiecare crawler.
Îl întrebi pe ChatGPT despre propriul tău produs, iar el numește un concurent, un site de recenzii și o discuție de pe un forum. Uneori e o problemă de conținut. Adesea e un firewall care răspunde crawlerelor AI cu un nu, pe care nimeni din echipa ta nu l-a văzut, pentru că site-ul funcționează în browser.
Pe această pagină
Ce am testat?
Cerem o pagină de mai multe ori de la aceeași adresă: o dată ca un browser obișnuit și apoi câte o dată ca fiecare dintre cele 14 crawlere AI și de căutare, între care GPTBot, OAI-SearchBot și ChatGPT-User de la OpenAI, ClaudeBot și Claude-SearchBot de la Anthropic și PerplexityBot de la Perplexity. Dacă browserul primește pagina, iar un crawler primește un 401, 403, 406, 429, 451, 503 sau o pagină de verificare, site-ul refuză acel crawler.
Eșantionul cuprinde 218 site-uri de afaceri din SUA, Marea Britanie și Franța, auditate între 18 și 21 noiembrie 2026. Testul complet a putut fi rulat pe 165. Celelalte 53 au refuzat chiar și cererea noastră simplă din browser sau n-au răspuns, așa că le-am lăsat deoparte în loc să ghicim.
Ce am găsit?
- 38% dintre site-urile testabile (63 din 165) au refuzat cel puțin un crawler AI.
- Fiecare dintre aceste site-uri a refuzat cel puțin un crawler de antrenare sau de scraping.
Bytespidera fost refuzat de 35% dintre toate site-urile,ClaudeBotde 13% șiGPTBotde 11%. - 10% dintre site-uri (16) au refuzat și cel puțin un crawler AI de căutare, iar 5% (8) au refuzat un crawler care deschide o pagină în timp real când o persoană întreabă asistentul despre ea.
- Crawlerele de căutare cele mai afectate au fost
PerplexityBot(11 site-uri) șiOAI-SearchBot(5 site-uri). - Cloudflare se afla în spatele a 32 dintre cele 66 de site-uri care au refuzat vreun crawler testat de noi. Pentru alte 30 nu am putut stabili ce firewall a răspuns.
De ce se întâmplă și când este o alegere?
Mult din asta este probabil deliberat. Mulți proprietari nu vor ca conținutul lor să fie folosit la antrenarea modelelor, iar setările de protecție împotriva boturilor care blochează scraperele sunt ușor de activat. Este o alegere legitimă.
Necazul este că firmele de AI rulează crawlere separate pentru antrenare și pentru căutare. Blocarea crawlerului de antrenare nu cere blocarea celui de căutare, iar crawlerul de căutare este cel care poate duce la citarea paginii tale într-un răspuns.
Se descurcă mai bine cele mai mari site-uri?
Nu prea. În raportul nostru despre robots.txt pentru cele mai populare 1.000 de domenii, 29,9% dintre site-urile cu robots.txt blochează cel puțin un crawler AI de antrenare, iar 63,2% dintre ele blochează și cel puțin un crawler AI de căutare sau de utilizator. Doar 11,0% blochează antrenarea și permit toate crawlerele AI de căutare, adică setarea pe care cei mai mulți și-au dorit-o probabil.
Cum îmi verific site-ul în zece minute?
- Deschide
yoursite.com/robots.txt. Pentru fiecare crawler AI care te interesează, vezi dacă un grup îl numește și ce spune grupul. Un grup care numește un crawler înlocuiește complet grupul general*. - Testează ce face serverul, nu ce spune fișierul. Cere pagina ta importantă ca un browser și ca crawlerul. Un 403, un 429, o pagină cu titlul
Just a moment...sau un răspuns mult mai mic decât cel din browser este semnătura unui blocaj de firewall. - Întreabă asistentul. Cu căutarea pornită, pune-i lui ChatGPT sau Perplexity întrebările pe care le pun cumpărătorii tăi și vezi ce site-uri citează. Dacă accesul e în regulă și tot lipsești, problema este conținutul, nu accesul.
Cât de sigure sunt aceste cifre?
Consideră-le un tipar, nu un recensământ. Eșantionul nu este aleatoriu: sunt firme găsite prin biblioteci de reclame, site-uri de joburi și listări pe hărți. Testăm după user agent de la o singură adresă, în timp ce crawlerele reale vin de la adresele publicate de producătorii lor, așa că unele firewall-uri le-ar trata altfel pe cele reale. Iar un blocaj nu este întotdeauna o greșeală.
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Ce procent din site-uri blochează crawlerele AI?
În auditul nostru pe 165 de site-uri de afaceri testabile, 38% au refuzat la nivel de server cel puțin un crawler AI, mai ales boturi de antrenare și de scraping. Circa 10% au refuzat și un crawler AI de căutare.
Blocarea GPTBot îmi ține site-ul în afara căutării ChatGPT?
Nu. OpenAI spune că fiecare setare robots.txt pentru crawlerele sale este independentă: GPTBot ține de antrenare, OAI-SearchBot de căutarea ChatGPT. Blocarea unuia nu îl blochează pe celălalt.
Cum poate un site să blocheze un crawler fără robots.txt?
O regulă de firewall, CDN sau protecție împotriva boturilor poate răspunde unui crawler cu un 403, un 429 sau o pagină de verificare. robots.txt nu arată asta niciodată, așa că trebuie testat cerând pagina ca crawlerul.
Este refuzul unui crawler întotdeauna o greșeală?
Nu. Mulți proprietari vor să țină departe crawlerele de antrenare și scraperele. Greșeala este să blochezi din întâmplare crawlerele de căutare, pentru că ele sunt cele care îți pot cita pagina.
Surse
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)