Patru din zece site-uri de afaceri refuză crawlerele AI

Publicat

Răspuns scurt

În auditurile noastre pe 165 de site-uri de afaceri din SUA, Marea Britanie și Franța, 38% au refuzat la nivel de server cel puțin un crawler AI, aproape întotdeauna un bot de antrenare sau de scraping. Aproximativ un site din zece a refuzat și un crawler AI de căutare, precum PerplexityBot sau OAI-SearchBot, adică tocmai crawlerele care pot duce la o citare. Verifică-l pe al tău cu o cerere pentru fiecare crawler.

Îl întrebi pe ChatGPT despre propriul tău produs, iar el numește un concurent, un site de recenzii și o discuție de pe un forum. Uneori e o problemă de conținut. Adesea e un firewall care răspunde crawlerelor AI cu un nu, pe care nimeni din echipa ta nu l-a văzut, pentru că site-ul funcționează în browser.

Pe această pagină
  1. Ce am testat?
  2. Ce am găsit?
  3. De ce se întâmplă și când este o alegere?
  4. Se descurcă mai bine cele mai mari site-uri?
  5. Cum îmi verific site-ul în zece minute?
  6. Cât de sigure sunt aceste cifre?

Ce am testat?

Cerem o pagină de mai multe ori de la aceeași adresă: o dată ca un browser obișnuit și apoi câte o dată ca fiecare dintre cele 14 crawlere AI și de căutare, între care GPTBot, OAI-SearchBot și ChatGPT-User de la OpenAI, ClaudeBot și Claude-SearchBot de la Anthropic și PerplexityBot de la Perplexity. Dacă browserul primește pagina, iar un crawler primește un 401, 403, 406, 429, 451, 503 sau o pagină de verificare, site-ul refuză acel crawler.

Eșantionul cuprinde 218 site-uri de afaceri din SUA, Marea Britanie și Franța, auditate între 18 și 21 noiembrie 2026. Testul complet a putut fi rulat pe 165. Celelalte 53 au refuzat chiar și cererea noastră simplă din browser sau n-au răspuns, așa că le-am lăsat deoparte în loc să ghicim.

Ce am găsit?

De ce se întâmplă și când este o alegere?

Mult din asta este probabil deliberat. Mulți proprietari nu vor ca conținutul lor să fie folosit la antrenarea modelelor, iar setările de protecție împotriva boturilor care blochează scraperele sunt ușor de activat. Este o alegere legitimă.

Necazul este că firmele de AI rulează crawlere separate pentru antrenare și pentru căutare. Blocarea crawlerului de antrenare nu cere blocarea celui de căutare, iar crawlerul de căutare este cel care poate duce la citarea paginii tale într-un răspuns.

Se descurcă mai bine cele mai mari site-uri?

Nu prea. În raportul nostru despre robots.txt pentru cele mai populare 1.000 de domenii, 29,9% dintre site-urile cu robots.txt blochează cel puțin un crawler AI de antrenare, iar 63,2% dintre ele blochează și cel puțin un crawler AI de căutare sau de utilizator. Doar 11,0% blochează antrenarea și permit toate crawlerele AI de căutare, adică setarea pe care cei mai mulți și-au dorit-o probabil.

Cum îmi verific site-ul în zece minute?

  1. Deschide yoursite.com/robots.txt. Pentru fiecare crawler AI care te interesează, vezi dacă un grup îl numește și ce spune grupul. Un grup care numește un crawler înlocuiește complet grupul general *.
  2. Testează ce face serverul, nu ce spune fișierul. Cere pagina ta importantă ca un browser și ca crawlerul. Un 403, un 429, o pagină cu titlul Just a moment... sau un răspuns mult mai mic decât cel din browser este semnătura unui blocaj de firewall.
  3. Întreabă asistentul. Cu căutarea pornită, pune-i lui ChatGPT sau Perplexity întrebările pe care le pun cumpărătorii tăi și vezi ce site-uri citează. Dacă accesul e în regulă și tot lipsești, problema este conținutul, nu accesul.

Cât de sigure sunt aceste cifre?

Consideră-le un tipar, nu un recensământ. Eșantionul nu este aleatoriu: sunt firme găsite prin biblioteci de reclame, site-uri de joburi și listări pe hărți. Testăm după user agent de la o singură adresă, în timp ce crawlerele reale vin de la adresele publicate de producătorii lor, așa că unele firewall-uri le-ar trata altfel pe cele reale. Iar un blocaj nu este întotdeauna o greșeală.

Instrumente gratuite

Pașii următori

Crawlere din acest articol

Întrebări frecvente

Ce procent din site-uri blochează crawlerele AI?

În auditul nostru pe 165 de site-uri de afaceri testabile, 38% au refuzat la nivel de server cel puțin un crawler AI, mai ales boturi de antrenare și de scraping. Circa 10% au refuzat și un crawler AI de căutare.

Blocarea GPTBot îmi ține site-ul în afara căutării ChatGPT?

Nu. OpenAI spune că fiecare setare robots.txt pentru crawlerele sale este independentă: GPTBot ține de antrenare, OAI-SearchBot de căutarea ChatGPT. Blocarea unuia nu îl blochează pe celălalt.

Cum poate un site să blocheze un crawler fără robots.txt?

O regulă de firewall, CDN sau protecție împotriva boturilor poate răspunde unui crawler cu un 403, un 429 sau o pagină de verificare. robots.txt nu arată asta niciodată, așa că trebuie testat cerând pagina ca crawlerul.

Este refuzul unui crawler întotdeauna o greșeală?

Nu. Mulți proprietari vor să țină departe crawlerele de antrenare și scraperele. Greșeala este să blochezi din întâmplare crawlerele de căutare, pentru că ele sunt cele care îți pot cita pagina.

Surse

Alte articole