Četiri od deset poslovnih web-mjesta odbijaju AI crawlere

Objavljeno

Kratki odgovor

U našim revizijama 165 poslovnih web-mjesta u SAD-u, Ujedinjenom Kraljevstvu i Francuskoj, njih 38% odbilo je na poslužitelju barem jednog AI crawlera, gotovo uvijek crawlera za treniranje ili scrapera. Otprilike svako deseto web-mjesto odbilo je i AI crawler za pretraživanje, kao što su PerplexityBot ili OAI-SearchBot, a to su crawleri koji mogu dovesti do citiranja. Svoje provjerite jednim zahtjevom po crawleru.

Pitate ChatGPT o vlastitom proizvodu, a on navodi konkurenta, stranicu s recenzijama i temu s foruma. Ponekad je to pitanje sadržaja. Često je to vatrozid koji AI crawlerima odgovara odbijanjem, a nitko u vašem timu to nikad nije vidio jer web-mjesto u pregledniku radi.

Na ovoj stranici
  1. Što smo testirali?
  2. Što smo otkrili?
  3. Zašto se to događa i kada je to izbor?
  4. Jesu li najveća web-mjesta bolja?
  5. Kako provjeriti vlastito web-mjesto za deset minuta?
  6. Koliko su ovi brojevi pouzdani?

Što smo testirali?

Istu stranicu zatražimo više puta s iste adrese: jednom kao običan preglednik, a zatim po jednom kao 14 AI crawlera i crawlera za pretraživanje, uključujući GPTBot, OAI-SearchBot i ChatGPT-User tvrtke OpenAI, ClaudeBot i Claude-SearchBot tvrtke Anthropic te PerplexityBot tvrtke Perplexity. Ako preglednik dobije stranicu, a crawler 401, 403, 406, 429, 451, 503 ili challenge stranicu, web-mjesto tog crawlera odbija.

Uzorak čini 218 poslovnih web-mjesta u SAD-u, Ujedinjenom Kraljevstvu i Francuskoj, provjerenih od 18. do 21. studenoga 2026. Potpuni test uspjeli smo provesti na 165. Preostala 53 odbila su čak i naš običan zahtjev preglednika ili nisu odgovorila, pa smo ih izostavili umjesto da nagađamo.

Što smo otkrili?

Zašto se to događa i kada je to izbor?

Velik dio toga vjerojatno je namjeran. Mnogi vlasnici ne žele da se njihov sadržaj koristi za treniranje modela, a postavke zaštite od botova koje blokiraju scrapere lako je uključiti. To je opravdan izbor.

Problem je u tome što AI tvrtke imaju zasebne crawlere za treniranje i za pretraživanje. Blokiranje crawlera za treniranje ne zahtijeva blokiranje crawlera za pretraživanje, a upravo crawler za pretraživanje može dovesti do toga da se vaša stranica citira u odgovoru.

Jesu li najveća web-mjesta bolja?

Zapravo nisu. U našem izvješću o robots.txt za 1.000 najpopularnijih domena, 29,9% web-mjesta koja imaju robots.txt blokira barem jednog AI crawlera za treniranje, a 63,2% njih blokira i barem jednog AI crawlera za pretraživanje ili korisničkog crawlera. Samo 11,0% blokira treniranje, a dopušta sve AI crawlere za pretraživanje, što je postavka koju je većina vjerojatno htjela.

Kako provjeriti vlastito web-mjesto za deset minuta?

  1. Otvorite yoursite.com/robots.txt. Za svakog AI crawlera koji vas zanima provjerite imenuje li ga neka skupina i što u njoj piše. Skupina koja imenuje crawlera u potpunosti zamjenjuje opću skupinu *.
  2. Testirajte što poslužitelj radi, a ne što piše u datoteci. Zatražite ključnu stranicu kao preglednik i kao crawler. Odgovor 403, 429, stranica s naslovom Just a moment... ili odgovor puno manji od onog za preglednik tipičan je znak blokade vatrozida.
  3. Pitajte asistenta. Uz uključeno pretraživanje, postavite ChatGPT-u ili Perplexityju pitanja koja postavljaju vaši kupci i pogledajte koje stranice citira. Ako je pristup u redu, a vas i dalje nema, problem je u sadržaju, a ne u pristupu.

Koliko su ovi brojevi pouzdani?

Shvatite ih kao obrazac, a ne popis. Uzorak nije slučajan: riječ je o tvrtkama pronađenima preko biblioteka oglasa, portala za zapošljavanje i unosa na kartama. Testiramo po user agentu s jedne adrese, dok pravi crawleri dolaze s adresa koje objavljuju njihovi davatelji, pa bi neki vatrozidi prave crawlere tretirali drukčije. A blokada nije uvijek greška.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Koji udio web-mjesta blokira AI crawlere?

U našoj reviziji 165 poslovnih web-mjesta koja smo mogli testirati, 38% ih je na poslužitelju odbilo barem jednog AI crawlera, uglavnom crawlere za treniranje i scrapere. Oko 10% odbilo je i AI crawler za pretraživanje.

Sprječava li blokiranje GPTBot-a pojavljivanje mog web-mjesta u ChatGPT pretraživanju?

Ne. OpenAI navodi da je svaka postavka robots.txt za njegove crawlere neovisna: GPTBot se odnosi na treniranje, a OAI-SearchBot na ChatGPT pretraživanje. Blokiranje jednog ne blokira drugi.

Kako web-mjesto može blokirati crawlera bez robots.txt?

Pravilo vatrozida, CDN-a ili zaštite od botova može crawleru odgovoriti s 403, 429 ili challenge stranicom. robots.txt to nikad ne prikazuje, pa se mora testirati zahtjevom za stranicu kao crawler.

Je li odbijanje crawlera uvijek greška?

Ne. Mnogi vlasnici žele držati podalje crawlere za treniranje i scrapere. Greška je slučajno blokirati crawlere za pretraživanje, jer upravo oni mogu citirati vašu stranicu.

Izvori

Još članaka