Četiri od deset poslovnih web-mjesta odbijaju AI crawlere
U našim revizijama 165 poslovnih web-mjesta u SAD-u, Ujedinjenom Kraljevstvu i Francuskoj, njih 38% odbilo je na poslužitelju barem jednog AI crawlera, gotovo uvijek crawlera za treniranje ili scrapera. Otprilike svako deseto web-mjesto odbilo je i AI crawler za pretraživanje, kao što su PerplexityBot ili OAI-SearchBot, a to su crawleri koji mogu dovesti do citiranja. Svoje provjerite jednim zahtjevom po crawleru.
Pitate ChatGPT o vlastitom proizvodu, a on navodi konkurenta, stranicu s recenzijama i temu s foruma. Ponekad je to pitanje sadržaja. Često je to vatrozid koji AI crawlerima odgovara odbijanjem, a nitko u vašem timu to nikad nije vidio jer web-mjesto u pregledniku radi.
Na ovoj stranici
Što smo testirali?
Istu stranicu zatražimo više puta s iste adrese: jednom kao običan preglednik, a zatim po jednom kao 14 AI crawlera i crawlera za pretraživanje, uključujući GPTBot, OAI-SearchBot i ChatGPT-User tvrtke OpenAI, ClaudeBot i Claude-SearchBot tvrtke Anthropic te PerplexityBot tvrtke Perplexity. Ako preglednik dobije stranicu, a crawler 401, 403, 406, 429, 451, 503 ili challenge stranicu, web-mjesto tog crawlera odbija.
Uzorak čini 218 poslovnih web-mjesta u SAD-u, Ujedinjenom Kraljevstvu i Francuskoj, provjerenih od 18. do 21. studenoga 2026. Potpuni test uspjeli smo provesti na 165. Preostala 53 odbila su čak i naš običan zahtjev preglednika ili nisu odgovorila, pa smo ih izostavili umjesto da nagađamo.
Što smo otkrili?
- 38% web-mjesta koja smo mogli testirati (63 od 165) odbilo je barem jednog AI crawlera.
- Svako od tih web-mjesta odbilo je barem jednog crawlera za treniranje ili scrapera.
Bytespiderje odbilo 35% svih web-mjesta,ClaudeBot13%, aGPTBot11%. - 10% web-mjesta (16) odbilo je i barem jednog AI crawlera za pretraživanje, a 5% (8) odbilo je crawlera koji otvara stranicu uživo kad osoba pita asistenta o njoj.
- Najvažniji crawleri za pretraživanje bili su
PerplexityBot(11 web-mjesta) iOAI-SearchBot(5 web-mjesta). - Cloudflare je stajao iza 32 od 66 web-mjesta koja su odbila bilo kojeg crawlera koje smo testirali. Za još 30 nismo mogli utvrditi koji je vatrozid odgovorio.
Zašto se to događa i kada je to izbor?
Velik dio toga vjerojatno je namjeran. Mnogi vlasnici ne žele da se njihov sadržaj koristi za treniranje modela, a postavke zaštite od botova koje blokiraju scrapere lako je uključiti. To je opravdan izbor.
Problem je u tome što AI tvrtke imaju zasebne crawlere za treniranje i za pretraživanje. Blokiranje crawlera za treniranje ne zahtijeva blokiranje crawlera za pretraživanje, a upravo crawler za pretraživanje može dovesti do toga da se vaša stranica citira u odgovoru.
Jesu li najveća web-mjesta bolja?
Zapravo nisu. U našem izvješću o robots.txt za 1.000 najpopularnijih domena, 29,9% web-mjesta koja imaju robots.txt blokira barem jednog AI crawlera za treniranje, a 63,2% njih blokira i barem jednog AI crawlera za pretraživanje ili korisničkog crawlera. Samo 11,0% blokira treniranje, a dopušta sve AI crawlere za pretraživanje, što je postavka koju je većina vjerojatno htjela.
Kako provjeriti vlastito web-mjesto za deset minuta?
- Otvorite
yoursite.com/robots.txt. Za svakog AI crawlera koji vas zanima provjerite imenuje li ga neka skupina i što u njoj piše. Skupina koja imenuje crawlera u potpunosti zamjenjuje opću skupinu*. - Testirajte što poslužitelj radi, a ne što piše u datoteci. Zatražite ključnu stranicu kao preglednik i kao crawler. Odgovor 403, 429, stranica s naslovom
Just a moment...ili odgovor puno manji od onog za preglednik tipičan je znak blokade vatrozida. - Pitajte asistenta. Uz uključeno pretraživanje, postavite ChatGPT-u ili Perplexityju pitanja koja postavljaju vaši kupci i pogledajte koje stranice citira. Ako je pristup u redu, a vas i dalje nema, problem je u sadržaju, a ne u pristupu.
Koliko su ovi brojevi pouzdani?
Shvatite ih kao obrazac, a ne popis. Uzorak nije slučajan: riječ je o tvrtkama pronađenima preko biblioteka oglasa, portala za zapošljavanje i unosa na kartama. Testiramo po user agentu s jedne adrese, dok pravi crawleri dolaze s adresa koje objavljuju njihovi davatelji, pa bi neki vatrozidi prave crawlere tretirali drukčije. A blokada nije uvijek greška.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Koji udio web-mjesta blokira AI crawlere?
U našoj reviziji 165 poslovnih web-mjesta koja smo mogli testirati, 38% ih je na poslužitelju odbilo barem jednog AI crawlera, uglavnom crawlere za treniranje i scrapere. Oko 10% odbilo je i AI crawler za pretraživanje.
Sprječava li blokiranje GPTBot-a pojavljivanje mog web-mjesta u ChatGPT pretraživanju?
Ne. OpenAI navodi da je svaka postavka robots.txt za njegove crawlere neovisna: GPTBot se odnosi na treniranje, a OAI-SearchBot na ChatGPT pretraživanje. Blokiranje jednog ne blokira drugi.
Kako web-mjesto može blokirati crawlera bez robots.txt?
Pravilo vatrozida, CDN-a ili zaštite od botova može crawleru odgovoriti s 403, 429 ili challenge stranicom. robots.txt to nikad ne prikazuje, pa se mora testirati zahtjevom za stranicu kao crawler.
Je li odbijanje crawlera uvijek greška?
Ne. Mnogi vlasnici žele držati podalje crawlere za treniranje i scrapere. Greška je slučajno blokirati crawlere za pretraživanje, jer upravo oni mogu citirati vašu stranicu.
Izvori
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)