Štiri od desetih poslovnih spletnih mest zavrača AI-pajke
V naših pregledih 165 poslovnih spletnih mest v ZDA, Veliki Britaniji in Franciji jih je 38 % na strežniku zavrnilo vsaj enega AI-pajka, skoraj vedno pajka za učenje ali strganje. Približno vsako deseto mesto je zavrnilo tudi AI-pajka za iskanje, kot sta PerplexityBot ali OAI-SearchBot, torej pajke, ki lahko pripeljejo do navedbe. Svoje mesto preverite z eno zahtevo na pajka.
ChatGPT vprašate o svojem izdelku, on pa našteje konkurenta, spletno mesto z ocenami in temo na forumu. Včasih je to vprašanje vsebine. Pogosto pa požarni zid AI-pajkom odgovarja z zavrnitvijo, česar nihče v vaši ekipi ni videl, ker mesto v brskalniku deluje.
Na tej strani
Kaj smo testirali?
Isto stran zahtevamo večkrat z istega naslova: enkrat kot navaden brskalnik in nato po enkrat kot vsakega od 14 AI-pajkov in iskalnih pajkov, med njimi GPTBot, OAI-SearchBot in ChatGPT-User podjetja OpenAI, ClaudeBot in Claude-SearchBot podjetja Anthropic ter PerplexityBot podjetja Perplexity. Če brskalnik dobi stran, pajek pa 401, 403, 406, 429, 451, 503 ali izzivno stran, mesto tega pajka zavrača.
Vzorec je 218 poslovnih spletnih mest v ZDA, Veliki Britaniji in Franciji, pregledanih od 18. do 21. novembra 2026. Poln test smo lahko izvedli na 165. Drugih 53 je zavrnilo že našo navadno zahtevo brskalnika ali ni odgovorilo, zato smo jih izpustili, namesto da bi ugibali.
Kaj smo ugotovili?
- 38 % testiranih mest (63 od 165) je zavrnilo vsaj enega AI-pajka.
- Vsako od teh mest je zavrnilo vsaj enega pajka za učenje ali strganje.
Bytespiderje zavrnilo 35 % vseh mest,ClaudeBot13 % inGPTBot11 %. - 10 % mest (16) je zavrnilo tudi vsaj enega AI-pajka za iskanje, 5 % (8) pa pajka, ki stran odpre sproti, ko oseba pomočnika vpraša o njej.
- Najpomembnejša iskalna pajka sta bila
PerplexityBot(11 mest) inOAI-SearchBot(5 mest). - Za Cloudflare je stal pri 32 od 66 mest, ki so zavrnila kateregakoli od testiranih pajkov. Pri drugih 30 nismo mogli ugotoviti, kateri požarni zid je odgovoril.
Zakaj se to zgodi in kdaj je to izbira?
Veliko tega je verjetno namerno. Mnogi lastniki ne želijo, da bi se njihova vsebina uporabljala za učenje modelov, nastavitve zaščite pred boti, ki blokirajo strgalnike, pa so enostavne za vklop. To je upravičena odločitev.
Težava je, da AI-podjetja ločeno upravljajo pajke za učenje in pajke za iskanje. Za blokado pajka za učenje ni treba blokirati pajka za iskanje, ta pa je tisti, zaradi katerega je lahko vaša stran navedena v odgovoru.
So največja mesta boljša?
Ne res. V našem poročilu o robots.txt za 1.000 najbolj priljubljenih domen jih 29,9 % z robots.txt blokira vsaj enega AI-pajka za učenje, med njimi jih 63,2 % blokira tudi vsaj enega AI-pajka za iskanje ali uporabniškega pajka. Le 11,0 % jih blokira učenje, vse AI-pajke za iskanje pa dovoli, kar je nastavitev, ki je večina verjetno želela.
Kako v desetih minutah preverim svoje mesto?
- Odprite
yoursite.com/robots.txt. Za vsakega AI-pajka, ki vas zanima, poglejte, ali ga poimenuje kakšna skupina in kaj skupina pravi. Skupina, ki poimenuje pajka, popolnoma nadomesti splošno skupino*. - Preizkusite, kaj naredi strežnik, ne, kaj piše v datoteki. Svojo ključno stran zahtevajte kot brskalnik in kot pajek. Odgovor 403, 429, stran z naslovom
Just a moment...ali odgovor, ki je precej manjši od odgovora za brskalnik, je značilen znak blokade požarnega zidu. - Vprašajte pomočnika. Z vklopljenim iskanjem ChatGPT ali Perplexity postavite vprašanja, ki jih postavljajo vaši kupci, in poglejte, katera mesta navede. Če je dostop v redu, vas pa še vedno ni, je težava vsebina, ne dostop.
Kako zanesljive so te številke?
Obravnavajte jih kot vzorec, ne kot popis. Vzorec ni naključen: to so podjetja, najdena prek knjižnic oglasov, spletnih strani z delovnimi mesti in zemljevidov. Testiramo po uporabniškem agentu z enega naslova, pravi pajki pa prihajajo z naslovov, ki jih objavijo njihovi ponudniki, zato bi nekateri požarni zidovi prave obravnavali drugače. In blokada ni vedno napaka.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Kolikšen delež spletnih mest blokira AI-pajke?
V našem pregledu 165 testiranih poslovnih spletnih mest jih je 38 % na strežniku zavrnilo vsaj enega AI-pajka, večinoma pajke za učenje in strganje. Okoli 10 % jih je zavrnilo tudi AI-pajka za iskanje.
Ali blokada GPTBot mojo stran izključi iz iskanja ChatGPT?
Ne. OpenAI pravi, da je vsaka nastavitev robots.txt za njegove pajke neodvisna: GPTBot je povezan z učenjem, OAI-SearchBot z iskanjem ChatGPT. Blokada enega ne blokira drugega.
Kako lahko mesto blokira pajka brez robots.txt?
Požarni zid, CDN ali pravilo za zaščito pred boti lahko pajku odgovori s 403, 429 ali izzivno stranjo. robots.txt tega nikoli ne pokaže, zato je treba to preizkusiti z zahtevo strani kot pajek.
Ali je zavračanje pajka vedno napaka?
Ne. Mnogi lastniki želijo pajke za učenje in strgalnike zadržati zunaj. Napaka je, če po nesreči blokirate pajke za iskanje, ker so ti tisti, ki lahko navedejo vašo stran.
Viri
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)