Štiri od desetih poslovnih spletnih mest zavrača AI-pajke

Objavljeno

Kratek odgovor

V naših pregledih 165 poslovnih spletnih mest v ZDA, Veliki Britaniji in Franciji jih je 38 % na strežniku zavrnilo vsaj enega AI-pajka, skoraj vedno pajka za učenje ali strganje. Približno vsako deseto mesto je zavrnilo tudi AI-pajka za iskanje, kot sta PerplexityBot ali OAI-SearchBot, torej pajke, ki lahko pripeljejo do navedbe. Svoje mesto preverite z eno zahtevo na pajka.

ChatGPT vprašate o svojem izdelku, on pa našteje konkurenta, spletno mesto z ocenami in temo na forumu. Včasih je to vprašanje vsebine. Pogosto pa požarni zid AI-pajkom odgovarja z zavrnitvijo, česar nihče v vaši ekipi ni videl, ker mesto v brskalniku deluje.

Na tej strani
  1. Kaj smo testirali?
  2. Kaj smo ugotovili?
  3. Zakaj se to zgodi in kdaj je to izbira?
  4. So največja mesta boljša?
  5. Kako v desetih minutah preverim svoje mesto?
  6. Kako zanesljive so te številke?

Kaj smo testirali?

Isto stran zahtevamo večkrat z istega naslova: enkrat kot navaden brskalnik in nato po enkrat kot vsakega od 14 AI-pajkov in iskalnih pajkov, med njimi GPTBot, OAI-SearchBot in ChatGPT-User podjetja OpenAI, ClaudeBot in Claude-SearchBot podjetja Anthropic ter PerplexityBot podjetja Perplexity. Če brskalnik dobi stran, pajek pa 401, 403, 406, 429, 451, 503 ali izzivno stran, mesto tega pajka zavrača.

Vzorec je 218 poslovnih spletnih mest v ZDA, Veliki Britaniji in Franciji, pregledanih od 18. do 21. novembra 2026. Poln test smo lahko izvedli na 165. Drugih 53 je zavrnilo že našo navadno zahtevo brskalnika ali ni odgovorilo, zato smo jih izpustili, namesto da bi ugibali.

Kaj smo ugotovili?

Zakaj se to zgodi in kdaj je to izbira?

Veliko tega je verjetno namerno. Mnogi lastniki ne želijo, da bi se njihova vsebina uporabljala za učenje modelov, nastavitve zaščite pred boti, ki blokirajo strgalnike, pa so enostavne za vklop. To je upravičena odločitev.

Težava je, da AI-podjetja ločeno upravljajo pajke za učenje in pajke za iskanje. Za blokado pajka za učenje ni treba blokirati pajka za iskanje, ta pa je tisti, zaradi katerega je lahko vaša stran navedena v odgovoru.

So največja mesta boljša?

Ne res. V našem poročilu o robots.txt za 1.000 najbolj priljubljenih domen jih 29,9 % z robots.txt blokira vsaj enega AI-pajka za učenje, med njimi jih 63,2 % blokira tudi vsaj enega AI-pajka za iskanje ali uporabniškega pajka. Le 11,0 % jih blokira učenje, vse AI-pajke za iskanje pa dovoli, kar je nastavitev, ki je večina verjetno želela.

Kako v desetih minutah preverim svoje mesto?

  1. Odprite yoursite.com/robots.txt. Za vsakega AI-pajka, ki vas zanima, poglejte, ali ga poimenuje kakšna skupina in kaj skupina pravi. Skupina, ki poimenuje pajka, popolnoma nadomesti splošno skupino *.
  2. Preizkusite, kaj naredi strežnik, ne, kaj piše v datoteki. Svojo ključno stran zahtevajte kot brskalnik in kot pajek. Odgovor 403, 429, stran z naslovom Just a moment... ali odgovor, ki je precej manjši od odgovora za brskalnik, je značilen znak blokade požarnega zidu.
  3. Vprašajte pomočnika. Z vklopljenim iskanjem ChatGPT ali Perplexity postavite vprašanja, ki jih postavljajo vaši kupci, in poglejte, katera mesta navede. Če je dostop v redu, vas pa še vedno ni, je težava vsebina, ne dostop.

Kako zanesljive so te številke?

Obravnavajte jih kot vzorec, ne kot popis. Vzorec ni naključen: to so podjetja, najdena prek knjižnic oglasov, spletnih strani z delovnimi mesti in zemljevidov. Testiramo po uporabniškem agentu z enega naslova, pravi pajki pa prihajajo z naslovov, ki jih objavijo njihovi ponudniki, zato bi nekateri požarni zidovi prave obravnavali drugače. In blokada ni vedno napaka.

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Kolikšen delež spletnih mest blokira AI-pajke?

V našem pregledu 165 testiranih poslovnih spletnih mest jih je 38 % na strežniku zavrnilo vsaj enega AI-pajka, večinoma pajke za učenje in strganje. Okoli 10 % jih je zavrnilo tudi AI-pajka za iskanje.

Ali blokada GPTBot mojo stran izključi iz iskanja ChatGPT?

Ne. OpenAI pravi, da je vsaka nastavitev robots.txt za njegove pajke neodvisna: GPTBot je povezan z učenjem, OAI-SearchBot z iskanjem ChatGPT. Blokada enega ne blokira drugega.

Kako lahko mesto blokira pajka brez robots.txt?

Požarni zid, CDN ali pravilo za zaščito pred boti lahko pajku odgovori s 403, 429 ali izzivno stranjo. robots.txt tega nikoli ne pokaže, zato je treba to preizkusiti z zahtevo strani kot pajek.

Ali je zavračanje pajka vedno napaka?

Ne. Mnogi lastniki želijo pajke za učenje in strgalnike zadržati zunaj. Napaka je, če po nesreči blokirate pajke za iskanje, ker so ti tisti, ki lahko navedejo vašo stran.

Viri

Več člankov