Četras no desmit uzņēmumu vietnēm atsaka AI rāpuļprogrammām
Mūsu auditos 165 uzņēmumu vietnēm ASV, Lielbritānijā un Francijā 38% serverī atteica vismaz vienai AI rāpuļprogrammai, gandrīz vienmēr apmācības vai skrāpēšanas botam. Aptuveni katra desmitā vietne atteica arī AI meklēšanas rāpuļprogrammai, piemēram, PerplexityBot vai OAI-SearchBot, kas var novest pie citēšanas. Pārbaudiet savējo ar vienu pieprasījumu katrai rāpuļprogrammai.
Jūs jautājat ChatGPT par savu produktu, un tas nosauc konkurentu, atsauksmju vietni un foruma tēmu. Dažkārt tas ir satura jautājums. Bieži vien ugunsmūris atbild AI rāpuļprogrammām ar nē, un neviens jūsu komandā to nav redzējis, jo vietne pārlūkā darbojas.
Šajā lapā
Ko mēs testējām?
Mēs vairākas reizes pieprasām lapu no vienas adreses: reizi kā parasts pārlūks un pa reizei kā katra no 14 AI un meklētājprogrammu rāpuļprogrammām, tostarp GPTBot, OAI-SearchBot un ChatGPT-User no OpenAI, ClaudeBot un Claude-SearchBot no Anthropic un PerplexityBot no Perplexity. Ja pārlūks saņem lapu, bet rāpuļprogramma saņem 401, 403, 406, 429, 451, 503 vai pārbaudes lapu, vietne šai rāpuļprogrammai atsaka.
Izlasē ir 218 uzņēmumu vietnes ASV, Lielbritānijā un Francijā, kas auditētas no 2026. gada 18. līdz 21. novembrim. Pilnu testu varējām veikt 165 vietnēm. Pārējās 53 noraidīja pat mūsu parasto pārlūka pieprasījumu vai neatbildēja, tāpēc tās izlaidām, nevis minējām.
Ko mēs atradām?
- 38% testējamo vietņu (63 no 165) atteica vismaz vienai AI rāpuļprogrammai.
- Katra no šīm vietnēm atteica vismaz vienai apmācības vai skrāpēšanas rāpuļprogrammai.
Bytespideratteica 35% visu vietņu,ClaudeBot13% unGPTBot11%. - 10% vietņu (16) atteica arī vismaz vienai AI meklēšanas rāpuļprogrammai, un 5% (8) atteica rāpuļprogrammai, kas atver lapu tūlīt, kad cilvēks par to jautā asistentam.
- Svarīgākās meklēšanas rāpuļprogrammas bija
PerplexityBot(11 vietnes) unOAI-SearchBot(5 vietnes). - Cloudflare bija aiz 32 no 66 vietnēm, kas atteica jebkurai mūsu testētajai rāpuļprogrammai. Vēl 30 vietnēm nevarējām noteikt, kurš ugunsmūris atbildēja.
Kāpēc tā notiek un kad tā ir izvēle?
Liela daļa tā droši vien ir apzināta. Daudzi īpašnieki nevēlas, lai viņu saturu izmantotu modeļu apmācībai, un botu aizsardzības iestatījumus, kas bloķē skrāpētājus, ir viegli ieslēgt. Tā ir pamatota izvēle.
Problēma ir tā, ka AI uzņēmumi izmanto atsevišķas rāpuļprogrammas apmācībai un meklēšanai. Lai bloķētu apmācības rāpuļprogrammu, nav jābloķē meklēšanas rāpuļprogramma, un tieši meklēšanas rāpuļprogramma var novest pie tā, ka jūsu lapa tiek citēta atbildē.
Vai lielākās vietnes tiek galā labāk?
Ne īsti. Mūsu robots.txt pārskatā par 1000 populārākajiem domēniem 29,9% vietņu ar robots.txt bloķē vismaz vienu AI apmācības rāpuļprogrammu, un 63,2% no tām bloķē arī vismaz vienu AI meklēšanas vai lietotāja rāpuļprogrammu. Tikai 11,0% bloķē apmācību, vienlaikus atļaujot visas AI meklēšanas rāpuļprogrammas, un tieši šādu iestatījumu, visticamāk, vēlējās vairums.
Kā desmit minūtēs pārbaudīt savu vietni?
- Atveriet
yoursite.com/robots.txt. Katrai jums svarīgajai AI rāpuļprogrammai paskatieties, vai kāda grupa to nosauc un ko šī grupa nosaka. Grupa, kas nosauc rāpuļprogrammu, pilnībā aizstāj vispārīgo grupu*. - Testējiet, ko dara serveris, nevis ko saka fails. Pieprasiet savu galveno lapu kā pārlūks un kā rāpuļprogramma. 403, 429, lapa ar nosaukumu
Just a moment...vai atbilde, kas ir ievērojami mazāka nekā pārlūka atbilde, ir ugunsmūra bloķēšanas pazīme. - Pajautājiet asistentam. Ar ieslēgtu meklēšanu uzdodiet ChatGPT vai Perplexity jautājumus, ko uzdod jūsu pircēji, un paskatieties, kuras vietnes tas citē. Ja piekļuve ir kārtībā, bet jūsu vietnes tomēr nav, problēma ir saturā, nevis piekļuvē.
Cik uzticami ir šie skaitļi?
Uztveriet tos kā likumsakarību, nevis skaitīšanu. Izlase nav nejauša: tie ir uzņēmumi, kas atrasti reklāmu bibliotēkās, darba sludinājumu vietnēs un karšu sarakstos. Mēs testējam pēc user agent no vienas adreses, bet īstās rāpuļprogrammas nāk no adresēm, ko publicē to piegādātāji, tāpēc daži ugunsmūri pret īstajām izturētos citādi. Un bloķēšana ne vienmēr ir kļūda.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Cik vietņu bloķē AI rāpuļprogrammas?
Mūsu 165 testējamo uzņēmumu vietņu auditā 38% serverī atteica vismaz vienai AI rāpuļprogrammai, galvenokārt apmācības un skrāpēšanas botiem. Aptuveni 10% atteica arī AI meklēšanas rāpuļprogrammai.
Vai GPTBot bloķēšana neļauj manai vietnei nokļūt ChatGPT meklēšanā?
Nē. OpenAI norāda, ka katrs robots.txt iestatījums tā rāpuļprogrammām ir neatkarīgs: GPTBot attiecas uz apmācību, OAI-SearchBot uz ChatGPT meklēšanu. Viena bloķēšana neaptur otru.
Kā vietne var bloķēt rāpuļprogrammu bez robots.txt?
Ugunsmūra, CDN vai botu aizsardzības noteikums var atbildēt rāpuļprogrammai ar 403, 429 vai pārbaudes lapu. robots.txt to nekad neparāda, tāpēc tas jātestē, pieprasot lapu kā rāpuļprogramma.
Vai rāpuļprogrammas noraidīšana vienmēr ir kļūda?
Nē. Daudzi īpašnieki vēlas turēt prom apmācības rāpuļprogrammas un skrāpētājus. Kļūda ir nejauši bloķēt meklēšanas rāpuļprogrammas, jo tās var citēt jūsu lapu.
Avoti
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)