Četras no desmit uzņēmumu vietnēm atsaka AI rāpuļprogrammām

Publicēts

Īsa atbilde

Mūsu auditos 165 uzņēmumu vietnēm ASV, Lielbritānijā un Francijā 38% serverī atteica vismaz vienai AI rāpuļprogrammai, gandrīz vienmēr apmācības vai skrāpēšanas botam. Aptuveni katra desmitā vietne atteica arī AI meklēšanas rāpuļprogrammai, piemēram, PerplexityBot vai OAI-SearchBot, kas var novest pie citēšanas. Pārbaudiet savējo ar vienu pieprasījumu katrai rāpuļprogrammai.

Jūs jautājat ChatGPT par savu produktu, un tas nosauc konkurentu, atsauksmju vietni un foruma tēmu. Dažkārt tas ir satura jautājums. Bieži vien ugunsmūris atbild AI rāpuļprogrammām ar nē, un neviens jūsu komandā to nav redzējis, jo vietne pārlūkā darbojas.

Šajā lapā
  1. Ko mēs testējām?
  2. Ko mēs atradām?
  3. Kāpēc tā notiek un kad tā ir izvēle?
  4. Vai lielākās vietnes tiek galā labāk?
  5. Kā desmit minūtēs pārbaudīt savu vietni?
  6. Cik uzticami ir šie skaitļi?

Ko mēs testējām?

Mēs vairākas reizes pieprasām lapu no vienas adreses: reizi kā parasts pārlūks un pa reizei kā katra no 14 AI un meklētājprogrammu rāpuļprogrammām, tostarp GPTBot, OAI-SearchBot un ChatGPT-User no OpenAI, ClaudeBot un Claude-SearchBot no Anthropic un PerplexityBot no Perplexity. Ja pārlūks saņem lapu, bet rāpuļprogramma saņem 401, 403, 406, 429, 451, 503 vai pārbaudes lapu, vietne šai rāpuļprogrammai atsaka.

Izlasē ir 218 uzņēmumu vietnes ASV, Lielbritānijā un Francijā, kas auditētas no 2026. gada 18. līdz 21. novembrim. Pilnu testu varējām veikt 165 vietnēm. Pārējās 53 noraidīja pat mūsu parasto pārlūka pieprasījumu vai neatbildēja, tāpēc tās izlaidām, nevis minējām.

Ko mēs atradām?

Kāpēc tā notiek un kad tā ir izvēle?

Liela daļa tā droši vien ir apzināta. Daudzi īpašnieki nevēlas, lai viņu saturu izmantotu modeļu apmācībai, un botu aizsardzības iestatījumus, kas bloķē skrāpētājus, ir viegli ieslēgt. Tā ir pamatota izvēle.

Problēma ir tā, ka AI uzņēmumi izmanto atsevišķas rāpuļprogrammas apmācībai un meklēšanai. Lai bloķētu apmācības rāpuļprogrammu, nav jābloķē meklēšanas rāpuļprogramma, un tieši meklēšanas rāpuļprogramma var novest pie tā, ka jūsu lapa tiek citēta atbildē.

Vai lielākās vietnes tiek galā labāk?

Ne īsti. Mūsu robots.txt pārskatā par 1000 populārākajiem domēniem 29,9% vietņu ar robots.txt bloķē vismaz vienu AI apmācības rāpuļprogrammu, un 63,2% no tām bloķē arī vismaz vienu AI meklēšanas vai lietotāja rāpuļprogrammu. Tikai 11,0% bloķē apmācību, vienlaikus atļaujot visas AI meklēšanas rāpuļprogrammas, un tieši šādu iestatījumu, visticamāk, vēlējās vairums.

Kā desmit minūtēs pārbaudīt savu vietni?

  1. Atveriet yoursite.com/robots.txt. Katrai jums svarīgajai AI rāpuļprogrammai paskatieties, vai kāda grupa to nosauc un ko šī grupa nosaka. Grupa, kas nosauc rāpuļprogrammu, pilnībā aizstāj vispārīgo grupu *.
  2. Testējiet, ko dara serveris, nevis ko saka fails. Pieprasiet savu galveno lapu kā pārlūks un kā rāpuļprogramma. 403, 429, lapa ar nosaukumu Just a moment... vai atbilde, kas ir ievērojami mazāka nekā pārlūka atbilde, ir ugunsmūra bloķēšanas pazīme.
  3. Pajautājiet asistentam. Ar ieslēgtu meklēšanu uzdodiet ChatGPT vai Perplexity jautājumus, ko uzdod jūsu pircēji, un paskatieties, kuras vietnes tas citē. Ja piekļuve ir kārtībā, bet jūsu vietnes tomēr nav, problēma ir saturā, nevis piekļuvē.

Cik uzticami ir šie skaitļi?

Uztveriet tos kā likumsakarību, nevis skaitīšanu. Izlase nav nejauša: tie ir uzņēmumi, kas atrasti reklāmu bibliotēkās, darba sludinājumu vietnēs un karšu sarakstos. Mēs testējam pēc user agent no vienas adreses, bet īstās rāpuļprogrammas nāk no adresēm, ko publicē to piegādātāji, tāpēc daži ugunsmūri pret īstajām izturētos citādi. Un bloķēšana ne vienmēr ir kļūda.

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Cik vietņu bloķē AI rāpuļprogrammas?

Mūsu 165 testējamo uzņēmumu vietņu auditā 38% serverī atteica vismaz vienai AI rāpuļprogrammai, galvenokārt apmācības un skrāpēšanas botiem. Aptuveni 10% atteica arī AI meklēšanas rāpuļprogrammai.

Vai GPTBot bloķēšana neļauj manai vietnei nokļūt ChatGPT meklēšanā?

Nē. OpenAI norāda, ka katrs robots.txt iestatījums tā rāpuļprogrammām ir neatkarīgs: GPTBot attiecas uz apmācību, OAI-SearchBot uz ChatGPT meklēšanu. Viena bloķēšana neaptur otru.

Kā vietne var bloķēt rāpuļprogrammu bez robots.txt?

Ugunsmūra, CDN vai botu aizsardzības noteikums var atbildēt rāpuļprogrammai ar 403, 429 vai pārbaudes lapu. robots.txt to nekad neparāda, tāpēc tas jātestē, pieprasot lapu kā rāpuļprogramma.

Vai rāpuļprogrammas noraidīšana vienmēr ir kļūda?

Nē. Daudzi īpašnieki vēlas turēt prom apmācības rāpuļprogrammas un skrāpētājus. Kļūda ir nejauši bloķēt meklēšanas rāpuļprogrammas, jo tās var citēt jūsu lapu.

Avoti

Citi raksti