Neli ettevõtte veebisaiti kümnest keelab tehisintellekti robotitel sisenemise

Avaldatud

Lühike vastus

Meie auditites 165 ettevõtte veebisaidil USAs, Ühendkuningriigis ja Prantsusmaal keeldus 38% serveris vähemalt ühest tehisintellekti robotist, peaaegu alati treening- või andmekogumisrobotist. Umbes iga kümnes sait keelas sisenemise ka tehisintellekti otsingurobotil, näiteks PerplexityBot või OAI-SearchBot, ehk robotil, mis võib viia viitamiseni. Oma saidi saab kontrollida ühe päringuga roboti kohta.

Küsite ChatGPT-lt oma toote kohta ja see nimetab konkurenti, ülevaatesaiti ja foorumi teemat. Mõnikord on põhjuseks sisu. Sageli vastab tulemüür tehisintellekti robotitele eitavalt ja keegi teie meeskonnast pole seda näinud, sest sait töötab brauseris korras.

Sellel lehel
  1. Mida me testisime?
  2. Mida me leidsime?
  3. Miks see juhtub ja millal on see valik?
  4. Kas suurimad saidid saavad paremini hakkama?
  5. Kuidas oma saiti kümne minutiga kontrollida?
  6. Kui usaldusväärsed need arvud on?

Mida me testisime?

Küsime sama aadressi lehte mitu korda: kord tavalise brauserina ja seejärel igaühe 14 tehisintellekti ja otsinguroboti nime all, sealhulgas OpenAI GPTBot, OAI-SearchBot ja ChatGPT-User, Anthropicu ClaudeBot ja Claude-SearchBot ning Perplexity PerplexityBot. Kui brauser saab lehe kätte, aga robot saab vastuseks 401, 403, 406, 429, 451, 503 või väljakutse lehe, saadab sait selle roboti ära.

Valim on 218 ettevõtte veebisaiti USAs, Ühendkuningriigis ja Prantsusmaal, auditeeritud 18.–21. novembrini 2026. Täieliku testi saime teha 165 saidil. Ülejäänud 53 keeldusid isegi meie tavalisest brauseripäringust või ei vastanud, nii et jätsime need välja, selle asemel et arvata.

Mida me leidsime?

Miks see juhtub ja millal on see valik?

Suur osa sellest on ilmselt tahtlik. Paljud omanikud ei soovi, et nende sisu kasutataks mudelite treenimiseks, ja andmekogujaid blokeerivad robotikaitse seaded on lihtne sisse lülitada. See on õigustatud valik.

Probleem on selles, et tehisintellekti ettevõtted kasutavad treenimiseks ja otsinguks eraldi roboteid. Treeningroboti blokeerimine ei eelda otsingurobotite blokeerimist ning just otsinguroboti kaudu võidakse teie lehele vastuses viidata.

Kas suurimad saidid saavad paremini hakkama?

Ei saa. Meie robots.txt aruandes 1000 populaarseima domeeni kohta blokeerib 29,9% robots.txt-iga saitidest vähemalt ühe tehisintellekti treeningroboti ja neist 63,2% blokeerib ka vähemalt ühe tehisintellekti otsingu- või kasutajaroboti. Vaid 11,0% blokeerib treeningu, lubades ligipääsu kõigile tehisintellekti otsingurobotitele, ja just seda seadistust enamik neist ilmselt soovis.

Kuidas oma saiti kümne minutiga kontrollida?

  1. Avage yoursite.com/robots.txt. Vaadake iga teid huvitava tehisintellekti roboti kohta, kas mõni grupp nimetab seda ja mida grupp ütleb. Roboti nimetav grupp asendab üldise * grupi täielikult.
  2. Testige, mida server teeb, mitte mida fail ütleb. Küsige oma põhilehte brauserina ja robotina. 403, 429, leht pealkirjaga Just a moment... või brauseri vastusest palju väiksem vastus on tulemüüri blokeeringu tunnus.
  3. Küsige assistendilt. Lülitage otsing sisse, esitage ChatGPT-le või Perplexity'le küsimused, mida teie ostjad esitavad, ja vaadake, milliste saitidega ta viitab. Kui ligipääs on korras ja teid ikka pole, on probleem sisus, mitte ligipääsus.

Kui usaldusväärsed need arvud on?

Käsitlege neid mustrina, mitte loendusena. Valim ei ole juhuslik: need on ettevõtted, mis leiti reklaamiraamatukogudest, tööportaalidest ja kaardiloenditest. Testime kasutajaagendi järgi ühelt aadressilt, päris robotid aga tulevad aadressidelt, mille nende pakkujad avaldavad, nii et mõni tulemüür kohtleks päris roboteid teisiti. Ja blokeering ei ole alati viga.

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kui suur osa veebisaitidest blokeerib tehisintellekti roboteid?

Meie auditis 165 testitaval ettevõtte veebisaidil saatis 38% serveris ära vähemalt ühe tehisintellekti roboti, enamasti treening- ja andmekogumisrobotid. Umbes 10% keelas ka tehisintellekti otsinguroboti.

Kas GPTBot blokeerimine hoiab minu saidi ChatGPT otsingust eemal?

Ei. OpenAI ütleb, et iga robots.txt seade tema robotite jaoks on sõltumatu: GPTBot on seotud treenimisega, OAI-SearchBot ChatGPT otsinguga. Ühe blokeerimine ei blokeeri teist.

Kuidas saab sait roboti ilma robots.txt-ita blokeerida?

Tulemüür, CDN või robotikaitse reegel võib vastata robotile 403, 429 või väljakutse lehega. robots.txt seda ei näita, seega tuleb seda testida, küsides lehte robotina.

Kas roboti ära saatmine on alati viga?

Ei. Paljud omanikud soovivad treeningroboteid ja andmekogujaid eemal hoida. Viga on otsingurobotite blokeerimine kogemata, sest just need võivad teie lehele viidata.

Allikad

Veel artikleid