Keturios iš dešimties įmonių svetainių atmeta DI robotus

Paskelbta

Trumpas atsakymas

Mūsų atliktuose 165 JAV, JK ir Prancūzijos įmonių svetainių auditų 38 % serveryje atmetė bent vieną DI robotą, beveik visada mokymo ar duomenų rinkimo robotą. Maždaug kas dešimta svetainė taip pat atmetė DI paieškos robotą, pavyzdžiui, PerplexityBot ar OAI-SearchBot, t. y. robotus, kurie gali lemti citavimą. Savo svetainę patikrinkite viena užklausa kiekvienam robotui.

Paklausiate ChatGPT apie savo produktą, o jis pamini konkurentą, apžvalgų svetainę ir forumo temą. Kartais tai turinio klausimas. Dažnai ugniasienė tiesiog atsako DI robotams „ne“, ir to niekas jūsų komandoje nematė, nes svetainė naršyklėje veikia.

Šiame puslapyje
  1. Ką testavome?
  2. Ką radome?
  3. Kodėl taip nutinka ir kada tai sąmoningas pasirinkimas?
  4. Ar didžiausios svetainės elgiasi geriau?
  5. Kaip per dešimt minučių patikrinti savo svetainę?
  6. Kiek šie skaičiai patikimi?

Ką testavome?

Tą patį puslapį iš to paties adreso užklausiame kelis kartus: vieną kartą kaip įprasta naršyklė ir po vieną kartą kaip 14 DI ir paieškos robotų, tarp jų GPTBot, OAI-SearchBot ir ChatGPT-User iš OpenAI, ClaudeBot ir Claude-SearchBot iš Anthropic bei PerplexityBot iš Perplexity. Jei naršyklė gauna puslapį, o robotas gauna 401, 403, 406, 429, 451, 503 arba patikros puslapį, svetainė tą robotą atmeta.

Imtį sudaro 218 JAV, JK ir Prancūzijos įmonių svetainių, tikrintų 2026 m. lapkričio 18–21 d. Visą testą galėjome atlikti 165. Kitos 53 atmetė net mūsų paprastą naršyklės užklausą arba neatsakė, todėl jų nevertinome, o ne spėliojome.

Ką radome?

Kodėl taip nutinka ir kada tai sąmoningas pasirinkimas?

Daug kas tikriausiai daroma tyčia. Daugelis savininkų nenori, kad jų turinys būtų naudojamas modeliams mokyti, o apsaugos nuo robotų nustatymus, blokuojančius duomenų rinkėjus, lengva įjungti. Tai pagrįstas pasirinkimas.

Bėda ta, kad DI įmonės naudoja atskirus robotus mokymui ir paieškai. Mokymo roboto blokuoti nereiškia blokuoti paieškos roboto, o būtent paieškos robotas gali lemti, kad jūsų puslapis bus paminėtas atsakyme.

Ar didžiausios svetainės elgiasi geriau?

Ne visai. Mūsų robots.txt ataskaitoje apie 1000 populiariausių domenų 29,9 % svetainių, turinčių robots.txt, blokuoja bent vieną DI mokymo robotą, o 63,2 % iš jų taip pat blokuoja bent vieną DI paieškos ar naudotojo robotą. Tik 11,0 % blokuoja mokymą, bet leidžia visus DI paieškos robotus, ir būtent tokios sąrankos daugelis tikriausiai norėjo.

Kaip per dešimt minučių patikrinti savo svetainę?

  1. Atidarykite yoursite.com/robots.txt. Kiekvienam jums svarbiam DI robotui pažiūrėkite, ar yra jį mininti grupė ir ką ji sako. Grupė, kurioje robotas paminėtas, visiškai pakeičia bendrąją grupę *.
  2. Testuokite, ką daro serveris, o ne ką sako failas. Paprašykite svarbiausio puslapio kaip naršyklė ir kaip robotas. 403, 429, puslapis su pavadinimu Just a moment... arba atsakymas, gerokai mažesnis už naršyklės, yra ugniasienės blokavimo požymis.
  3. Paklauskite asistento. Įjungę paiešką, užduokite ChatGPT ar Perplexity klausimus, kuriuos uždavinėja jūsų pirkėjai, ir pažiūrėkite, kokias svetaines jis cituoja. Jei prieiga tvarkinga, o jūsų vis tiek nėra, problema yra turinys, o ne prieiga.

Kiek šie skaičiai patikimi?

Laikykite juos dėsningumu, o ne surašymu. Imtis nėra atsitiktinė: tai įmonės, rastos per reklamų bibliotekas, darbo skelbimų svetaines ir žemėlapių sąrašus. Mes testuojame pagal naudotojo agentą iš vieno adreso, o tikri robotai ateina iš jų tiekėjų paskelbtų adresų, todėl kai kurios ugniasienės tikrus robotus vertintų kitaip. Be to, blokavimas ne visada yra klaida.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Kiek svetainių blokuoja DI robotus?

Mūsų atliktame 165 ištestuotų įmonių svetainių audite 38 % serveryje atmetė bent vieną DI robotą, daugiausia mokymo ir duomenų rinkimo robotus. Apie 10 % taip pat atmetė DI paieškos robotą.

Ar GPTBot blokavimas neleidžia mano svetainei patekti į ChatGPT paiešką?

Ne. OpenAI teigia, kad kiekvienas jos robotų robots.txt nustatymas yra nepriklausomas: GPTBot susijęs su mokymu, OAI-SearchBot su ChatGPT paieška. Vieno blokavimas neblokuoja kito.

Kaip svetainė gali blokuoti robotą be robots.txt?

Ugniasienė, CDN ar apsaugos nuo robotų taisyklė gali robotui atsakyti 403, 429 arba patikros puslapiu. robots.txt to niekada nerodo, todėl reikia testuoti paprašius puslapio kaip robotas.

Ar roboto atmetimas visada yra klaida?

Ne. Daugelis savininkų nori išlaikyti mokymo robotus ir duomenų rinkėjus lauke. Klaida yra atsitiktinai blokuoti paieškos robotus, nes būtent jie gali pacituoti jūsų puslapį.

Šaltiniai

Daugiau straipsnių