Įklijuokite IP adresą iš serverio žurnalų ir pamatysite, ar jis patenka į oficialiai paskelbtus roboto IP intervalus. Užklausa, kuri prisistato kaip GPTBot ar PerplexityBot, bet ateina iš kito adreso, nėra tas robotas, ir ją galite blokuoti neprarasdami matomumo DI atsakymuose.
Kurie robotai skelbia savo IP adresus?
OpenAI, Perplexity, Google, Microsoft ir Apple skelbia savo robotų IP intervalus JSON failuose, kuriuos skaitome kasdien. Kai kurios kitos DI įmonės intervalų neskelbia; joms vienintelė patikra yra atvirkštinis DNS arba tiekėjo dokumentacija. Norėdami iš karto pamatyti visus DI robotų apsilankymus žurnale, įkelkite žurnalą savo AISeeWhy paskyroje.
Šį tekstą iš anglų kalbos išvertė mašininis vertimas.
Ką daro ši IP patikra
Įklijuokite vieną IPv4 ar IPv6 adresą iš savo serverio ar ugniasienės žurnalų. Patikra ieško jo IP diapazonuose, kuriuos skelbia patys robotų operatoriai: OpenAI – GPTBot, OAI-SearchBot ir ChatGPT-User, Perplexity – PerplexityBot ir Perplexity-User, Google – Googlebot, Microsoft – Bingbot ir Apple – Applebot. Tuos paskelbtus sąrašus nuskaitome kasdien. Atsakyme įvardijamas kiekvienas robotas, kurio diapazonuose yra adresas, arba pasakoma, kad tokio nėra.
Kaip skaityti rezultatą
Yra paskelbtuose roboto diapazonuose: užklausa atėjo iš to operatoriaus tinklo. Kartu su atitinkančiu naudotojo agentu tai stiprus įrodymas, kad tai buvo tikras robotas.
Nėra jokiame paskelbtame diapazone: jei užklausa prisistatė vienu iš išvardytų robotų, ji juo nebuvo. Kažkas kitas pasinaudojo pavadinimu, ir tą adresą galite užblokuoti neprarasdami matomumo DI atsakymuose.
Palyginta su: robotų, kurių diapazonai buvo palyginti, sąrašas. Roboto, kurio šiame sąraše nėra, čia negalima nei patvirtinti, nei atmesti.
Kodėl bet kas gali prisistatyti kaip GPTBot
Naudotojo agentas yra teksto eilutė, kurią siunčia klientas, ir bet kas gali į ją įrašyti GPTBot ar Googlebot. Duomenų rinkėjai taip daro, kad apeitų paprastus filtrus. Todėl ugniasienes, kurios žiūri tik į naudotojo agentą, galima apgauti abiem kryptimis: jos įleidžia netikrus robotus, arba prieš netikrą robotą parašyta taisyklė užblokuoja ir tikrąjį. Atskirti juos galima palyginus IP adresą su operatoriaus paskelbtu sąrašu.
Robotams, kurių operatoriai neskelbia mūsų nuskaitomo diapazono, naudokite paties operatoriaus dokumentaciją. Google, Microsoft ir Apple taip pat palaiko DNS patikrą: suraskite adreso serverio vardą, patikrinkite, ar jis baigiasi operatoriaus domenu, pvz., googlebot.com, google.com, search.msn.com ar applebot.apple.com, tada dar kartą suraskite tą serverio vardą ir įsitikinkite, kad jis grąžina tą patį adresą.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Dažnos klaidos
Roboto blokavimas pagal pavadinimą pastebėjus piktnaudžiavimą iš netikro. Vietoj to blokuokite piktnaudžiaujančius adresus, kitaip prarasite ir tikrąjį robotą.
Leidimas kiekvienai užklausai, kurios naudotojo agente parašyta GPTBot. Ugniasienės taisyklėje derinkite naudotojo agentą su paskelbtais diapazonais.
Tarpinio serverio adreso tikrinimas. Už CDN ar apkrovos balansavimo įrenginio jūsų serveris gali registruoti tarpinį serverį, o ne lankytoją; naudokite antraštę, kurioje perduodamas kliento adresas.
Senos diapazonų kopijos laikymas. Operatoriai juos keičia; taisyklės, sudarytos pagal kelių mėnesių senumo sąrašą, gali blokuoti tikrus robotus.
Nuo vieno adreso iki viso žurnalo
Ši patikra atsako apie vieną adresą vienu metu. Jūsų AISeeWhy paskyroje mokamų planų serverio žurnalo patikra perskaito visą prieigos žurnalą, suskaičiuoja kiekvieno DI roboto apsilankymus, pagal šiuos paskelbtus diapazonus atskiria tikrus robotus nuo apsimetėlių ir parodo, kaip jūsų serveris jiems atsakė.
Dažniausiai užduodami klausimai
Ar ClaudeBot yra šioje patikroje?
Šiuo metu ne: patikra apima robotus, kurių paskelbtų diapazonų failus nuskaitome; jie išvardyti po rezultatu. Kitiems robotams vadovaukitės operatoriaus dokumentacija.
Adresas yra Googlebot diapazone, bet naudotojo agentas nurodo ką kita. Ką tai reiškia?
Užklausa atėjo iš Google tinklo. Google naudoja kelis robotus ir atsisiuntimo įrankius; naudotojo agentas pasako, kurį. Tai nebuvo trečioji šalis, apsimetanti Google.
Ar galiu patikrinti daug adresų iš karto?
Ne šiuo nemokamu įrankiu. Įkelkite žurnalą į savo paskyrą, kad patikrintumėte kiekvieną jame esantį apsilankymą.
Ar įvestas adresas išsaugomas?
Jis naudojamas atsakyti į patikrą ir su jūsų užklausa neišsaugomas.