Prilepite naslov IP iz strežniških dnevnikov in poglejte, ali je v uradno objavljenih obsegih IP posameznega pajka. Zahteva, ki se predstavi kot GPTBot ali PerplexityBot, a prihaja z drugega naslova, ni ta pajek, in lahko jo blokirate, ne da bi izgubili vidnost v odgovorih UI.
Kateri pajki objavljajo svoje naslove IP?
OpenAI, Perplexity, Google, Microsoft in Apple objavljajo obsege IP svojih pajkov kot datoteke JSON, ki jih beremo vsak dan. Nekatera druga podjetja UI obsegov ne objavljajo; zanje je edino preverjanje obratni DNS ali dokumentacija ponudnika. Če želite naenkrat videti vse obiske pajkov UI v dnevniku, ga naložite v svoj račun AISeeWhy.
To besedilo je bilo strojno prevedeno iz angleščine.
Kaj naredi to preverjanje IP
Prilepite en naslov IPv4 ali IPv6 iz dnevnikov strežnika ali požarnega zidu. Preverjanje ga poišče v obsegih IP, ki jih upravljavci pajkov objavljajo sami: OpenAI za GPTBot, OAI-SearchBot in ChatGPT-User, Perplexity za PerplexityBot in Perplexity-User, Google za Googlebot, Microsoft za Bingbot in Apple za Applebot. Te objavljene sezname beremo vsak dan. Odgovor navede vsakega pajka, katerega obsegi vsebujejo naslov, ali pove, da ga ne vsebuje noben.
Kako brati rezultat
V objavljenih obsegih pajka: zahteva je prišla iz omrežja tega upravljavca. Skupaj z ujemajočim se user agentom je to močan dokaz, da je bil to pravi pajek.
Ni v nobenem objavljenem obsegu: če se je zahteva predstavljala kot eden od navedenih pajkov, to ni bil. Ime je uporabil nekdo drug in ta naslov lahko blokirate, ne da bi izgubili vidnost v odgovorih UI.
Preverjeno glede na: seznam pajkov, katerih obsegi so bili primerjani. Pajka, ki ga ni na tem seznamu, tukaj ni mogoče ne potrditi ne izključiti.
Zakaj se lahko vsak predstavi kot GPTBot
User agent je vrstica besedila, ki jo pošlje odjemalec, in vanjo lahko kdor koli napiše GPTBot ali Googlebot. Strgalniki to počnejo, da bi se izognili preprostim filtrom. Zato je požarne zidove, ki gledajo samo user agent, mogoče pretentati v obe smeri: spustijo lažne pajke ali pa pravilo, napisano proti lažnemu pajku, blokira tudi pravega. Primerjava naslova IP s seznamom, ki ga je objavil upravljavec, je način, kako jih ločite.
Za pajke, katerih upravljavci ne objavljajo obsega, ki ga beremo, uporabite dokumentacijo upravljavca. Google, Microsoft in Apple podpirajo tudi preverjanje DNS: poiščite ime gostitelja naslova, preverite, ali se konča z domeno upravljavca, kot so googlebot.com, google.com, search.msn.com ali applebot.apple.com, nato znova poiščite to ime gostitelja in potrdite, da vrne isti naslov.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Pogoste napake
Blokiranje pajka po imenu, potem ko ste opazili zlorabo lažnega. Namesto tega blokirajte naslove, ki zlorabljajo, sicer izgubite tudi pravega pajka.
Dovoljevanje vsake zahteve, katere user agent pravi GPTBot. V pravilu požarnega zidu združite user agent z objavljenimi obsegi.
Preverjanje naslova posredniškega strežnika. Za CDN ali izravnalnikom obremenitve vaš strežnik morda beleži posrednika, ne obiskovalca; uporabite glavo, ki nosi naslov odjemalca.
Hranjenje stare kopije obsegov. Upravljavci jih spreminjajo; pravila, zgrajena iz več mesecev starega seznama, lahko blokirajo prave pajke.
Od enega naslova do celotnega dnevnika
To preverjanje odgovarja za en naslov naenkrat. V vašem računu AISeeWhy preverjanje strežniških dnevnikov v plačljivih paketih prebere celoten dnevnik dostopov, prešteje obiske vsakega pajka UI, loči prave pajke od sleparjev po teh objavljenih obsegih in pokaže, kako jim je vaš strežnik odgovoril.
Pogosta vprašanja
Ali se ClaudeBot pojavi v tem preverjanju?
Trenutno ne: preverjanje zajema pajke, katerih objavljene datoteke z obsegi beremo, navedene pod rezultatom. Za druge pajke sledite dokumentaciji upravljavca.
Naslov je v obsegu Googlebota, user agent pa pravi nekaj drugega. Kaj to pomeni?
Zahteva je prišla iz Googlovega omrežja. Google upravlja več pajkov in pridobivalnikov; user agent pove, katerega. Ni šlo za tretjo osebo, ki bi se predstavljala kot Google.
Ali lahko preverim več naslovov hkrati?
Ne s tem brezplačnim orodjem. Naložite dnevnik v svoj račun, da preverite vsak obisk v njem.
Ali se naslov, ki ga vnesem, shrani?
Uporabi se za odgovor na preverjanje in se z vašo zahtevo ne shrani.