Zalijepite IP adresu iz zapisnika poslužitelja i pogledajte je li u službeno objavljenim IP rasponima nekog crawlera. Zahtjev koji se predstavlja kao GPTBot ili PerplexityBot, a dolazi s druge adrese, nije taj crawler i možete ga blokirati bez gubitka vidljivosti u AI odgovorima.
Koji crawleri objavljuju svoje IP adrese?
OpenAI, Perplexity, Google, Microsoft i Apple objavljuju IP raspone svojih crawlera kao JSON datoteke, koje čitamo svaki dan. Neke druge AI tvrtke ne objavljuju raspone; za njih je jedina provjera obrnuti DNS ili dokumentacija dobavljača. Kako biste odjednom vidjeli sve posjete AI crawlera u zapisniku, prenesite zapisnik u svom računu AISeeWhy.
Zalijepite jednu IPv4 ili IPv6 adresu iz zapisnika poslužitelja ili vatrozida. Provjera je traži u rasponima IP adresa koje operateri crawlera sami objavljuju: OpenAI za GPTBot, OAI-SearchBot i ChatGPT-User, Perplexity za PerplexityBot i Perplexity-User, Google za Googlebot, Microsoft za Bingbot i Apple za Applebot. Te objavljene popise čitamo svakodnevno. Odgovor navodi svaki crawler čiji rasponi sadrže adresu ili kaže da je nijedan ne sadrži.
Kako čitati rezultat
U objavljenim rasponima crawlera: zahtjev je došao iz mreže tog operatera. Zajedno s odgovarajućim user agentom to je snažan dokaz da je riječ o stvarnom crawleru.
Nije ni u jednom objavljenom rasponu: ako se zahtjev predstavljao kao jedan od navedenih crawlera, to nije bio. Netko drugi koristio je to ime i tu adresu možete blokirati bez gubitka vidljivosti u AI odgovorima.
Provjereno prema: popis crawlera čiji su rasponi uspoređeni. Crawler koji nije na tom popisu ovdje se ne može ni potvrditi ni isključiti.
Zašto se svatko može predstaviti kao GPTBot
User agent je redak teksta koji klijent šalje i svatko u njega može napisati GPTBot ili Googlebot. Scraperi to rade kako bi prošli jednostavne filtre. Zato vatrozidi koji gledaju samo user agent mogu biti prevareni u oba smjera: puštaju lažne crawlere ili pravilo napisano protiv lažnog crawlera blokira i pravi. Usporedba IP adrese s popisom koji je operater objavio način je da ih razlikujete.
Za crawlere čiji operateri ne objavljuju raspon koji čitamo koristite operaterovu dokumentaciju. Google, Microsoft i Apple podržavaju i DNS provjeru: potražite naziv hosta adrese, provjerite završava li domenom operatera, kao što su googlebot.com, google.com, search.msn.com ili applebot.apple.com, zatim ponovno potražite taj naziv hosta i potvrdite da vraća istu adresu.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Česte pogreške
Blokiranje crawlera po imenu nakon zlouporabe od strane lažnog. Umjesto toga blokirajte adrese koje zlorabe, inače gubite i pravi crawler.
Dopuštanje svakog zahtjeva čiji user agent kaže GPTBot. U pravilu vatrozida kombinirajte user agent s objavljenim rasponima.
Provjera adrese proxyja. Iza CDN-a ili uravnoteživača opterećenja vaš poslužitelj možda bilježi proxy, a ne posjetitelja; koristite zaglavlje koje nosi adresu klijenta.
Čuvanje stare kopije raspona. Operateri ih mijenjaju; pravila izgrađena iz popisa starog nekoliko mjeseci mogu blokirati prave crawlere.
Od jedne adrese do cijelog zapisnika
Ova provjera odgovara za jednu po jednu adresu. U vašem računu AISeeWhy provjera zapisnika poslužitelja na plaćenim planovima čita cijeli zapisnik pristupa, broji posjete svakog AI crawlera, odvaja prave crawlere od lažnih prema tim objavljenim rasponima i pokazuje kako im je vaš poslužitelj odgovorio.
Česta pitanja
Pojavljuje li se ClaudeBot u ovoj provjeri?
Trenutačno ne: provjera obuhvaća crawlere čije objavljene datoteke raspona čitamo, navedene ispod rezultata. Za druge crawlere slijedite dokumentaciju operatera.
Adresa je u Googlebotovu rasponu, ali user agent kaže nešto drugo. Što to znači?
Zahtjev je došao iz Googleove mreže. Google pokreće nekoliko crawlera i dohvaćača; user agent kaže koji. Nije se treća strana predstavljala kao Google.
Mogu li provjeriti više adresa odjednom?
Ne ovim besplatnim alatom. Prenesite zapisnik u svoj račun da provjerite svaki posjet u njemu.
Sprema li se adresa koju unesem?
Koristi se za odgovor na provjeru i ne sprema se uz vaš zahtjev.