Kleebi oma serverilogidest IP-aadress, et näha, kas see kuulub roboti ametlikult avaldatud IP-vahemikesse. Päring, mis nimetab end GPTBotiks või PerplexityBotiks, kuid tuleb teiselt aadressilt, pole see robot, ja saad selle blokeerida ilma AI-vastustes nähtavust kaotamata.
Millised robotid avaldavad oma IP-aadressid?
OpenAI, Perplexity, Google, Microsoft ja Apple avaldavad oma robotite IP-vahemikud JSON-failidena, mida loeme iga päev. Mõned teised AI-ettevõtted vahemikke ei avalda; nende puhul on ainus kontroll pöörd-DNS või teenusepakkuja dokumentatsioon. Et näha logis korraga kõiki AI-robotite külastusi, laadi logi üles oma AISeeWhy kontol.
Kleebi üks IPv4- või IPv6-aadress oma serveri või tulemüüri logidest. Kontroll otsib seda IP-vahemikest, mida robotite haldajad ise avaldavad: OpenAI robotite GPTBot, OAI-SearchBot ja ChatGPT-User jaoks, Perplexity robotite PerplexityBot ja Perplexity-User jaoks, Google roboti Googlebot jaoks, Microsoft roboti Bingbot jaoks ja Apple roboti Applebot jaoks. Loeme neid avaldatud loendeid iga päev. Vastus nimetab iga roboti, kelle vahemikud aadressi sisaldavad, või ütleb, et ükski ei sisalda.
Kuidas tulemust lugeda
Roboti avaldatud vahemikes: päring tuli selle haldaja võrgust. Koos sobiva user agent'iga on see tugev tõend, et tegu oli päris robotiga.
Mitte üheski avaldatud vahemikus: kui päring väitis end olevat mõni loetletud robotitest, siis see ei olnud. Keegi teine kasutas nime ja sa võid selle aadressi blokeerida, kaotamata nähtavust AI-vastustes.
Võrreldud: loend robotitest, kelle vahemikke võrreldi. Robotit, keda selles loendis pole, ei saa siin kinnitada ega välistada.
Miks igaüks võib end GPTBotiks nimetada
User agent on tekstirida, mille klient saadab, ja igaüks võib sinna kirjutada GPTBot või Googlebot. Kraapijad teevad seda, et lihtsatest filtritest mööda pääseda. Seepärast saab tulemüüre, mis vaatavad ainult user agent'it, petta mõlemas suunas: nad lasevad võltsrobotid sisse või võltsroboti vastu kirjutatud reegel blokeerib ka päris roboti. IP-aadressi võrdlemine haldaja avaldatud loendiga on viis neid eristada.
Robotite puhul, mille haldajad ei avalda meie loetavat vahemikku, kasuta haldaja enda dokumentatsiooni. Google, Microsoft ja Apple toetavad ka DNS-kontrolli: otsi aadressi hostinimi, kontrolli, et see lõpeb haldaja domeeniga, näiteks googlebot.com, google.com, search.msn.com või applebot.apple.com, siis otsi see hostinimi uuesti üles ja veendu, et see tagastab sama aadressi.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Levinud vead
Roboti blokeerimine nime järgi pärast võltsroboti kuritarvitust. Blokeeri selle asemel kuritarvitavad aadressid, muidu kaotad ka päris roboti.
Iga päringu lubamine, mille user agent ütleb GPTBot. Ühenda oma tulemüürireeglis user agent ja avaldatud vahemikud.
Puhverserveri aadressi kontrollimine. CDN-i või koormusjaoturi taga võib sinu server logida puhverserverit, mitte külastajat; kasuta päist, mis kannab kliendi aadressi.
Vahemike vana koopia hoidmine. Haldajad muudavad neid; kuude vanusest loendist tehtud reeglid võivad blokeerida päris roboteid.
Ühest aadressist kogu logini
See kontroll vastab korraga ühe aadressi kohta. Sinu AISeeWhy kontol loeb tasuliste pakettide serverilogi kontroll terve juurdepääsulogi, loendab iga AI-roboti külastused, eristab päris robotid petturitest nende avaldatud vahemike järgi ja näitab, kuidas sinu server neile vastas.
Korduma kippuvad küsimused
Kas ClaudeBot on selles kontrollis?
Praegu mitte: kontroll hõlmab roboteid, kelle avaldatud vahemikufaile me loeme, ja need on loetletud tulemuse all. Teiste robotite puhul järgi haldaja dokumentatsiooni.
Aadress on Googleboti vahemikus, kuid user agent ütleb midagi muud. Mida see tähendab?
Päring tuli Google'i võrgust. Google'il on mitu robotit ja laadijat; user agent ütleb, milline neist. See ei olnud kolmas osapool, kes end Google'iks teeskles.
Kas saan korraga mitut aadressi kontrollida?
Selle tasuta tööriistaga mitte. Laadi logi oma kontole üles, et kontrollida selles iga külastust.
Kas minu sisestatud aadress salvestatakse?
Seda kasutatakse kontrollile vastamiseks ja seda ei salvestata koos sinu päringuga.