Ielīmējiet IP adresi no servera žurnāliem, lai redzētu, vai tā ir rāpuļprogrammas oficiāli publicētajos IP diapazonos. Pieprasījums, kas uzdodas par GPTBot vai PerplexityBot, bet nāk no citas adreses, nav šī rāpuļprogramma, un to var bloķēt, nezaudējot redzamību MI atbildēs.
Kuras rāpuļprogrammas publicē savas IP adreses?
OpenAI, Perplexity, Google, Microsoft un Apple publicē savu rāpuļprogrammu IP diapazonus JSON failos, ko mēs nolasām katru dienu. Daži citi MI uzņēmumi diapazonus nepublicē; tiem vienīgā pārbaude ir reversais DNS vai piegādātāja dokumentācija. Lai redzētu visus MI rāpuļprogrammu apmeklējumus žurnālā uzreiz, augšupielādējiet žurnālu savā AISeeWhy kontā.
Ielīmējiet vienu IPv4 vai IPv6 adresi no sava servera vai ugunsmūra žurnāliem. Pārbaude to meklē IP diapazonos, ko publicē paši rāpuļprogrammu operatori: OpenAI – GPTBot, OAI-SearchBot un ChatGPT-User, Perplexity – PerplexityBot un Perplexity-User, Google – Googlebot, Microsoft – Bingbot un Apple – Applebot. Šos publicētos sarakstus nolasām katru dienu. Atbilde nosauc katru rāpuļprogrammu, kuras diapazonos ir adrese, vai pasaka, ka tādas nav.
Kā lasīt rezultātu
Ir rāpuļprogrammas publicētajos diapazonos: pieprasījums nāca no šī operatora tīkla. Kopā ar atbilstošu lietotāja aģentu tas ir spēcīgs pierādījums, ka tā bija īstā rāpuļprogramma.
Nav nevienā publicētā diapazonā: ja pieprasījums uzdevās par vienu no uzskaitītajām rāpuļprogrammām, tas tāds nebija. Kāds cits izmantoja nosaukumu, un šo adresi varat bloķēt, nezaudējot redzamību MI atbildēs.
Salīdzināts ar: to rāpuļprogrammu saraksts, kuru diapazoni tika salīdzināti. Rāpuļprogrammu, kuras šajā sarakstā nav, šeit nevar ne apstiprināt, ne izslēgt.
Kāpēc ikviens var uzdoties par GPTBot
Lietotāja aģents ir teksta rinda, ko sūta klients, un ikviens tajā var ierakstīt GPTBot vai Googlebot. Datu skrāpētāji to dara, lai apietu vienkāršus filtrus. Tāpēc ugunsmūrus, kas skatās tikai uz lietotāja aģentu, var piemānīt abos virzienos: tie ielaiž viltotas rāpuļprogrammas, vai kārtula, kas rakstīta pret viltotu rāpuļprogrammu, bloķē arī īsto. Tās atšķir, salīdzinot IP adresi ar operatora publicēto sarakstu.
Rāpuļprogrammām, kuru operatori nepublicē mūsu nolasītu diapazonu, izmantojiet paša operatora dokumentāciju. Google, Microsoft un Apple atbalsta arī DNS pārbaudi: atrodiet adreses resursdatora nosaukumu, pārbaudiet, vai tas beidzas ar operatora domēnu, piemēram, googlebot.com, google.com, search.msn.com vai applebot.apple.com, tad vēlreiz atrodiet šo resursdatora nosaukumu un pārliecinieties, ka tas atgriež to pašu adresi.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Biežākās kļūdas
Rāpuļprogrammas bloķēšana pēc nosaukuma, pamanot ļaunprātīgu izmantošanu no viltotas. Tā vietā bloķējiet ļaunprātīgās adreses, citādi zaudēsiet arī īsto rāpuļprogrammu.
Katra pieprasījuma atļaušana, kura lietotāja aģentā rakstīts GPTBot. Ugunsmūra kārtulā apvienojiet lietotāja aģentu ar publicētajiem diapazoniem.
Starpniekservera adreses pārbaude. Aiz CDN vai slodzes līdzsvarotāja jūsu serveris var reģistrēt starpniekserveri, nevis apmeklētāju; izmantojiet galveni, kurā ir klienta adrese.
Vecas diapazonu kopijas glabāšana. Operatori tos maina; kārtulas, kas veidotas no mēnešiem veca saraksta, var bloķēt īstas rāpuļprogrammas.
No vienas adreses līdz visam žurnālam
Šī pārbaude atbild par vienu adresi vienlaikus. Jūsu AISeeWhy kontā maksas plānu servera žurnāla pārbaude nolasa visu piekļuves žurnālu, saskaita katras MI rāpuļprogrammas apmeklējumus, pēc šiem publicētajiem diapazoniem atdala īstās rāpuļprogrammas no viltotajām un parāda, kā jūsu serveris tām atbildēja.
Biežāk uzdotie jautājumi
Vai ClaudeBot ir iekļauta šajā pārbaudē?
Pašlaik nē: pārbaude aptver rāpuļprogrammas, kuru publicēto diapazonu failus mēs nolasām; tās uzskaitītas zem rezultāta. Citām rāpuļprogrammām sekojiet operatora dokumentācijai.
Adrese ir Googlebot diapazonā, bet lietotāja aģents norāda ko citu. Ko tas nozīmē?
Pieprasījums nāca no Google tīkla. Google izmanto vairākas rāpuļprogrammas un ielādētājus; lietotāja aģents pasaka, kuru. Tā nebija trešā puse, kas uzdodas par Google.
Vai varu pārbaudīt daudzas adreses uzreiz?
Ne ar šo bezmaksas rīku. Augšupielādējiet žurnālu savā kontā, lai pārbaudītu katru tajā esošo apmeklējumu.
Vai ievadītā adrese tiek saglabāta?
Tā tiek izmantota, lai atbildētu uz pārbaudi, un netiek saglabāta kopā ar jūsu pieprasījumu.