Pagsusuri ng IP ng AI crawler

Mag-paste ng IP address mula sa mga server log mo para makita kung nasa opisyal na inilathalang mga IP range ito ng isang crawler. Ang request na nagpapakilalang GPTBot o PerplexityBot pero galing sa ibang address ay hindi ang crawler na iyon, at maaari mo itong i-block nang hindi nawawala ang visibility mo sa mga AI na sagot.

Aling mga crawler ang naglalathala ng kanilang mga IP address?

Inilalathala ng OpenAI, Perplexity, Google, Microsoft at Apple ang mga IP range ng kanilang mga crawler bilang mga JSON file, na binabasa namin araw-araw. Hindi naglalathala ng range ang ilang ibang AI company; para sa kanila, reverse DNS o ang dokumentasyon ng vendor ang tanging paraan ng pagsusuri. Para makita nang sabay-sabay ang bawat pagbisita ng AI crawler sa isang log, i-upload ang log sa AISeeWhy account mo.

Patakbuhin ang buong pagsusuri →

Gabay

Paano gamitin ang pagsusuri ng IP ng AI crawler

Isinalin ng makina ang tekstong ito mula sa Ingles.

Ano ang ginagawa ng pagsusuring ito ng IP

Mag-paste ng isang IPv4 o IPv6 address mula sa mga log ng server o firewall mo. Hinahanap ito ng pagsusuri sa mga IP range na inilalathala mismo ng mga operator ng crawler: OpenAI para sa GPTBot, OAI-SearchBot at ChatGPT-User, Perplexity para sa PerplexityBot at Perplexity-User, Google para sa Googlebot, Microsoft para sa Bingbot at Apple para sa Applebot. Binabasa namin ang mga nailathalang listahang iyon araw-araw. Pinapangalanan ng sagot ang bawat crawler na may range na naglalaman ng address, o sinasabing wala.

Paano basahin ang resulta

Bakit kahit sino ay puwedeng magpanggap na GPTBot

Ang user agent ay isang linya ng text na ipinapadala ng client, at kahit sino ay maaaring sumulat ng GPTBot o Googlebot doon. Ginagawa ito ng mga scraper para malusutan ang mga simpleng filter. Kaya ang mga firewall na user agent lang ang tinitingnan ay maaaring malinlang sa dalawang direksyon: pinapapasok nila ang mga pekeng crawler, o bina-block din ang totoo ng rule na isinulat laban sa peke. Ang pagtutugma ng IP address sa nailathalang listahan ng operator ang paraan para mapagkaiba sila.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

Pag-verify ng mga crawler na wala sa listahan

Para sa mga crawler na hindi naglalathala ang operator ng range na binabasa namin, gamitin ang sariling dokumentasyon ng operator. Sinusuportahan din ng Google, Microsoft at Apple ang DNS check: hanapin ang host name ng address, tingnan kung nagtatapos ito sa domain ng operator, gaya ng googlebot.com, google.com, search.msn.com o applebot.apple.com, pagkatapos ay hanapin muli ang host name na iyon at kumpirmahing ibinabalik nito ang parehong address.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Mga karaniwang pagkakamali

Mula sa isang address hanggang sa buong log

Isang address lang sa bawat pagkakataon ang sinasagot ng pagsusuring ito. Sa account mo sa AISeeWhy, binabasa ng server log check sa mga bayad na plan ang buong access log, binibilang ang mga pagbisita ng bawat AI crawler, pinaghihiwalay ang totoong crawler at ang mga nagpapanggap gamit ang mga nailathalang range na ito at ipinapakita kung paano sila sinagot ng server mo.

Mga madalas itanong

Lumalabas ba ang ClaudeBot sa pagsusuring ito?

Hindi sa ngayon: saklaw ng pagsusuri ang mga crawler na binabasa namin ang mga nailathalang range file, na nakalista sa ilalim ng resulta. Para sa ibang crawler, sundin ang dokumentasyon ng operator.

Nasa range ng Googlebot ang isang address pero iba ang sinasabi ng user agent. Ano ang ibig sabihin niyon?

Nagmula ang request sa network ng Google. Nagpapatakbo ang Google ng ilang crawler at fetcher; sinasabi ng user agent kung alin. Hindi ito ikatlong partido na nagpapanggap na Google.

Maaari ba akong magsuri ng maraming address nang sabay-sabay?

Hindi sa libreng tool na ito. I-upload ang log sa account mo para suriin ang bawat pagbisita roon.

Sine-save ba ang address na inilalagay ko?

Ginagamit ito para sagutin ang pagsusuri at hindi sine-save kasama ng request mo.

Mga kaugnay na tool at gabay