Mag-paste ng IP address mula sa mga server log mo para makita kung nasa opisyal na inilathalang mga IP range ito ng isang crawler. Ang request na nagpapakilalang GPTBot o PerplexityBot pero galing sa ibang address ay hindi ang crawler na iyon, at maaari mo itong i-block nang hindi nawawala ang visibility mo sa mga AI na sagot.
Aling mga crawler ang naglalathala ng kanilang mga IP address?
Inilalathala ng OpenAI, Perplexity, Google, Microsoft at Apple ang mga IP range ng kanilang mga crawler bilang mga JSON file, na binabasa namin araw-araw. Hindi naglalathala ng range ang ilang ibang AI company; para sa kanila, reverse DNS o ang dokumentasyon ng vendor ang tanging paraan ng pagsusuri. Para makita nang sabay-sabay ang bawat pagbisita ng AI crawler sa isang log, i-upload ang log sa AISeeWhy account mo.
Isinalin ng makina ang tekstong ito mula sa Ingles.
Ano ang ginagawa ng pagsusuring ito ng IP
Mag-paste ng isang IPv4 o IPv6 address mula sa mga log ng server o firewall mo. Hinahanap ito ng pagsusuri sa mga IP range na inilalathala mismo ng mga operator ng crawler: OpenAI para sa GPTBot, OAI-SearchBot at ChatGPT-User, Perplexity para sa PerplexityBot at Perplexity-User, Google para sa Googlebot, Microsoft para sa Bingbot at Apple para sa Applebot. Binabasa namin ang mga nailathalang listahang iyon araw-araw. Pinapangalanan ng sagot ang bawat crawler na may range na naglalaman ng address, o sinasabing wala.
Paano basahin ang resulta
Nasa mga nailathalang range ng isang crawler: nagmula ang request sa network ng operator na iyon. Kasama ng tugmang user agent, malakas itong ebidensya na ang totoong crawler iyon.
Wala sa anumang nailathalang range: kung nagpanggap ang request na isa sa mga nakalistang crawler, hindi ito iyon. Ibang tao ang gumamit ng pangalan, at maaari mong i-block ang address na iyon nang hindi nawawalan ng visibility sa mga sagot ng AI.
Inihambing sa: ang listahan ng mga crawler na inihambing ang mga range. Hindi makukumpirma o maaalis dito ang crawler na wala sa listahang ito.
Bakit kahit sino ay puwedeng magpanggap na GPTBot
Ang user agent ay isang linya ng text na ipinapadala ng client, at kahit sino ay maaaring sumulat ng GPTBot o Googlebot doon. Ginagawa ito ng mga scraper para malusutan ang mga simpleng filter. Kaya ang mga firewall na user agent lang ang tinitingnan ay maaaring malinlang sa dalawang direksyon: pinapapasok nila ang mga pekeng crawler, o bina-block din ang totoo ng rule na isinulat laban sa peke. Ang pagtutugma ng IP address sa nailathalang listahan ng operator ang paraan para mapagkaiba sila.
Para sa mga crawler na hindi naglalathala ang operator ng range na binabasa namin, gamitin ang sariling dokumentasyon ng operator. Sinusuportahan din ng Google, Microsoft at Apple ang DNS check: hanapin ang host name ng address, tingnan kung nagtatapos ito sa domain ng operator, gaya ng googlebot.com, google.com, search.msn.com o applebot.apple.com, pagkatapos ay hanapin muli ang host name na iyon at kumpirmahing ibinabalik nito ang parehong address.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Mga karaniwang pagkakamali
Pag-block sa isang crawler ayon sa pangalan matapos makita ang pang-aabuso ng isang peke. I-block ang mga address na nang-aabuso sa halip, kung hindi ay mawawala rin sa iyo ang totoong crawler.
Pagpayag sa bawat request na GPTBot ang nakasulat sa user agent. Pagsamahin ang user agent at ang mga nailathalang range sa rule ng firewall mo.
Pagsusuri sa address ng proxy. Sa likod ng CDN o load balancer, maaaring ang proxy ang i-log ng server mo, hindi ang bisita; gamitin ang header na nagdadala ng address ng client.
Pagtatago ng lumang kopya ng mga range. Binabago ito ng mga operator; maaaring i-block ng mga rule na binuo mula sa listahang ilang buwan na ang tanda ang mga totoong crawler.
Mula sa isang address hanggang sa buong log
Isang address lang sa bawat pagkakataon ang sinasagot ng pagsusuring ito. Sa account mo sa AISeeWhy, binabasa ng server log check sa mga bayad na plan ang buong access log, binibilang ang mga pagbisita ng bawat AI crawler, pinaghihiwalay ang totoong crawler at ang mga nagpapanggap gamit ang mga nailathalang range na ito at ipinapakita kung paano sila sinagot ng server mo.
Mga madalas itanong
Lumalabas ba ang ClaudeBot sa pagsusuring ito?
Hindi sa ngayon: saklaw ng pagsusuri ang mga crawler na binabasa namin ang mga nailathalang range file, na nakalista sa ilalim ng resulta. Para sa ibang crawler, sundin ang dokumentasyon ng operator.
Nasa range ng Googlebot ang isang address pero iba ang sinasabi ng user agent. Ano ang ibig sabihin niyon?
Nagmula ang request sa network ng Google. Nagpapatakbo ang Google ng ilang crawler at fetcher; sinasabi ng user agent kung alin. Hindi ito ikatlong partido na nagpapanggap na Google.
Maaari ba akong magsuri ng maraming address nang sabay-sabay?
Hindi sa libreng tool na ito. I-upload ang log sa account mo para suriin ang bawat pagbisita roon.
Sine-save ba ang address na inilalagay ko?
Ginagamit ito para sagutin ang pagsusuri at hindi sine-save kasama ng request mo.