Bandika anwani ya IP kutoka kumbukumbu za seva yako ili kuona kama iko ndani ya safu za IP zilizochapishwa rasmi za crawler. Ombi linalojiita GPTBot au PerplexityBot lakini linatoka anwani nyingine si crawler hiyo, na unaweza kulizuia bila kupoteza kuonekana kwenye majibu ya AI.
Ni crawler zipi zinachapisha anwani zao za IP?
OpenAI, Perplexity, Google, Microsoft na Apple huchapisha safu za IP za crawler zao kama faili za JSON, ambazo tunazisoma kila siku. Baadhi ya kampuni nyingine za AI hazichapishi safu; kwa hizo, reverse DNS au nyaraka za mtoa huduma ndio ukaguzi pekee. Ili kuona kila ziara ya crawler ya AI kwenye kumbukumbu kwa mara moja, pakia kumbukumbu kwenye akaunti yako ya AISeeWhy.
Maandishi haya yametafsiriwa kutoka Kiingereza kwa mashine.
Ukaguzi huu wa IP unafanya nini
Bandika anwani moja ya IPv4 au IPv6 kutoka kwenye kumbukumbu za seva au firewall yako. Ukaguzi unaitafuta katika safu za IP ambazo waendeshaji wa crawler wanachapisha wenyewe: OpenAI kwa GPTBot, OAI-SearchBot na ChatGPT-User, Perplexity kwa PerplexityBot na Perplexity-User, Google kwa Googlebot, Microsoft kwa Bingbot na Apple kwa Applebot. Tunasoma orodha hizo zilizochapishwa kila siku. Jibu linataja kila crawler ambayo safu zake zina anwani hiyo, au linasema hakuna.
Jinsi ya kusoma matokeo
Katika safu zilizochapishwa za crawler: ombi lilitoka kwenye mtandao wa mwendeshaji huyo. Pamoja na user agent inayolingana, huo ni ushahidi madhubuti kwamba ilikuwa crawler halisi.
Haimo katika safu yoyote iliyochapishwa: ikiwa ombi lilidai kuwa mojawapo ya crawler zilizoorodheshwa, halikuwa hivyo. Mtu mwingine alitumia jina hilo, na unaweza kuzuia anwani hiyo bila kupoteza mwonekano katika majibu ya AI.
Imelinganishwa na: orodha ya crawler ambazo safu zao zililinganishwa. Crawler isiyo kwenye orodha hii haiwezi kuthibitishwa wala kukataliwa hapa.
Kwa nini mtu yeyote anaweza kudai kuwa GPTBot
User agent ni mstari wa maandishi ambao mteja hutuma, na mtu yeyote anaweza kuandika GPTBot au Googlebot ndani yake. Scraper hufanya hivi ili kupita vichujio rahisi. Ndiyo maana firewall zinazoangalia user agent pekee zinaweza kudanganywa pande zote mbili: zinaruhusu crawler bandia kuingia, au sheria iliyoandikwa dhidi ya crawler bandia inazuia pia ile halisi. Kulinganisha anwani ya IP na orodha iliyochapishwa ya mwendeshaji ndiyo njia ya kuzitofautisha.
Kwa crawler ambazo waendeshaji wake hawachapishi safu tunayoisoma, tumia nyaraka za mwendeshaji mwenyewe. Google, Microsoft na Apple pia zinaunga mkono ukaguzi wa DNS: tafuta jina la host la anwani, kagua kwamba linaishia kwa kikoa cha mwendeshaji, kama googlebot.com, google.com, search.msn.com au applebot.apple.com, kisha tafuta jina hilo la host tena na uthibitishe kwamba linarudisha anwani ile ile.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Makosa ya kawaida
Kuzuia crawler kwa jina baada ya kuona matumizi mabaya kutoka kwa bandia. Zuia anwani zinazofanya matumizi mabaya badala yake, la sivyo utapoteza pia crawler halisi.
Kuruhusu kila ombi ambalo user agent yake inasema GPTBot. Unganisha user agent na safu zilizochapishwa katika sheria yako ya firewall.
Kukagua anwani ya proxy. Nyuma ya CDN au load balancer, seva yako inaweza kurekodi proxy, si mgeni; tumia header inayobeba anwani ya mteja.
Kuweka nakala ya zamani ya safu. Waendeshaji huzibadilisha; sheria zilizojengwa kutoka orodha ya miezi kadhaa iliyopita zinaweza kuzuia crawler halisi.
Kutoka anwani moja hadi kumbukumbu nzima
Ukaguzi huu unajibu kwa anwani moja kwa wakati mmoja. Katika akaunti yako ya AISeeWhy, ukaguzi wa kumbukumbu za seva kwenye mipango ya kulipia unasoma kumbukumbu nzima ya ufikiaji, unahesabu ziara za kila crawler ya AI, unatenganisha crawler halisi na walaghai kwa safu hizi zilizochapishwa na kuonyesha jinsi seva yako ilivyozijibu.
Maswali yanayoulizwa mara kwa mara
Je, ClaudeBot inaonekana katika ukaguzi huu?
Kwa sasa hapana: ukaguzi unashughulikia crawler ambazo faili zao za safu zilizochapishwa tunazisoma, zilizoorodheshwa chini ya matokeo. Kwa crawler nyingine, fuata nyaraka za mwendeshaji.
Anwani iko katika safu ya Googlebot lakini user agent inasema kitu kingine. Hiyo inamaanisha nini?
Ombi lilitoka kwenye mtandao wa Google. Google inaendesha crawler na vipakuzi kadhaa; user agent inakuambia ni kipi. Haikuwa mtu wa tatu anayejifanya kuwa Google.
Je, naweza kukagua anwani nyingi kwa wakati mmoja?
Si kwa zana hii ya bure. Pakia kumbukumbu katika akaunti yako ili kukagua kila ziara iliyomo.
Je, anwani ninayoweka inahifadhiwa?
Inatumika kujibu ukaguzi na haihifadhiwi pamoja na ombi lako.