Ukaguzi wa IP ya crawler za AI

Bandika anwani ya IP kutoka kumbukumbu za seva yako ili kuona kama iko ndani ya safu za IP zilizochapishwa rasmi za crawler. Ombi linalojiita GPTBot au PerplexityBot lakini linatoka anwani nyingine si crawler hiyo, na unaweza kulizuia bila kupoteza kuonekana kwenye majibu ya AI.

Ni crawler zipi zinachapisha anwani zao za IP?

OpenAI, Perplexity, Google, Microsoft na Apple huchapisha safu za IP za crawler zao kama faili za JSON, ambazo tunazisoma kila siku. Baadhi ya kampuni nyingine za AI hazichapishi safu; kwa hizo, reverse DNS au nyaraka za mtoa huduma ndio ukaguzi pekee. Ili kuona kila ziara ya crawler ya AI kwenye kumbukumbu kwa mara moja, pakia kumbukumbu kwenye akaunti yako ya AISeeWhy.

Fanya ukaguzi kamili →

Mwongozo

Jinsi ya kutumia ukaguzi wa IP ya crawler za AI

Maandishi haya yametafsiriwa kutoka Kiingereza kwa mashine.

Ukaguzi huu wa IP unafanya nini

Bandika anwani moja ya IPv4 au IPv6 kutoka kwenye kumbukumbu za seva au firewall yako. Ukaguzi unaitafuta katika safu za IP ambazo waendeshaji wa crawler wanachapisha wenyewe: OpenAI kwa GPTBot, OAI-SearchBot na ChatGPT-User, Perplexity kwa PerplexityBot na Perplexity-User, Google kwa Googlebot, Microsoft kwa Bingbot na Apple kwa Applebot. Tunasoma orodha hizo zilizochapishwa kila siku. Jibu linataja kila crawler ambayo safu zake zina anwani hiyo, au linasema hakuna.

Jinsi ya kusoma matokeo

Kwa nini mtu yeyote anaweza kudai kuwa GPTBot

User agent ni mstari wa maandishi ambao mteja hutuma, na mtu yeyote anaweza kuandika GPTBot au Googlebot ndani yake. Scraper hufanya hivi ili kupita vichujio rahisi. Ndiyo maana firewall zinazoangalia user agent pekee zinaweza kudanganywa pande zote mbili: zinaruhusu crawler bandia kuingia, au sheria iliyoandikwa dhidi ya crawler bandia inazuia pia ile halisi. Kulinganisha anwani ya IP na orodha iliyochapishwa ya mwendeshaji ndiyo njia ya kuzitofautisha.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

Kuthibitisha crawler zisizo kwenye orodha

Kwa crawler ambazo waendeshaji wake hawachapishi safu tunayoisoma, tumia nyaraka za mwendeshaji mwenyewe. Google, Microsoft na Apple pia zinaunga mkono ukaguzi wa DNS: tafuta jina la host la anwani, kagua kwamba linaishia kwa kikoa cha mwendeshaji, kama googlebot.com, google.com, search.msn.com au applebot.apple.com, kisha tafuta jina hilo la host tena na uthibitishe kwamba linarudisha anwani ile ile.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Makosa ya kawaida

Kutoka anwani moja hadi kumbukumbu nzima

Ukaguzi huu unajibu kwa anwani moja kwa wakati mmoja. Katika akaunti yako ya AISeeWhy, ukaguzi wa kumbukumbu za seva kwenye mipango ya kulipia unasoma kumbukumbu nzima ya ufikiaji, unahesabu ziara za kila crawler ya AI, unatenganisha crawler halisi na walaghai kwa safu hizi zilizochapishwa na kuonyesha jinsi seva yako ilivyozijibu.

Maswali yanayoulizwa mara kwa mara

Je, ClaudeBot inaonekana katika ukaguzi huu?

Kwa sasa hapana: ukaguzi unashughulikia crawler ambazo faili zao za safu zilizochapishwa tunazisoma, zilizoorodheshwa chini ya matokeo. Kwa crawler nyingine, fuata nyaraka za mwendeshaji.

Anwani iko katika safu ya Googlebot lakini user agent inasema kitu kingine. Hiyo inamaanisha nini?

Ombi lilitoka kwenye mtandao wa Google. Google inaendesha crawler na vipakuzi kadhaa; user agent inakuambia ni kipi. Haikuwa mtu wa tatu anayejifanya kuwa Google.

Je, naweza kukagua anwani nyingi kwa wakati mmoja?

Si kwa zana hii ya bure. Pakia kumbukumbu katika akaunti yako ili kukagua kila ziara iliyomo.

Je, anwani ninayoweka inahifadhiwa?

Inatumika kujibu ukaguzi na haihifadhiwi pamoja na ombi lako.

Zana na miongozo inayohusiana