Jinsi ya kukagua kama tovuti inazuia crawler za AI

Bandika anwani yoyote uone kama inazuia GPTBot, ClaudeBot, PerplexityBot na crawler nyingine za AI: kwenye robots.txt, kwenye firewall, au zote mbili.

Bure · Bila kujisajili · Matokeo kwa sekunde 30

Ni crawler zipi zimezuiwa

Crawler za mafunzo, utafutaji na za watumiaji huonyeshwa kando, kwa sababu kuzuia GPTBot hakuzuii OAI-SearchBot, na kuzuia ClaudeBot hakuzuii Claude-SearchBot.

Mstari unaoamua

Kwa kila crawler, robots.txt husomwa kwa kanuni za RFC 9309: kundi linalotaja jina lake, au User-agent: * kama mbadala, na sheria inayoshinda.

Kukataliwa na firewall

Ukurasa huombwa kama crawler 14 na kama kivinjari cha kawaida. Vizuizi na kurasa za changamoto huwekewa alama, na firewall iliyojibu hutajwa jina.

Suluhisho kwa kila tatizo

Kila tatizo linakuja na mabadiliko ya kufanya. Ukaguzi wa bure unaonyesha alama yako na tatizo la kwanza; ripoti kamili ni $29, mara moja tu.

Jibu fupi

Tovuti inaweza kuzuia crawler za AI mahali pawili: kwenye robots.txt, ambayo huziomba crawler zikae mbali, na kwenye seva au firewall, ambayo huzikataa kweli. Tafuta tokeni ya kila crawler kwenye robots.txt, na isipokuwepo, kundi la User-agent: *, kisha pakua ukurasa kama crawler na ulinganishe na kile kivinjari kinapata. Kiendelezi cha kivinjari hufanya sehemu ya robots.txt kwa crawler 16 za AI kwa mbofyo mmoja.

Kagua mwenyewe kwa hatua 3

  1. Chagua crawler

    Kila kampuni ya AI huendesha crawler tofauti. Mafunzo: GPTBot, ClaudeBot. Utafutaji: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Kwa ombi la mtu: ChatGPT-User, Claude-User, Perplexity-User.

  2. Soma robots.txt kwa ajili yake

    Fungua https://example.com/robots.txt na utafute kundi linalotaja crawler hiyo. Kama hakuna kundi lolote, kundi la User-agent: * linatumika; kama hakuna kati ya hayo mawili, kila kitu kinaruhusiwa.

  3. Pakua ukurasa kama crawler

    Omba ukurasa kwa user agent ya crawler kisha linganisha hali na ukubwa na vya kivinjari. 403, ukurasa wa changamoto, au 200 ndogo zaidi kwa kiasi kikubwa inamaanisha firewall inaikataa.

Maswali yanayoulizwa mara kwa mara

Je, tovuti isiyo na robots.txt iko wazi kwa crawler za AI?

Ndiyo, kwa upande wa robots.txt. 404 kwa robots.txt inamaanisha hakuna sheria, kwa hiyo kila crawler inaweza kupakua kila ukurasa. Hata hivyo firewall bado inaweza kuzuia crawler.

Je, kiendelezi kinaonyesha vizuizi vya firewall?

Hapana. Kinasoma robots.txt kutoka kwenye kivinjari chako, jambo linaloonyesha kile tovuti inaziomba crawler zifanye. Vizuizi vya firewall na vya ulinzi dhidi ya boti vinahitaji ombi linalotumwa kama crawler, na hilo ndilo ukaguzi kamili kwenye aiseewhy.com unafanya.

Je, ninaweza kukagua tovuti ambayo si yangu?

Ndiyo. robots.txt ni ya umma, na kiendelezi husoma tu faili za robots.txt na llms.txt ambazo tovuti inachapisha, faili zilezile ambazo kila crawler husoma.

Soma mwongozo kamili

Iwe unakagua tovuti yako mwenyewe baada ya mabadiliko au unaangalia tovuti ya mtu mwingine kabla ya kuitegemea, swali “je, tovuti hii inazuia crawler za AI?” lina jibu sahihi. Jibu linategemea crawler unayomaanisha, kwa sababu kampuni za AI huendesha crawler tofauti kwa mafunzo, kwa utafutaji na kwa ziara za moja kwa moja, na tovuti inaweza kuishughulikia kila moja kwa njia tofauti. Mwongozo huu unaonyesha ukaguzi wa aina tatu, kuanzia wa haraka zaidi hadi ulio kamili zaidi.

Tovuti inaweza kuzuia crawler za AI wapi?

Kuna tabaka tatu, na crawler lazima ipite zote ili itumie ukurasa.

  • robots.txt: faili ya umma ya sheria ambayo crawler zenye nidhamu huisoma kabla ya kupakua chochote. Ni ombi, si kufuli.
  • Seva, CDN au firewall: ndiyo inayoamua kile kinachotumwa kweli. Sheria ya ulinzi dhidi ya boti inaweza kuijibu crawler kwa 403, 429 au ukurasa wa changamoto hata kama robots.txt inairuhusu.
  • Ukurasa wenyewe: ikiwa maandishi makuu yanaonekana tu baada ya JavaScript kuendeshwa, crawler inayosoma HTML ya awali hupata ukurasa karibu mtupu, ingawa hakuna kilichoizuia.

Ukaguzi mwingi wa haraka huangalia tabaka la kwanza tu. Huo ni mwanzo mzuri, mradi ukumbuke mengine mawili.

Ninasomaje robots.txt kwa crawler moja ya AI?

Fungua https://example.com/robots.txt kwenye kivinjari na utafute kundi linalohusu crawler hiyo. Kundi huanza na mstari mmoja au zaidi wa User-agent. Crawler hutumia kundi linalotaja tokeni yake, kama GPTBot; ulinganishaji hauzingatii herufi kubwa na ndogo. Ikiwa hakuna kundi linaloitaja, hutumia kundi la User-agent: *. Ikiwa hakuna lolote kati ya hayo, kila kitu kinaruhusiwa.

Ndani ya kundi, sheria yenye njia ndefu zaidi inayolingana hushinda, na Allow na Disallow zikiwa na urefu sawa, Allow hushinda. Kwa hiyo faili iliyo hapa chini inazuia GPTBot kwenye tovuti nzima lakini inaruhusu crawler nyingine zote:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Pia angalia jinsi faili inavyojibu. Kwa mujibu wa RFC 9309, 404 inamaanisha hakuna sheria, kwa hiyo kila kitu kinaruhusiwa. Hitilafu ya seva (5xx) au kukosa jibu kabisa kunamaanisha crawler lazima ichukulie tovuti nzima kuwa imekatazwa. Anwani ya robots.txt inayorudisha ukurasa wa HTML ni kosa la kawaida: crawler hazipati sheria halali ndani yake.

Ninakaguaje crawler zote za AI kwa wakati mmoja?

Kusoma faili kwa mkono kunakuwa polepole mara unapojali zaidi ya crawler moja. Kila kampuni ya AI huendesha crawler kadhaa, zenye kazi tofauti:

  • Crawler za mafunzo hukusanya maudhui kwa ajili ya kufunza miundo: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, pamoja na tokeni Google-Extended na Applebot-Extended, ambazo huonekana kwenye robots.txt tu.
  • Crawler za utafutaji huorodhesha kurasa ili majibu ya AI yaweze kuzinukuu: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Crawler za watumiaji hupakua ukurasa mtu anapomwomba msaidizi afanye hivyo: ChatGPT-User, Claude-User, Perplexity-User.

Kiendelezi cha bure cha Chrome, Kikagua crawler za AI, hufanya hivi kwa mbofyo mmoja. Fungua ukurasa wowote, bofya aikoni, nacho husoma robots.txt ya tovuti hiyo na kuonyesha, kwa kila moja ya crawler 16, kama ukurasa unaruhusiwa na ni mstari upi unaoamua hilo. Pia huonyesha mapendeleo ya Content-Signal, kama tovuti ina llms.txt, na ramani za tovuti zilizoorodheshwa kwenye robots.txt. Hufanya kazi kwenye kivinjari chako, hakihitaji akaunti, na husoma tu tovuti unayokibofya.

Bila Chrome, kikagua robots.txt cha bure kwenye aiseewhy.com hutoa jibu lilelile kwa URL unayobandika.

Ninakaguaje kama firewall inaziruhusu kupita?

robots.txt inaonyesha kile tovuti inaomba. Ili kuona kile crawler inapata kweli, omba ukurasa mara mbili, mara moja kama kivinjari na mara moja kwa user agent ya crawler, kisha linganisha msimbo wa hali na ukubwa wa jibu:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ikiwa kivinjari kinapata 200 na crawler inapata 403, 429 au 503, au ukurasa mdogo sana, firewall au ulinzi dhidi ya boti unaishughulikia crawler kwa njia tofauti. Kila jaribio la nje lina kikomo kimoja: ombi linatoka kwenye mtandao wako, si wa kampuni ya AI. Firewall inayoziamini crawler kwa anwani zao za IP zilizochapishwa inaweza kuishughulikia crawler halisi kwa njia tofauti, kwa hiyo neno la mwisho ni la kumbukumbu za seva yako.

Ukaguzi kamili kwenye aiseewhy.com hupakua ukurasa kama crawler zote 16 sambamba na kivinjari halisi, hutaja firewall au sheria inayozuia crawler, na hulinganisha maandishi ambayo kila moja ilipata.

Nilenge matokeo gani?

Inategemea unachotaka. Ukitaka kunukuliwa kwenye utafutaji wa ChatGPT, Claude na Perplexity, crawler za utafutaji na za watumiaji lazima ziruhusiwe kwenye robots.txt na zipate ukurasa halisi kutoka kwa seva. Ikiwa hutaki maudhui yako yatumike kwa mafunzo, zuia tokeni za mafunzo tu. Haya ni maamuzi tofauti: kuzuia GPTBot hakuzuii OAI-SearchBot, na kuzuia ClaudeBot hakuzuii Claude-SearchBot.

Tovuti nyingi huvichanganya. Katika ripoti yetu ya Novemba 2026 kuhusu vikoa 1,000 maarufu zaidi, 63% ya tovuti zinazozuia crawler ya mafunzo pia huzuia angalau crawler moja ya utafutaji au ya watumiaji ya AI, jambo linalozifanya kurasa zao zisionekane kwenye majibu hayo ya AI.

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Vyanzo

Makala zaidi

Imechapishwa