Tovuti nne kati ya kumi za biashara zinazigeuza roboti za AI
Katika ukaguzi wetu wa tovuti 165 za biashara nchini Marekani, Uingereza na Ufaransa, 38% ziligeuza angalau roboti moja ya AI kwenye seva, karibu kila mara roboti ya mafunzo au ya kuvuna data. Takriban tovuti moja kati ya kumi pia ilikataa roboti ya utafutaji wa AI kama PerplexityBot au OAI-SearchBot, roboti ambazo zinaweza kusababisha nukuu. Kagua yako kwa ombi moja kwa kila roboti.
Unamuuliza ChatGPT kuhusu bidhaa yako mwenyewe na inataja mshindani, tovuti ya mapitio na mjadala wa jukwaani. Wakati mwingine ni suala la maudhui. Mara nyingi ni ngome ya usalama inayojibu roboti za AI kwa hapana, jambo ambalo hakuna mtu kwenye timu yako aliyeliona kwa sababu tovuti inafanya kazi kwenye kivinjari.
Kwenye ukurasa huu
Tulipima nini?
Tunaomba ukurasa mara kadhaa kutoka anwani ileile: mara moja kama kivinjari cha kawaida, na mara moja kila mmoja kama roboti 14 za AI na za utafutaji, zikiwemo GPTBot, OAI-SearchBot na ChatGPT-User kutoka OpenAI, ClaudeBot na Claude-SearchBot kutoka Anthropic na PerplexityBot kutoka Perplexity. Kama kivinjari kinapata ukurasa na roboti inapata 401, 403, 406, 429, 451, 503 au ukurasa wa changamoto, tovuti hiyo inaigeuza roboti hiyo.
Sampuli ni tovuti 218 za biashara nchini Marekani, Uingereza na Ufaransa, zilizokaguliwa kuanzia tarehe 18 hadi 21 Novemba 2026. Tuliweza kufanya jaribio kamili kwa 165. Zile 53 nyingine zilikataa hata ombi letu la kawaida la kivinjari au hazikujibu, kwa hiyo tuliziacha badala ya kukisia.
Tuligundua nini?
- 38% ya tovuti zilizoweza kupimwa (63 kati ya 165) ziligeuza angalau roboti moja ya AI.
- Kila moja ya tovuti hizo ilikataa angalau roboti moja ya mafunzo au ya kuvuna data.
Bytespiderilikataliwa na 35% ya tovuti zote,ClaudeBotna 13% naGPTBotna 11%. - 10% ya tovuti (16) pia zilikataa angalau roboti moja ya utafutaji wa AI, na 5% (8) zilikataa roboti inayofungua ukurasa papo hapo mtu anapomuuliza msaidizi kuuhusu.
- Roboti za utafutaji zilizoathirika zaidi ni
PerplexityBot(tovuti 11) naOAI-SearchBot(tovuti 5). - Cloudflare ilihusika na tovuti 32 kati ya 66 zilizokataa roboti yoyote tuliyoipima. Kwa nyingine 30 hatukuweza kujua ni ngome ipi iliyojibu.
Kwa nini hili hutokea, na ni lini ni uamuzi wa makusudi?
Mengi ya haya yanaweza kuwa ya makusudi. Wamiliki wengi hawataki maudhui yao yatumike kufunza mifumo, na mipangilio ya ulinzi dhidi ya roboti inayozuia wavunaji data ni rahisi kuwasha. Huo ni uamuzi halali.
Tatizo ni kwamba kampuni za AI huendesha roboti tofauti kwa mafunzo na kwa utafutaji. Kuzuia roboti ya mafunzo hakulazimu kuzuia ya utafutaji, na roboti ya utafutaji ndiyo inayoweza kusababisha ukurasa wako unukuliwe kwenye jibu.
Je, tovuti kubwa zaidi zinafanya vizuri zaidi?
Si kweli. Katika ripoti yetu ya robots.txt kuhusu vikoa 1,000 maarufu zaidi, 29.9% ya tovuti zenye robots.txt huzuia angalau roboti moja ya mafunzo ya AI, na 63.2% kati ya hizo pia huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI. Ni 11.0% tu huzuia mafunzo huku zikiruhusu kila roboti ya utafutaji ya AI, ambao ndio mpangilio ambao wengi wao pengine walitaka.
Ninakagua vipi tovuti yangu mwenyewe kwa dakika kumi?
- Fungua
yoursite.com/robots.txt. Kwa kila roboti ya AI unayojali, angalia kama kuna kundi linaloitaja na kundi hilo linasema nini. Kundi linaloitaja roboti hubadilisha kabisa kundi la jumla la*. - Pima kile seva inachofanya, si kile faili inachosema. Omba ukurasa wako muhimu kama kivinjari na kama roboti. 403, 429, ukurasa wenye kichwa
Just a moment...au jibu dogo zaidi kuliko la kivinjari ni dalili ya kawaida ya kuzuiwa na ngome ya usalama. - Muulize msaidizi. Huku utafutaji ukiwa umewashwa, muulize ChatGPT au Perplexity maswali ambayo wateja wako huuliza na uone tovuti zipi inanukuu. Kama ufikiaji ni mzuri na bado haupo, tatizo ni maudhui, si ufikiaji.
Takwimu hizi zinaaminika kiasi gani?
Zichukulie kama mwelekeo, si sensa. Sampuli si ya nasibu: hizi ni kampuni zilizopatikana kupitia maktaba za matangazo, mbao za ajira na orodha za ramani. Tunapima kwa user agent kutoka anwani moja, ilhali roboti halisi hutoka kwenye anwani ambazo wauzaji wake huchapisha, kwa hiyo baadhi ya ngome zingezitendea roboti halisi tofauti. Na kuzuia si kosa kila mara.
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Ni asilimia ngapi ya tovuti huzuia roboti za AI?
Katika ukaguzi wetu wa tovuti 165 za biashara zilizoweza kupimwa, 38% ziligeuza angalau roboti moja ya AI kwenye seva, hasa roboti za mafunzo na za kuvuna data. Takriban 10% pia zilikataa roboti ya utafutaji wa AI.
Je, kuzuia GPTBot kunaiweka tovuti yangu nje ya utafutaji wa ChatGPT?
Hapana. OpenAI inasema kila mpangilio wa robots.txt kwa roboti zake unajitegemea: GPTBot inahusu mafunzo, OAI-SearchBot inahusu utafutaji wa ChatGPT. Kuzuia moja hakuzuii nyingine.
Tovuti inawezaje kuzuia roboti bila robots.txt?
Kanuni ya ngome ya usalama, CDN au ulinzi dhidi ya roboti inaweza kujibu roboti kwa 403, 429 au ukurasa wa changamoto. robots.txt haionyeshi hili kamwe, kwa hiyo lazima lipimwe kwa kuomba ukurasa kama roboti.
Je, kuigeuza roboti ni kosa kila mara?
Hapana. Wamiliki wengi wanataka kuzuia roboti za mafunzo na wavunaji data. Kosa ni kuzuia roboti za utafutaji kwa bahati mbaya, kwa sababu hizo ndizo zinazoweza kunukuu ukurasa wako.
Vyanzo
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)