Kwa nini tovuti yangu imeanza ghafla kuzuia crawler za AI?
Tovuti inayoanza kuzuia crawler za AI karibu kila mara imebadilika katika mojawapo ya maeneo matano: robots.txt inayotumwa kweli, mpangilio wa CDN kama sera za Cloudflare za crawler za AI, kinga dhidi ya boti au kikomo cha kasi, mpangilio wa msingi wa mwenyeji, au robots.txt ambayo sasa inajibu kwa hitilafu. Pakua robots.txt ya leo na ukurasa kama kila crawler, linganisha na kivinjari na kile ulichokuwa nacho awali, na ukague tabaka hizo kwa mpangilio huo.
Hakuna anayeamua kutoweka kutoka majibu ya AI. Hutokea kama athari ya pembeni ya sasisho la mandhari, mpangilio wa usalama, uhamishaji au mpangilio wa msingi uliobadilishwa kwa mtoa huduma. Kivinjari bado kinaiona tovuti kama kawaida, kwa hivyo mabadiliko yanaweza kupita bila kugunduliwa hadi mtu aulize ChatGPT au Perplexity kuhusu bidhaa na apate mshindani. Kila tabaka huacha alama unazoweza kukagua kutoka nje au katika kumbukumbu zako.
Kwenye ukurasa huu
- Je, robots.txt ambayo crawler zinapokea imebadilika?
- Je, sera za Cloudflare za crawler za AI za 2026 zilibadilisha kile tovuti yangu inaruhusu?
- Je, kinga dhidi ya boti au kikomo cha kasi kinanasa crawler?
- Je, mtoa huduma wangu wa hosting amebadilisha mipangilio yake ya msingi?
- Je, robots.txt inajibu kwa hitilafu?
- Nitajuaje lilianza lini?
- Nitaligunduaje mapema zaidi wakati ujao?
Je, robots.txt ambayo crawler zinapokea imebadilika?
Pakua https://yourdomain.com/robots.txt na uilinganishe na faili iliyo katika hazina (repository) yako au nakala rudufu. Angalia faili inayotumwa, si ile iliyo kwenye diski, kwa sababu tabaka kadhaa zinaweza kuibadilisha njiani:
- Utoaji (deploy) unasafirisha robots.txt ya mazingira ya majaribio yenye
Disallow: /, au uhamishaji unaacha faili ya msingi ya jukwaa. - Mpangilio wa kijenzi cha tovuti unaongeza sheria za crawler za AI. Squarespace, kwa mfano, ina chaguo la Block known artificial intelligence crawlers linaloandika majina 26 ya boti katika robots.txt na kusema mengine yanaweza kuongezwa baada ya muda. Limezimwa kwa chaguo-msingi, kwa hivyo mtu lazima aliwashe, lakini orodha inaweza kukua baadaye.
- Sasisho la programu-jalizi ya SEO au usalama linaandika sheria mpya, au linaongeza chaguo jipya ambalo mtu analiwasha.
- Cloudflare huweka robots.txt yake inayosimamiwa mwanzoni mwa faili yako Bot Preference Sync ikiwa imewashwa na sera ya AI ikiwa imewekwa kuwa Block au Disallow. Faili inayotumwa basi huanza na
Disallow: /kwaClaudeBot,GPTBotna tokeni nyingine sita za mafunzo, ingawa faili yako mwenyewe haikubadilika. - Sheria iliyokusudiwa crawler ya mafunzo ilinakiliwa kwa nyingine, zikiwemo crawler za utafutaji kama
OAI-SearchBot,Claude-SearchBotauPerplexityBot.
Ripoti ya robots.txt katika Google Search Console inaonyesha matoleo ambayo Google ilipakua katika siku 30 zilizopita, ikiwa na ingizo jipya kila faili au matokeo ya upakuaji yalipobadilika. Inahusu tu kile Google iliona, lakini isipokuwa seva yako inatofautisha robots.txt kwa user agent, crawler za AI zilipata faili ileile.
Je, sera za Cloudflare za crawler za AI za 2026 zilibadilisha kile tovuti yangu inaruhusu?
Cloudflare imebadilisha udhibiti wake wa crawler za AI mara kadhaa, na baadhi ya mabadiliko hubadilisha kile zone inafanya bila mtu yeyote kuihariri. Tarehe 1 Julai 2025 ilianza kuuliza vikoa vipya wakati wa kujisajili kama viruhusu crawler za AI, kuzuia kukiwa hali ya kuanzia. Tarehe 1 Julai 2026 ilibadilisha swichi moja ya Block AI bots kwa sera tofauti za Search, Agent na Training, kwa mipango yote ikiwemo Free.
Undani unaonasa tovuti nyingi zaidi ni crawler za madhumuni mchanganyiko. Nyaraka za Cloudflare zinasema hatua za Training pia zinatumika kwa crawler zinazotumika kwa utafutaji na mafunzo pamoja. Tangazo lake la Julai 2026 lilisema kwamba kuanzia tarehe 15 Septemba 2026, crawler za madhumuni mengi kama Googlebot, Applebot na BingBot zingezuiwa kwa wateja waliochagua kuzuia Training, iwe kupitia chaguo mpya au mpangilio wa zamani wa Block AI bots. Kujiondoa kwenye mafunzo kulikowekwa mwaka mmoja uliopita kwa hivyo sasa kunaweza kufikia crawler za utafutaji.
Mipangilio ya msingi kwa vikoa vipya imeelezwa kwa njia tofauti kwa muda. Tangazo hilohilo lilisema vikoa vipya vingekuwa na Training na Agent zimezuiwa kwenye kurasa zinazoonyesha matangazo kuanzia tarehe 15 Septemba 2026, huku nyaraka za sera zilizosasishwa tarehe 2 Novemba 2026 zikisema vikoa vipya huanza na zote tatu zikiwa Allow. Fungua Security, kisha Settings, chuja kwa Bot traffic na usome AI Crawler and Agent access policies za zone yako. Mwongozo wetu wa Cloudflare AI Crawl Control unaeleza kila mpangilio.
Je, kinga dhidi ya boti au kikomo cha kasi kinanasa crawler?
Kinga dhidi ya boti hupima kila ombi, na crawler hupakua kurasa nyingi haraka kutoka vituo vya data, jambo ambalo ndilo boti hufanya. Crawler iliyopita mwezi uliopita inaweza kuanza kupokea kurasa za changamoto baada ya mwendeshaji wake kubadilisha masafa ya IP au kasi ya upitiaji, au baada ya sheria za kinga kusasishwa. Bot Fight Mode ya Cloudflare ni sababu ya kawaida, na Cloudflare inasema haiwezi kukwepwa wala kurukwa kwa sheria maalum za WAF au Page Rules, kwa hivyo sheria ya kuruhusu iliyoongezwa baadaye haitasaidia wakati imewashwa. Kikomo kipya cha kasi kinachojibu wimbi la maombi kwa 429 kina athari ileile kwa crawler yenye shughuli nyingi.
Jaribu kutoka nje: omba ukurasa kama kivinjari na kama crawler mbili za utafutaji wa AI, kisha omba robots.txt kama crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 au 503 kwa crawler pekee, ukurasa wenye kichwa Just a moment..., au jibu dogo sana kuliko la kivinjari inamaanisha crawler inachukuliwa tofauti. Jaribio linatoka kwenye IP yako, si ya mtoa huduma, kwa hivyo sheria zinazotegemea hali ya boti iliyothibitishwa bado zinaweza kuichukulia crawler halisi tofauti. Kumbukumbu ya matukio ya firewall inaonyesha ni sheria gani ilijibu.
Je, mtoa huduma wangu wa hosting amebadilisha mipangilio yake ya msingi?
Baadhi ya wenyeji huchuja trafiki ya AI kwenye seva, kabla sheria zako hazijaendeshwa. SiteGround, kwa mfano, iliandika mwezi Agosti 2025 kwamba kwa chaguo-msingi huzuia crawler za AI zilizoundwa kukusanya data ya mafunzo na huruhusu crawler zinazotembelea mtu anapouliza msaidizi wa AI kuhusu ukurasa. Sheria kama hizi hazionekani katika robots.txt yako, na zinaweza kubadilika mwenyeji anaposasisha orodha zake za boti.
Ikiwa kizuizi kinaonekana kwenye tovuti kadhaa za mwenyeji mmoja kwa wakati mmoja, au katika majibu ambayo hayafiki kamwe kwenye kumbukumbu za programu yako, muulize mwenyeji ni sheria gani za boti zinatumika kwa akaunti yako na kama unaweza kuziondolea kizuizi crawler unazotaka kubaki nazo.
Je, robots.txt inajibu kwa hitilafu?
robots.txt inayoshindwa inaweza kuzuia zaidi ya mstari wowote wa Disallow. Kwa mujibu wa RFC 9309, jibu la 4xx linamaanisha crawler inaweza kupakua kila kitu, lakini hitilafu ya seva (5xx) au kukosa jibu kabisa kunamaanisha lazima ichukulie kuwa tovuti nzima imezuiwa. Google husimamisha upitiaji kwa saa 12 za kwanza za hitilafu kama hizo kisha hutumia nakala yake nzuri ya mwisho kwa hadi siku 30.
Hivi ndivyo ongezeko la ghafla la mzigo, sheria ya firewall inayoweka changamoto kwenye /robots.txt, au kikomo cha kasi kinachoijumuisha kinavyoweza kufungia nje crawler zenye nidhamu bila sheria hata moja kubadilika. Amri ya mwisho katika jaribio lililo hapo juu inapaswa kurudisha 200 na text/plain. 5xx, muda kuisha au ukurasa wa changamoto hapo ndilo jambo la kwanza la kurekebisha.
Nitajuaje lilianza lini?
Tarehe hugeuza fumbo kuwa ulinganisho. Katika kumbukumbu zako za ufikiaji, chuja maombi kutoka user agent za crawler za AI na utafute siku ambayo misimbo yao ya hali ilibadilika kutoka 200 hadi 403, 429 au 503, au siku ambayo ziliacha kuomba kurasa baada ya kusoma robots.txt; mwongozo wetu wa kukagua kumbukumbu za seva kwa crawler za AI una amri hizo. Maombi ambayo CDN yako ilizuia hayafiki kamwe kwenye seva asili, kwa hivyo kagua CDN pia. Kwenye Cloudflare, AI Crawl Control huonyesha mgawanyo wa misimbo ya hali kwa muda ambao unaweza kuuchuja kwa crawler.
Kisha linganisha tarehe hiyo na utoaji (deploys), masasisho ya programu-jalizi na mandhari, mabadiliko ya mipangilio ya CDN na matangazo ya watoa huduma. Kabla ya kuchukua hatua, thibitisha kwamba IP za chanzo ni za mtoa huduma, ili uwe unaangalia crawler halisi na si mdanganyifu anayetumia jina lake.
Nitaligunduaje mapema zaidi wakati ujao?
Kagua ufikiaji baada ya kila utoaji, badiliko la CDN na sasisho la programu-jalizi, si tu trafiki inaposhuka. Ukaguzi wa bure wa AISeeWhy hupakua ukurasa kama crawler 16 za AI na za utafutaji kando ya kivinjari halisi, hutumia robots.txt yako kwa kila crawler na hutambua kurasa za changamoto za firewall. Kikagua cha bure cha robots.txt kinaonyesha, kwa kila crawler, kama ukurasa unaweza kupakuliwa chini ya faili iliyo hai leo.
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Ukaguzi wa IP ya crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Kwa nini ChatGPT imeacha kuonyesha tovuti yangu?
Mara nyingi kwa sababu OAI-SearchBot, crawler inayoendesha utafutaji wa ChatGPT, imezuiwa na badiliko la robots.txt, sera ya CDN au kinga dhidi ya boti. OpenAI inasema tovuti zinazoizuia hazitaonekana katika majibu ya utafutaji wa ChatGPT. Kagua kila tabaka kwa crawler hiyo, na subiri karibu saa 24 baada ya kurekebisha robots.txt, muda ambao OpenAI inasema mifumo yake huhitaji kujirekebisha.
Je, Cloudflare imeanza kuzuia Googlebot kwenye tovuti yangu?
Inawezekana. Cloudflare ilisema kwamba kuanzia tarehe 15 Septemba 2026 wateja wanaozuia Training pia huzuia crawler za madhumuni mengi kama Googlebot, Applebot na BingBot. Nyaraka zake zinasema chaguo la Disallow kwa Training huzuia crawler za mafunzo kwenye ukingo wa mtandao lakini huacha crawler za madhumuni mchanganyiko, kwa hivyo kagua zone yako inatumia chaguo gani.
Je, kijenzi cha tovuti au programu-jalizi inaweza kunibadilishia robots.txt?
Ndiyo. Vijenzi vya tovuti na programu-jalizi za SEO au usalama vinaweza kuandika sheria za crawler za AI katika robots.txt, na baadhi hupanua orodha zao za boti kwa muda. Baada ya kila sasisho, pakua faili iliyo hai na usome vikundi vinavyotumika kwa crawler za utafutaji unazojali.
Kwa nini robots.txt yangu iliyo hai ni tofauti na faili iliyo kwenye seva yangu?
Kitu kilicho mbele ya seva yako kinaibadilisha. Robots.txt inayosimamiwa ya Cloudflare, kwa mfano, huweka sheria zake na content signals mwanzoni mwa faili yako katika jibu lilelile. CMS inayozalisha robots.txt kila inapoombwa, au mpangilio wa ngazi ya mwenyeji, inaweza pia kuibadilisha au kuiongezea.
Crawler za AI huchukua muda gani kurudi baada ya kurekebisha?
RFC 9309 inasema crawler hazipaswi kutumia robots.txt iliyohifadhiwa kwa zaidi ya saa 24, OpenAI inasema karibu saa 24 na Perplexity hadi saa 24. Mabadiliko ya firewall hutumika mara tu mtoa huduma wako anapoyatekeleza, lakini crawler hurudi kwa ratiba zao wenyewe.
Vyanzo
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers