Tulisoma robots.txt ya tovuti 10,000 maarufu zaidi. Hiki ndicho wanachofanya kuhusu roboti za AI
Kati ya vikoa 6,192 vya Tranco top 10,000 vinavyotoa robots.txt, 23.2% huzuia angalau roboti moja ya mafunzo ya AI na 12.3% huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI. 51.6% ya tovuti zinazozuia mafunzo pia huzuia utafutaji wa AI. Ni 11.2% tu hujiondoa kwenye mafunzo huku zikiruhusu kila roboti ya utafutaji ya AI.
Mwezi Novemba tulisoma robots.txt ya vikoa 1,000 maarufu zaidi. Safari hii tulisoma 10,000, kwa njia ileile, na tukaongeza ukaguzi wa jinsi picha inavyobadilika tovuti zinapokuwa ndogo. Hitimisho kuu linabaki: kuzuia mafunzo na kuzuia utafutaji huchukuliwa kama uamuzi mmoja, ingawa ni miwili.
Kwenye ukurasa huu
Tulipimaje?
Tulichukua vikoa 10,000 vya juu vya orodha ya Tranco (ID ya orodha JZWZY) na tukachukua ukurasa wa mwanzo, robots.txt na llms.txt ya kila kikoa mara moja tarehe 21 Novemba 2026, kama user agent ya AISeeWhy yenyewe. Tulihukumu kila robots.txt kwa RFC 9309 kwa ukurasa wa mwanzo (/) na kwa roboti 16 za AI na za utafutaji.
Vikoa 6,192 kati ya 10,000 vilitoa robots.txt (jibu lililofanikiwa ambalo si ukurasa wa HTML). Vikoa 1,121 vilijibu kwa 4xx, ambayo inamaanisha hakuna kanuni na kila roboti inaruhusiwa, na 2,687 havikutoa faili hiyo (hakuna tovuti ya HTTPS, makosa, muda kuisha au ukurasa wa HTML badala yake). Kila asilimia hapa chini ni ya hivyo 6,192. Orodha inajumuisha CDN na API ambazo hazitoi tovuti.
Tuligundua nini?
- 23.2% (vikoa 1,437) huzuia angalau roboti moja ya mafunzo ya AI.
- 12.3% (762) huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI, kwa hiyo kurasa hazipaswi kutumiwa wala kunukuliwa na majibu yanayoitegemea.
- 51.6% ya vikoa vinavyozuia roboti ya mafunzo (742 kati ya 1,437) pia huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI.
- Ni 11.2% tu (695) huchukua njia ya kuchagua: huzuia roboti za mafunzo na kuruhusu kila roboti ya utafutaji na ya mtumiaji ya AI.
- 6.5% (401) hutaja mapendeleo yao ya AI kwa
Content-Signal. - 12.4% ya vikoa vyote 10,000 (1,240) huchapisha
llms.txt. - Kwa kulinganisha, 2.0% (124) huzuia
Googlebotkwenye ukurasa wa mwanzo.
Roboti zipi huzuiwa mara nyingi zaidi?
Sehemu ya vikoa 6,192 ambavyo robots.txt yake inakataza ukurasa wa mwanzo kwa roboti hiyo:
- Zinazoongoza ni
Bytespider18.7%,CCBot18.5%,GPTBot17.4% naClaudeBot16.5%. - Zinazofuata ni
Meta-ExternalAgent15.5%,Google-Extended14.9% naApplebot-Extended14.6%. PerplexityBot10.4% ndiyo roboti ya utafutaji wa AI inayozuiwa mara nyingi zaidi, mbele yaOAI-SearchBot7.0% naClaude-SearchBot7.0%.- Roboti zinazofungua ukurasa mtu anapouliza:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%.
Je, tovuti kubwa huzuia zaidi?
Ndiyo, na huchanganya mafunzo na utafutaji mara nyingi zaidi. Tuligawa orodha kwa nafasi:
- Nafasi 1 hadi 1,000 (vikoa 560 vyenye robots.txt): 28.6% huzuia mafunzo, 18.6% huzuia utafutaji wa AI, na 63.1% ya wanaozuia mafunzo pia huzuia utafutaji wa AI.
- Nafasi 1,001 hadi 3,000 (vikoa 1,256): 23.5%, 13.5% na 55.6%.
- Nafasi 3,001 hadi 10,000 (vikoa 4,376): 22.4%, 11.2% na 48.6%.
Njia ya kuchagua ni adimu kwa kila ukubwa: 10.5%, 10.4% na 11.5% ya vikoa katika makundi hayo matatu.
Je, kuna kilichobadilika tangu ripoti yetu ya Novemba 12?
Tulirudia vikoa 1,000 vya kwanza kwa orodha ileile. Matokeo ni thabiti ndani ya takriban nukta moja: 28.6% huzuia mafunzo (29.9% tarehe 12 Novemba), 18.6% huzuia utafutaji wa AI (19.5%), na 63.1% ya wanaozuia mafunzo pia huzuia utafutaji wa AI (63.2%). Vigawanyo vinatofautiana kidogo (vikoa 560 vyenye robots.txt sasa, 518 wakati ule) kwa sababu mara hii inafuata uelekezaji wa kikoa hadi mwenyeji wake mkuu kabla ya kuchukua faili.
Hii ina maana gani kwa robots.txt yako?
Kampuni nyingi za AI huandika roboti tofauti kwa mafunzo na kwa utafutaji na husema mipangilio inajitegemea. Kukataza GPTBot hakuigusi OAI-SearchBot, na kukataza ClaudeBot hakuigusi Claude-SearchBot. Ukitaka kujiondoa kwenye mafunzo na bado unukuliwe, zuia tokeni za mafunzo na uruhusu tokeni za utafutaji na za mtumiaji, na rudia njia zozote za siri kwenye kila kundi, kwa sababu kundi lenye jina halirithi kutoka *.
Takwimu hizi zinaaminika kiasi gani?
Ni kanuni za robots.txt za ukurasa wa mwanzo, zilizosomwa na kichanganuzi kimoja kwa siku moja. Hazipimi vizuizi vya ngome ya usalama, vinavyoweza kukataa roboti ambayo robots.txt inairuhusu. Haziwezi kusema kila tovuti ilikusudia nini, na orodha ya Tranco inajumuisha vikoa visivyotoa tovuti. Kanuni inayozuia roboti ya utafutaji si ushahidi wa kosa, bali ni chaguo ambalo mara nyingi hufanywa bila kujua tofauti. Unaweza kunukuu takwimu hizi kwa kiungo cha ukurasa huu.
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Kikagua na kithibitishaji cha llms.txt
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Ni asilimia ngapi ya tovuti maarufu huzuia roboti za AI?
Kati ya vikoa 6,192 vya Tranco top 10,000 vinavyotoa robots.txt, 23.2% huzuia angalau roboti moja ya mafunzo ya AI na 12.3% huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI.
Je, tovuti zinazozuia mafunzo ya AI pia huzuia utafutaji wa AI?
Mara nyingi. 51.6% ya tovuti zinazozuia roboti ya mafunzo pia huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI, ingawa wauzaji huziandika kama roboti tofauti zenye mipangilio huru.
Roboti ipi ya AI huzuiwa mara nyingi zaidi?
Kati ya roboti za mafunzo ni Bytespider (18.7%) na CCBot (18.5%), kisha GPTBot (17.4%). Kati ya roboti za utafutaji wa AI, PerplexityBot huzuiwa mara nyingi zaidi, kwenye 10.4% ya vikoa.
Kwa nini namba zinatofautiana na ripoti yenu ya tovuti 1,000?
Vikoa 1,000 vya kwanza vinatoa asilimia karibu sawa (28.6% na 18.6% dhidi ya 29.9% na 19.5%). Takwimu za tovuti 10,000 ni ndogo zaidi kwa sababu tovuti ndogo huzuia kidogo.
Vyanzo
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers