Tulisoma robots.txt ya tovuti 10,000 maarufu zaidi. Hiki ndicho wanachofanya kuhusu roboti za AI

Imechapishwa

Jibu fupi

Kati ya vikoa 6,192 vya Tranco top 10,000 vinavyotoa robots.txt, 23.2% huzuia angalau roboti moja ya mafunzo ya AI na 12.3% huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI. 51.6% ya tovuti zinazozuia mafunzo pia huzuia utafutaji wa AI. Ni 11.2% tu hujiondoa kwenye mafunzo huku zikiruhusu kila roboti ya utafutaji ya AI.

Mwezi Novemba tulisoma robots.txt ya vikoa 1,000 maarufu zaidi. Safari hii tulisoma 10,000, kwa njia ileile, na tukaongeza ukaguzi wa jinsi picha inavyobadilika tovuti zinapokuwa ndogo. Hitimisho kuu linabaki: kuzuia mafunzo na kuzuia utafutaji huchukuliwa kama uamuzi mmoja, ingawa ni miwili.

Kwenye ukurasa huu
  1. Tulipimaje?
  2. Tuligundua nini?
  3. Roboti zipi huzuiwa mara nyingi zaidi?
  4. Je, tovuti kubwa huzuia zaidi?
  5. Je, kuna kilichobadilika tangu ripoti yetu ya Novemba 12?
  6. Hii ina maana gani kwa robots.txt yako?
  7. Takwimu hizi zinaaminika kiasi gani?

Tulipimaje?

Tulichukua vikoa 10,000 vya juu vya orodha ya Tranco (ID ya orodha JZWZY) na tukachukua ukurasa wa mwanzo, robots.txt na llms.txt ya kila kikoa mara moja tarehe 21 Novemba 2026, kama user agent ya AISeeWhy yenyewe. Tulihukumu kila robots.txt kwa RFC 9309 kwa ukurasa wa mwanzo (/) na kwa roboti 16 za AI na za utafutaji.

Vikoa 6,192 kati ya 10,000 vilitoa robots.txt (jibu lililofanikiwa ambalo si ukurasa wa HTML). Vikoa 1,121 vilijibu kwa 4xx, ambayo inamaanisha hakuna kanuni na kila roboti inaruhusiwa, na 2,687 havikutoa faili hiyo (hakuna tovuti ya HTTPS, makosa, muda kuisha au ukurasa wa HTML badala yake). Kila asilimia hapa chini ni ya hivyo 6,192. Orodha inajumuisha CDN na API ambazo hazitoi tovuti.

Tuligundua nini?

Roboti zipi huzuiwa mara nyingi zaidi?

Sehemu ya vikoa 6,192 ambavyo robots.txt yake inakataza ukurasa wa mwanzo kwa roboti hiyo:

Je, tovuti kubwa huzuia zaidi?

Ndiyo, na huchanganya mafunzo na utafutaji mara nyingi zaidi. Tuligawa orodha kwa nafasi:

Njia ya kuchagua ni adimu kwa kila ukubwa: 10.5%, 10.4% na 11.5% ya vikoa katika makundi hayo matatu.

Je, kuna kilichobadilika tangu ripoti yetu ya Novemba 12?

Tulirudia vikoa 1,000 vya kwanza kwa orodha ileile. Matokeo ni thabiti ndani ya takriban nukta moja: 28.6% huzuia mafunzo (29.9% tarehe 12 Novemba), 18.6% huzuia utafutaji wa AI (19.5%), na 63.1% ya wanaozuia mafunzo pia huzuia utafutaji wa AI (63.2%). Vigawanyo vinatofautiana kidogo (vikoa 560 vyenye robots.txt sasa, 518 wakati ule) kwa sababu mara hii inafuata uelekezaji wa kikoa hadi mwenyeji wake mkuu kabla ya kuchukua faili.

Hii ina maana gani kwa robots.txt yako?

Kampuni nyingi za AI huandika roboti tofauti kwa mafunzo na kwa utafutaji na husema mipangilio inajitegemea. Kukataza GPTBot hakuigusi OAI-SearchBot, na kukataza ClaudeBot hakuigusi Claude-SearchBot. Ukitaka kujiondoa kwenye mafunzo na bado unukuliwe, zuia tokeni za mafunzo na uruhusu tokeni za utafutaji na za mtumiaji, na rudia njia zozote za siri kwenye kila kundi, kwa sababu kundi lenye jina halirithi kutoka *.

Takwimu hizi zinaaminika kiasi gani?

Ni kanuni za robots.txt za ukurasa wa mwanzo, zilizosomwa na kichanganuzi kimoja kwa siku moja. Hazipimi vizuizi vya ngome ya usalama, vinavyoweza kukataa roboti ambayo robots.txt inairuhusu. Haziwezi kusema kila tovuti ilikusudia nini, na orodha ya Tranco inajumuisha vikoa visivyotoa tovuti. Kanuni inayozuia roboti ya utafutaji si ushahidi wa kosa, bali ni chaguo ambalo mara nyingi hufanywa bila kujua tofauti. Unaweza kunukuu takwimu hizi kwa kiungo cha ukurasa huu.

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Ni asilimia ngapi ya tovuti maarufu huzuia roboti za AI?

Kati ya vikoa 6,192 vya Tranco top 10,000 vinavyotoa robots.txt, 23.2% huzuia angalau roboti moja ya mafunzo ya AI na 12.3% huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI.

Je, tovuti zinazozuia mafunzo ya AI pia huzuia utafutaji wa AI?

Mara nyingi. 51.6% ya tovuti zinazozuia roboti ya mafunzo pia huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI, ingawa wauzaji huziandika kama roboti tofauti zenye mipangilio huru.

Roboti ipi ya AI huzuiwa mara nyingi zaidi?

Kati ya roboti za mafunzo ni Bytespider (18.7%) na CCBot (18.5%), kisha GPTBot (17.4%). Kati ya roboti za utafutaji wa AI, PerplexityBot huzuiwa mara nyingi zaidi, kwenye 10.4% ya vikoa.

Kwa nini namba zinatofautiana na ripoti yenu ya tovuti 1,000?

Vikoa 1,000 vya kwanza vinatoa asilimia karibu sawa (28.6% na 18.6% dhidi ya 29.9% na 19.5%). Takwimu za tovuti 10,000 ni ndogo zaidi kwa sababu tovuti ndogo huzuia kidogo.

Vyanzo

Makala zaidi