የ10,000 ታዋቂ ድረ-ገጾችን robots.txt አነበብን። ስለ AI ክራውለሮች የሚያደርጉት ይህ ነው
robots.txt ከሚያቀርቡት የTranco ከፍተኛ 10,000 ውስጥ ካሉ 6,192 ዶሜኖች መካከል 23.2% ቢያንስ አንድ የAI ማሰልጠኛ ክራውለር ይከለክላሉ፣ 12.3% ደግሞ ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክራውለር ይከለክላሉ። ማሰልጠኛን ከሚከለክሉት ድረ-ገጾች 51.6% የAI ፍለጋንም ይከለክላሉ። ማሰልጠኛን ከልክለው ሁሉንም የAI ፍለጋ ክራውለሮች የሚፈቅዱት 11.2% ብቻ ናቸው።
በኖቬምበር ወር የ1,000 ታዋቂ ዶሜኖችን robots.txt አንብበን ነበር። በዚህ ጊዜ በተመሳሳይ ዘዴ 10,000 አነበብን፣ እንዲሁም ድረ-ገጾች እየሰፉ ሲሄዱ ምስሉ እንዴት እንደሚለወጥ ፈትሸናል። ዋናው ግኝት እንደጸና ነው፦ ማሰልጠኛን መከልከልና ፍለጋን መከልከል ሁለት ውሳኔዎች ሆነው ሳለ እንደ አንድ ውሳኔ ይያዛሉ።
በዚህ ገጽ ላይ
እንዴት ለካነው?
የTranco ዝርዝር (የዝርዝር መታወቂያ JZWZY) ከፍተኛ 10,000 ዶሜኖችን ወስደን፣ የእያንዳንዱን ዶሜን መነሻ ገጽ፣ robots.txt እና llms.txt በ21 ኖቬምበር 2026 በAISeeWhy የራሱ user agent አንድ ጊዜ አመጣን። እያንዳንዱን robots.txt በRFC 9309 መሠረት ለመነሻ ገጹ (/) እና ለ16 AI እና የፍለጋ ክራውለሮች ገምግመናል።
ከ10,000 ዶሜኖች ውስጥ 6,192 robots.txt አቅርበዋል (ስኬታማ ምላሽ ሆኖ HTML ገጽ ያልሆነ)። 1,121 በ4xx መልሰዋል፣ ይህም ምንም ደንብ የለም ሁሉም ክራውለር ተፈቅዷል ማለት ነው፤ 2,687 አላቀረቡም (HTTPS ድረ-ገጽ የለም፣ ስህተቶች፣ የጊዜ ማብቂያዎች ወይም በምትኩ HTML ገጽ)። ከዚህ በታች ያሉት ሁሉም መቶኛዎች ከ6,192 የተወሰዱ ናቸው። ዝርዝሩ ድረ-ገጽ የማያገለግሉ CDNዎችንና APIዎችን ያካትታል።
ምን አገኘን?
- 23.2% (1,437 ዶሜኖች) ቢያንስ አንድ የAI ማሰልጠኛ ክራውለር ይከለክላሉ።
- 12.3% (762) ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክራውለር ይከለክላሉ፣ ስለዚህ ገጾቹ በዚያ ላይ በሚመሰረቱ መልሶች ጥቅም ላይ ወይም ተጠቅሰው መታየት የለባቸውም።
- ማሰልጠኛ ክራውለርን ከሚከለክሉት ዶሜኖች 51.6% (ከ1,437 ውስጥ 742) ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክራውለርንም ይከለክላሉ።
- ምርጫዊውን መንገድ የሚከተሉት 11.2% (695) ብቻ ናቸው፦ ማሰልጠኛ ክራውለሮችን ይከለክላሉ፣ ሁሉንም የAI ፍለጋና የተጠቃሚ ክራውለሮች ይፈቅዳሉ።
- 6.5% (401) የAI ምርጫዎቻቸውን በ
Content-Signalይገልጻሉ። - ከሁሉም 10,000 ዶሜኖች 12.4% (1,240)
llms.txtያትማሉ። - ለማነጻጸር፣ 2.0% (124)
Googlebotን በመነሻ ገጽ ላይ ይከለክላሉ።
የትኞቹ ክራውለሮች ብዙ ጊዜ ይከለከላሉ?
robots.txt መነሻ ገጹን ለክራውለሩ የሚከለክልባቸው ከ6,192 ዶሜኖች ድርሻ፦
Bytespider18.7%፣CCBot18.5%፣GPTBot17.4%፣ClaudeBot16.5%።Meta-ExternalAgent15.5%፣Google-Extended14.9%፣Applebot-Extended14.6%።PerplexityBot10.4% በብዛት የሚከለከል የAI ፍለጋ ክራውለር ነው፣ ከOAI-SearchBot7.0% እና ከClaude-SearchBot7.0% ይቀድማል።- ሰው ሲጠይቅ ገጽ የሚከፍቱ ክራውለሮች፦
ChatGPT-User8.9%፣Perplexity-User7.7%፣Claude-User7.4%።
ትልልቅ ድረ-ገጾች የበለጠ ይከለክላሉ?
አዎ፣ ማሰልጠኛንና ፍለጋንም ብዙ ጊዜ ያምታታሉ። ዝርዝሩን በደረጃ ከፋፍለናል፦
- ደረጃ 1 እስከ 1,000 (robots.txt ያላቸው 560 ዶሜኖች)፦ 28.6% ማሰልጠኛን ይከለክላሉ፣ 18.6% የAI ፍለጋን ይከለክላሉ፣ ማሰልጠኛን ከሚከለክሉት 63.1% የAI ፍለጋንም ይከለክላሉ።
- ደረጃ 1,001 እስከ 3,000 (1,256 ዶሜኖች)፦ 23.5%፣ 13.5% እና 55.6%።
- ደረጃ 3,001 እስከ 10,000 (4,376 ዶሜኖች)፦ 22.4%፣ 11.2% እና 48.6%።
ምርጫዊው መንገድ በማንኛውም መጠን ላይ ብርቅ ነው፦ በሦስቱ ቡድኖች ውስጥ ካሉ ዶሜኖች 10.5%፣ 10.4% እና 11.5%።
ከኖቬምበር 12 ሪፖርታችን ወዲህ ምን ተቀየረ?
የመጀመሪያዎቹን 1,000 ዶሜኖች በተመሳሳይ ዝርዝር እንደገና አሰራን። ውጤቱ በአንድ ነጥብ ገደማ ውስጥ የተረጋጋ ነው፦ 28.6% ማሰልጠኛን ይከለክላሉ (በ12 ኖቬምበር 29.9%)፣ 18.6% የAI ፍለጋን ይከለክላሉ (19.5%)፣ ማሰልጠኛን ከሚከለክሉት 63.1% የAI ፍለጋንም ይከለክላሉ (63.2%)። ይህ ጊዜ ከማምጣት በፊት የዶሜንን ማዘዋወር ወደ ዋናው አስተናጋጅ ስለሚከተል ባለ robots.txt ዶሜኖች ቁጥር ትንሽ ይለያል (አሁን 560፣ ያኔ 518)።
ይህ ለrobots.txt ፋይልዎ ምን ማለት ነው?
አብዛኞቹ የAI ኩባንያዎች ለማሰልጠኛና ለፍለጋ የተለያዩ ክራውለሮችን ይመዘግባሉ፣ ቅንብሮቹም ገለልተኛ ናቸው ይላሉ። GPTBotን መከልከል OAI-SearchBotን አይነካም፣ ClaudeBotን መከልከልም Claude-SearchBotን አይነካም። ከማሰልጠኛ ለመውጣት እና አሁንም ለመጠቀስ ከፈለጉ፣ የማሰልጠኛ ቶከኖችን ይከልክሉ፣ የፍለጋና የተጠቃሚ ቶከኖችን ይፍቀዱ፣ እንዲሁም የግል መንገዶችን በእያንዳንዱ ቡድን ውስጥ ይድገሙ፣ ምክንያቱም ስም ያለው ቡድን ከ* አይወርስም።
እነዚህ ቁጥሮች ምን ያህል አስተማማኝ ናቸው?
እነዚህ በአንድ ቀን በአንድ ፓርሰር የተነበቡ የመነሻ ገጽ robots.txt ደንቦች ናቸው። robots.txt የሚፈቅደውን ክራውለር ሊከለክሉ የሚችሉ የፋየርዎል እገዳዎችን አይለኩም። እያንዳንዱ ድረ-ገጽ ምን እንዳሰበ መናገር አይችሉም፣ እና የTranco ዝርዝር ድረ-ገጽ የማያገለግሉ ዶሜኖችን ያካትታል። የፍለጋ ክራውለርን የሚከለክል ደንብ የስህተት ማረጋገጫ አይደለም፣ ልዩነቱን ሳያውቁ ብዙ ጊዜ የሚደረግ ምርጫ ብቻ ነው። ቁጥሮቹን ከዚህ ገጽ አገናኝ ጋር መጥቀስ ይችላሉ።
ቀጣይ እርምጃዎች
- robots.txt tester እና ፈታሽ ለAI ክሮውለሮች
- የllms.txt ፈታሽ እና አረጋጋጭ
- የሙሉ ሪፖርት ምሳሌ ይመልከቱ
- የAI ክሮውለር ክትትል
- እቅዶች እና ዋጋዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
ከታዋቂ ድረ-ገጾች ምን ያህል ድርሻ AI ክራውለሮችን ይከለክላል?
robots.txt ከሚያቀርቡት የTranco ከፍተኛ 10,000 ውስጥ ካሉ 6,192 ዶሜኖች መካከል 23.2% ቢያንስ አንድ የAI ማሰልጠኛ ክራውለር ይከለክላሉ፣ 12.3% ደግሞ ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክራውለር ይከለክላሉ።
የAI ማሰልጠኛን የሚከለክሉ ድረ-ገጾች የAI ፍለጋንም ይከለክላሉ?
ብዙ ጊዜ። ማሰልጠኛ ክራውለርን ከሚከለክሉ ድረ-ገጾች 51.6% ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክራውለርንም ይከለክላሉ፣ ምንም እንኳን አቅራቢዎቹ እነሱን ገለልተኛ ቅንብር ያላቸው የተለያዩ ክራውለሮች እንደሆኑ ቢመዘግቡም።
የትኛው AI ክራውለር ብዙ ጊዜ ይከለከላል?
ከማሰልጠኛ ክራውለሮች መካከል Bytespider (18.7%) እና CCBot (18.5%)፣ ከዚያ GPTBot (17.4%)። ከAI ፍለጋ ክራውለሮች መካከል PerplexityBot በ10.4% ዶሜኖች ላይ በብዛት ይከለከላል።
ቁጥሮቹ ከ1,000 ድረ-ገጾች ሪፖርታችሁ ለምን ይለያሉ?
የመጀመሪያዎቹ 1,000 ዶሜኖች ተቀራራቢ መቶኛዎችን ይሰጣሉ (28.6% እና 18.6% ከ29.9% እና 19.5% ጋር ሲነጻጸር)። የ10,000 ድረ-ገጾች ቁጥሮች ዝቅተኛ ናቸው ምክንያቱም ትናንሽ ድረ-ገጾች ያነሰ ይከለክላሉ።
ምንጮች
- AISeeWhy: የAI ክራውለር መዳረሻ ሪፖርት፣ 2026-11
- Tranco: ለምርምር ተኮር የከፍተኛ ድረ-ገጾች ደረጃ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: የOpenAI ክራውለሮች አጠቃላይ እይታ
- Anthropic: Anthropic መረጃን ከድር ይሰበስባል? የድረ-ገጽ ባለቤቶች ክራውለሩን እንዴት ሊከለክሉ ይችላሉ?
- Perplexity: የPerplexity ክራውለሮች