ከአስር የንግድ ድር ጣቢያዎች አራቱ የAI ክራውለሮችን ያባርራሉ

የታተመበት

አጭር መልስ

በአሜሪካ፣ በእንግሊዝ እና በፈረንሳይ ባደረግናቸው የ165 የንግድ ድር ጣቢያዎች ኦዲቶች፣ 38% ቢያንስ አንድ የAI ክራውለርን በሰርቨር ደረጃ መልሰዋል፤ ይህም ሁልጊዜ ማለት ይቻላል የሥልጠና ወይም የስክራፐር ቦት ነው። ከአስር ጣቢያዎች አንዱ ደግሞ እንደ PerplexityBot ወይም OAI-SearchBot ያለ የAI ፍለጋ ክራውለር ከልክሏል፤ እነዚህ ክራውለሮች ወደ ጥቅስ ሊያደርሱ ይችላሉ። ጣቢያዎን በአንድ ክራውለር አንድ ጥያቄ በመላክ ይፈትሹ።

ስለ ራስዎ ምርት ChatGPT ይጠይቃሉ፤ እሱ ግን ተፎካካሪን፣ የግምገማ ጣቢያን እና የፎረም ክርን ይጠቅሳል። አንዳንዴ ይህ የይዘት ጉዳይ ነው። ብዙ ጊዜ ግን ፋየርዎል ለAI ክራውለሮች እምቢ ማለቱ ነው፤ ጣቢያው በብራውዘር ስለሚሠራ በቡድንዎ ውስጥ ማንም አላየውም።

በዚህ ገጽ ላይ
  1. ምን ሞከርን?
  2. ምን አገኘን?
  3. ለምን ይከሰታል፣ መቼስ ምርጫ ነው?
  4. ትልልቆቹ ጣቢያዎች የተሻሉ ናቸው?
  5. ጣቢያዬን በአስር ደቂቃ እንዴት ልፈትሽ?
  6. እነዚህ ቁጥሮች ምን ያህል አስተማማኝ ናቸው?

ምን ሞከርን?

ከአንድ አድራሻ አንድን ገጽ ብዙ ጊዜ እንጠይቃለን፤ አንድ ጊዜ እንደ ተራ ብራውዘር፣ ከዚያ እያንዳንዳቸውን እንደ 14 AI እና የፍለጋ ክራውለሮች፤ ከእነዚህም ውስጥ ከOpenAI GPTBot፣ OAI-SearchBot እና ChatGPT-User፣ ከAnthropic ClaudeBot እና Claude-SearchBot፣ ከPerplexity ደግሞ PerplexityBot ይገኙበታል። ብራውዘሩ ገጹን ካገኘ እና ክራውለር 401፣ 403፣ 406፣ 429፣ 451፣ 503 ወይም የፈተና ገጽ ከተቀበለ፣ ጣቢያው ያንን ክራውለር እያባረረ ነው።

ናሙናው በአሜሪካ፣ በእንግሊዝ እና በፈረንሳይ ያሉ 218 የንግድ ድር ጣቢያዎች ሲሆን ከኖቬምበር 18 እስከ 21 ቀን 2026 ኦዲት ተደርገዋል። ሙሉውን ሙከራ በ165 ላይ ማካሄድ ቻልን። ሌሎቹ 53 ተራ የብራውዘር ጥያቄያችንን እንኳ ከልክለዋል ወይም አልመለሱም፤ ስለዚህ ከመገመት ይልቅ ትተናቸዋል።

ምን አገኘን?

ለምን ይከሰታል፣ መቼስ ምርጫ ነው?

አብዛኛው ሆን ተብሎ የተደረገ ሳይሆን አይቀርም። ብዙ ባለቤቶች ይዘታቸው ሞዴሎችን ለማሠልጠን እንዲውል አይፈልጉም፤ ስክራፐሮችን የሚከለክሉ የቦት መከላከያ ቅንብሮችም በቀላሉ ይበራሉ። ይህ ትክክለኛ ምርጫ ነው።

ችግሩ የAI ኩባንያዎች ለሥልጠና እና ለፍለጋ የተለያዩ ክራውለሮችን ማሠማራታቸው ነው። የሥልጠና ክራውለርን ለመከልከል የፍለጋውን መከልከል አያስፈልግም፤ ገጽዎ በመልስ ውስጥ እንዲጠቀስ ሊያደርግ የሚችለው ደግሞ የፍለጋ ክራውለሩ ነው።

ትልልቆቹ ጣቢያዎች የተሻሉ ናቸው?

በትክክል አይደለም። በ1,000 በጣም ታዋቂ ዶሜኖች ላይ ባደረግነው የrobots.txt ሪፖርት፣ robots.txt ካላቸው ጣቢያዎች 29.9% ቢያንስ አንድ የAI ሥልጠና ክራውለር ይከለክላሉ፤ ከእነዚህም 63.2% ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክራውለር ይከለክላሉ። ሥልጠናን ከልክለው ሁሉንም የAI ፍለጋ ክራውለሮች የሚፈቅዱት 11.0% ብቻ ናቸው፤ አብዛኞቹ ሳይፈልጉት አይቀሩም የነበረው ይህ አቀማመጥ ነው።

ጣቢያዬን በአስር ደቂቃ እንዴት ልፈትሽ?

  1. yoursite.com/robots.txt ይክፈቱ። ለሚያስቡለት እያንዳንዱ የAI ክራውለር፣ አንድ ቡድን በስም ጠቅሶት እንደሆነ እና ቡድኑ ምን እንደሚል ይመልከቱ። ክራውለርን በስም የሚጠቅስ ቡድን አጠቃላዩን የ* ቡድን ሙሉ በሙሉ ይተካል።
  2. ፋይሉ የሚለውን ሳይሆን ሰርቨሩ የሚያደርገውን ይፈትሹ። ዋና ገጽዎን እንደ ብራውዘር እና እንደ ክራውለር ይጠይቁ። 403፣ 429፣ Just a moment... የሚል ርዕስ ያለው ገጽ ወይም ከብራውዘሩ በጣም ያነሰ ምላሽ የፋየርዎል እገዳ ምልክት ነው።
  3. ረዳቱን ይጠይቁ። ፍለጋ በርቶ ሳለ፣ ገዢዎችዎ የሚጠይቋቸውን ጥያቄዎች ChatGPT ወይም Perplexity ይጠይቁ እና የትኞቹን ጣቢያዎች እንደሚጠቅስ ይመልከቱ። መዳረሻው ጥሩ ሆኖ አሁንም ካልተጠቀሱ፣ ችግሩ የይዘት እንጂ የመዳረሻ አይደለም።

እነዚህ ቁጥሮች ምን ያህል አስተማማኝ ናቸው?

እንደ ቆጠራ ሳይሆን እንደ አዝማሚያ ይመልከቷቸው። ናሙናው በዘፈቀደ የተመረጠ አይደለም፤ እነዚህ ኩባንያዎች በማስታወቂያ ቤተ-መዛግብት፣ በሥራ ማስታወቂያ ገጾች እና በካርታ ዝርዝሮች የተገኙ ናቸው። እኛ ከአንድ አድራሻ በuser agent እንሞክራለን፤ እውነተኛዎቹ ክራውለሮች ግን አቅራቢዎቻቸው ከሚያትሙት አድራሻዎች ይመጣሉ፤ ስለዚህ አንዳንድ ፋየርዎሎች እውነተኞቹን በተለየ መንገድ ሊይዙ ይችላሉ። እንዲሁም እገዳ ሁልጊዜ ስህተት አይደለም።

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

ምን ያህል ድር ጣቢያዎች የAI ክራውለሮችን ይከለክላሉ?

ሊሞከሩ በሚችሉ 165 የንግድ ድር ጣቢያዎች ኦዲታችን፣ 38% ቢያንስ አንድ የAI ክራውለርን በሰርቨር ደረጃ መልሰዋል፤ አብዛኛው የሥልጠና እና የስክራፐር ቦቶች ናቸው። ወደ 10% የሚሆኑት ደግሞ የAI ፍለጋ ክራውለር ከልክለዋል።

GPTBot መከልከል ጣቢያዬን ከChatGPT ፍለጋ ያስወጣዋል?

አያስወጣም። OpenAI ለክራውለሮቹ እያንዳንዱ የrobots.txt ቅንብር ራሱን የቻለ እንደሆነ ይናገራል፤ GPTBot ከሥልጠና ጋር፣ OAI-SearchBot ደግሞ ከChatGPT ፍለጋ ጋር ይያያዛል። አንዱን መከልከል ሌላውን አይከልክልም።

ጣቢያ ያለ robots.txt ክራውለርን እንዴት ሊከለክል ይችላል?

የፋየርዎል፣ የCDN ወይም የቦት መከላከያ ደንብ ለክራውለር 403፣ 429 ወይም የፈተና ገጽ ሊመልስ ይችላል። robots.txt ይህንን ፈጽሞ አያሳይም፤ ስለዚህ ገጹን እንደ ክራውለር በመጠየቅ መሞከር ያስፈልጋል።

ክራውለርን መመለስ ሁልጊዜ ስህተት ነው?

አይደለም። ብዙ ባለቤቶች የሥልጠና ክራውለሮችን እና ስክራፐሮችን ማራቅ ይፈልጋሉ። ስህተቱ በድንገት የፍለጋ ክራውለሮችን መከልከል ነው፤ ምክንያቱም ገጽዎን ሊጠቅሱ የሚችሉት እነሱ ናቸው።

ምንጮች

ተጨማሪ ጽሑፎች