አንድ ድረ-ገጽ የAI ክሮውለሮችን እንደሚያግድ እንዴት እንደሚፈተሽ
ማንኛውንም አድራሻ ያስገቡ፣ GPTBot፣ ClaudeBot፣ PerplexityBot እና ሌሎች የAI ክሮውለሮችን እንደሚያግድ ይመልከቱ፦ በrobots.txt ውስጥ፣ በፋየርዎል ላይ ወይም በሁለቱም።
ነጻ · ምዝገባ የለም · ውጤት በ30 ሰከንድ
የትኞቹ ክሮውለሮች ታግደዋል
የሥልጠና፣ የፍለጋ እና የተጠቃሚ ክሮውለሮች ለየብቻ ይታያሉ፤ ምክንያቱም GPTBotን ማገድ OAI-SearchBotን አያግድም፣ ClaudeBotን ማገድም Claude-SearchBotን አያግድም።
ውሳኔ የሚሰጠው መስመር
ለእያንዳንዱ ክሮውለር robots.txt በRFC 9309 ደንቦች ይነበባል፦ ስሙን የሚጠቅሰው ቡድን፣ ወይም በምትኩ User-agent: *፣ እና አሸናፊው ደንብ።
የፋየርዎል እምቢታዎች
ገጹ እንደ 14 ክሮውለሮች እና እንደ መደበኛ አሳሽ ይጠየቃል። እገዳዎች እና የchallenge ገጾች ምልክት ይደረግባቸዋል፣ የመለሰው ፋየርዎልም ይጠራል።
ለእያንዳንዱ ግኝት መፍትሔ
እያንዳንዱ ግኝት ሊያደርጉት የሚገባውን ለውጥ ይዞ ይመጣል። ነጻው ፍተሻ ውጤትዎን እና የመጀመሪያውን ግኝት ያሳያል፤ ሙሉው ሪፖርት $29 ነው፣ አንድ ጊዜ ብቻ።
አንድ ድረ-ገጽ የAI ክሮውለሮችን በሁለት ቦታ ሊያግድ ይችላል፦ ክሮውለሮች እንዲርቁ በሚጠይቀው robots.txt ውስጥ እና በእርግጥ በሚከለክላቸው ሰርቨር ወይም ፋየርዎል ላይ። በrobots.txt ውስጥ የእያንዳንዱን ክሮውለር token ይፈልጉ፣ ከሌለ ደግሞ የUser-agent: * ቡድንን ይመልከቱ፤ ከዚያም ገጹን እንደ ክሮውለሩ አምጥተው አሳሽ ከሚያገኘው ጋር ያነጻጽሩ። አንድ የአሳሽ ቅጥያ የrobots.txt ክፍሉን ለ16 የAI ክሮውለሮች በአንድ ጠቅታ ይሠራል።
በ3 ደረጃዎች በእጅ ይፈትሹ
- ክሮውለሩን ይምረጡ
እያንዳንዱ የAI ኩባንያ የተለያዩ ክሮውለሮችን ያንቀሳቅሳል። ሥልጠና፦
GPTBot፣ClaudeBot። ፍለጋ፦OAI-SearchBot፣Claude-SearchBot፣PerplexityBot። በሰው ጥያቄ፦ChatGPT-User፣Claude-User፣Perplexity-User። - የrobots.txtን ለእሱ ያንብቡ
https://example.com/robots.txtይክፈቱ እና ክሮውለሩን የሚጠቅሰውን ቡድን ያግኙ። ምንም ቡድን ከሌለ የUser-agent: *ቡድን ይተገበራል፤ ሁለቱም ከሌሉ ሁሉም ነገር ተፈቅዷል። - ገጹን እንደ ክሮውለሩ ያምጡ
ገጹን በክሮውለሩ user agent ይጠይቁ እና ሁኔታውን እና መጠኑን ከአሳሽ ጋር ያወዳድሩ። 403፣ የchallenge ገጽ ወይም በጣም ትንሽ የሆነ 200 ፋየርዎሉ እንደሚከለክል ያሳያል።
ተደጋግመው የሚጠየቁ ጥያቄዎች
robots.txt የሌለው ድረ-ገጽ ለAI ክሮውለሮች ክፍት ነው?
አዎ፣ ከrobots.txt አንጻር። ለrobots.txt 404 ማለት ምንም ደንብ የለም ማለት ነው፤ ስለዚህ ማንኛውም ክሮውለር ማንኛውንም ገጽ ማምጣት ይችላል። ቢሆንም ፋየርዎል አሁንም ክሮውለሮችን ሊያግድ ይችላል።
ቅጥያው የፋየርዎል እገዳዎችን ያሳያል?
አያሳይም። robots.txtን ከአሳሽዎ ያነባል፤ ይህም ድረ-ገጹ ክሮውለሮችን ምን እንደሚጠይቅ ያሳያል። የፋየርዎል እና የቦት መከላከያ እገዳዎችን ለማየት እንደ ክሮውለሩ የሚላክ ጥያቄ ያስፈልጋል፤ ይህንንም በaiseewhy.com ላይ ያለው ሙሉ ፍተሻ ይሠራል።
የእኔ ያልሆነን ድረ-ገጽ መፈተሽ እችላለሁ?
አዎ። robots.txt ይፋዊ ነው፤ ቅጥያውም የሚያነበው ድረ-ገጹ የሚያትማቸውን robots.txt እና llms.txt ፋይሎች ብቻ ነው፤ እነዚህም እያንዳንዱ ክሮውለር የሚያነባቸው ተመሳሳይ ፋይሎች ናቸው።
ሙሉውን መመሪያ ያንብቡ
ከለውጥ በኋላ የራስዎን ድረ-ገጽ እየፈተሹም ይሁን ከመመካትዎ በፊት የሌላ ሰውን ድረ-ገጽ እየተመለከቱ፣ «ይህ ድረ-ገጽ የAI ክሮውለሮችን ያግዳል?» ለሚለው ጥያቄ ትክክለኛ መልስ አለ። መልሱ የትኛውን ክሮውለር ማለትዎ እንደሆነ ይወሰናል፤ ምክንያቱም የAI ኩባንያዎች ለስልጠና፣ ለፍለጋ እና ለቀጥታ ጉብኝቶች የተለያዩ ክሮውለሮችን ያሠራሉ፣ አንድ ድረ-ገጽም እያንዳንዳቸውን በተለየ መንገድ ሊያስተናግድ ይችላል። ይህ መመሪያ ከፈጣኑ እስከ ሙሉው ድረስ ሦስት ፍተሻዎችን ያሳያል።
አንድ ድረ-ገጽ የAI ክሮውለሮችን የት ሊያግድ ይችላል?
ሦስት ንብርብሮች አሉ፤ አንድ ክሮውለር ገጹን ለመጠቀም ሁሉንም ማለፍ አለበት።
- robots.txt፦ ሕግ አክባሪ ክሮውለሮች ማንኛውንም ነገር ከማምጣታቸው በፊት የሚያነቡት ይፋዊ የደንቦች ፋይል። ጥያቄ እንጂ መቆለፊያ አይደለም።
- ሰርቨሩ፣ CDN ወይም ፋየርዎል፦ በእርግጥ ምን እንደሚላክ የሚወስነው እሱ ነው። የቦት መከላከያ ደንብ robots.txt ቢፈቅድለትም ለክሮውለሩ በ403፣ በ429 ወይም በchallenge ገጽ ሊመልስ ይችላል።
- ገጹ ራሱ፦ ዋናው ጽሑፍ የሚታየው JavaScript ከሠራ በኋላ ብቻ ከሆነ፣ የመጀመሪያውን HTML የሚያነብ ክሮውለር ምንም ነገር ባያግደውም ባዶ የሚመስል ገጽ ያገኛል።
አብዛኞቹ ፈጣን ፍተሻዎች የሚመለከቱት የመጀመሪያውን ንብርብር ብቻ ነው። ሌሎቹን ሁለቱን እስካስታወሱ ድረስ ይህ ጥሩ ጅምር ነው።
robots.txtን ለአንድ የAI ክሮውለር እንዴት ማንበብ እችላለሁ?
https://example.com/robots.txtን በአሳሽ ይክፈቱ እና ክሮውለሩን የሚመለከተውን ቡድን ያግኙ። አንድ ቡድን በአንድ ወይም ከዚያ በላይ የUser-agent መስመሮች ይጀምራል። ክሮውለሩ እንደ GPTBot ያለውን የራሱን token በስም የሚጠቅሰውን ቡድን ይጠቀማል፤ ማዛመዱ የፊደል መጠንን አይለይም። በስም የሚጠቅሰው ቡድን ከሌለ የUser-agent: * ቡድንን ይጠቀማል። ሁለቱም ከሌሉ ሁሉም ነገር ይፈቀዳል።
በቡድኑ ውስጥ ረጅሙ የሚዛመድ መንገድ ያለው ደንብ ያሸንፋል፤ Allow እና Disallow እኩል ርዝመት ሲኖራቸው ደግሞ Allow ያሸንፋል። ስለዚህ ከታች ያለው ፋይል GPTBotን ከመላው ድረ-ገጽ ያግዳል፣ ሌሎቹን ክሮውለሮች ሁሉ ግን ያስገባል፦
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / ፋይሉ እንዴት እንደሚመልስም ይመልከቱ። በRFC 9309 መሠረት 404 ማለት ምንም ደንብ የለም፣ ስለዚህ ሁሉም ነገር ይፈቀዳል ማለት ነው። የሰርቨር ስህተት (5xx) ወይም ምንም መልስ አለመኖር ክሮውለሩ መላውን ድረ-ገጽ እንደተከለከለ መቁጠር አለበት ማለት ነው። HTML ገጽ የሚመልስ የrobots.txt አድራሻ የተለመደ ስህተት ነው፦ ክሮውለሮች በውስጡ ትክክለኛ ደንብ አያገኙም።
ሁሉንም የAI ክሮውለሮች በአንድ ጊዜ እንዴት መፈተሽ እችላለሁ?
ከአንድ በላይ ክሮውለር ሲያሳስብዎ ፋይሉን በእጅ ማንበብ ይዘገያል። እያንዳንዱ የAI ኩባንያ የተለያዩ ሥራዎች ያሏቸውን በርካታ ክሮውለሮች ያሠራል፦
- የስልጠና ክሮውለሮች ለሞዴል ስልጠና ይዘት ይሰበስባሉ፦
GPTBot፣ClaudeBot፣CCBot፣Bytespider፣meta-externalagent፣ እንዲሁም በrobots.txt ውስጥ ብቻ የሚታዩትGoogle-ExtendedእናApplebot-Extendedtokens። - የፍለጋ ክሮውለሮች የAI መልሶች እንዲጠቅሷቸው ገጾችን ኢንዴክስ ያደርጋሉ፦
OAI-SearchBot፣Claude-SearchBot፣PerplexityBot። - የተጠቃሚ ክሮውለሮች አንድ ሰው ረዳቱን ሲጠይቅ ገጹን ያመጣሉ፦
ChatGPT-User፣Claude-User፣Perplexity-User።
ለChrome የሆነው ነጻው «የAI ክሮውለር ፈታሽ» ቅጥያ ይህንን በአንድ ጠቅታ ይሠራል። ማንኛውንም ገጽ ይክፈቱ፣ አዶውን ጠቅ ያድርጉ፤ ቅጥያው የዚያን ድረ-ገጽ robots.txt አንብቦ ለእያንዳንዳቸው 16 ክሮውለሮች ገጹ ተፈቅዷል ወይስ አልተፈቀደም፣ የሚወስነውም የትኛው መስመር እንደሆነ ያሳያል። እንዲሁም የContent-Signal ምርጫዎችን፣ ድረ-ገጹ llms.txt እንዳለው እንደሌለው እና በrobots.txt ውስጥ የተዘረዘሩትን sitemaps ያሳያል። በአሳሽዎ ውስጥ ይሠራል፣ መለያ አያስፈልገውም፣ የሚያነበውም ጠቅ ያደረጉበትን ድረ-ገጽ ብቻ ነው።
ያለ Chrome ደግሞ በaiseewhy.com ላይ ያለው ነጻ የrobots.txt ፈታሽ ለሚለጥፉት URL ተመሳሳይ መልስ ይሰጣል።
ፋየርዎሉ እንደሚያሳልፋቸው እንዴት መፈተሽ እችላለሁ?
robots.txt ድረ-ገጹ ምን እንደሚጠይቅ ያሳያል። አንድ ክሮውለር በእርግጥ ምን እንደሚያገኝ ለማየት ገጹን ሁለት ጊዜ ይጠይቁ፣ አንዴ እንደ አሳሽ፣ አንዴ ደግሞ በክሮውለሩ user agent፣ ከዚያም የሁኔታ ኮዱን እና የመልሱን መጠን ያነጻጽሩ፦
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page አሳሹ 200 ሲያገኝ ክሮውለሩ 403፣ 429 ወይም 503፣ ወይም በጣም ያነሰ ገጽ ካገኘ፣ ፋየርዎል ወይም የቦት መከላከያ ክሮውለሩን በተለየ መንገድ እያስተናገደው ነው። እያንዳንዱ የውጭ ሙከራ አንድ ገደብ አለው፦ ጥያቄው የሚመጣው ከእርስዎ አውታረ መረብ እንጂ ከAI ኩባንያው አውታረ መረብ አይደለም። ክሮውለሮችን በታተሙ የIP አድራሻዎቻቸው የሚያምን ፋየርዎል እውነተኛውን ክሮውለር በተለየ መንገድ ሊያስተናግድ ይችላል፤ ስለዚህ የመጨረሻው ቃል የሰርቨርዎ መዝገቦች (logs) ናቸው።
በaiseewhy.com ላይ ያለው ሙሉ ፍተሻ ገጹን ከእውነተኛ አሳሽ ጎን ለጎን እንደ 16ቱም ክሮውለሮች ያመጣል፣ ክሮውለሩን የሚያግደውን ፋየርዎል ወይም ደንብ በስም ይጠቅሳል፣ እያንዳንዱ ያገኘውንም ጽሑፍ ያነጻጽራል።
የትኛውን ውጤት ማለም አለብኝ?
በሚፈልጉት ይወሰናል። በChatGPT ፍለጋ፣ በClaude እና በPerplexity መጠቀስ ከፈለጉ፣ የፍለጋ እና የተጠቃሚ ክሮውለሮች በrobots.txt መፈቀድ እና ከሰርቨሩ እውነተኛውን ገጽ ማግኘት አለባቸው። ይዘትዎ ለስልጠና እንዲውል ካልፈለጉ የስልጠና tokensን ብቻ ያግዱ። እነዚህ የተለያዩ ምርጫዎች ናቸው፦ GPTBotን ማገድ OAI-SearchBotን አያግድም፣ ClaudeBotን ማገድም Claude-SearchBotን አያግድም።
ብዙ ድረ-ገጾች እነዚህን ያደባልቃሉ። ስለ 1,000 በጣም ታዋቂ ዶሜኖች ባወጣነው የኖቬምበር 2026 ሪፖርት፣ የስልጠና ክሮውለርን ከሚያግዱ ድረ-ገጾች 63% ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክሮውለርንም ያግዳሉ፤ ይህም ገጾቻቸውን ከእነዚያ የAI መልሶች ውጭ ያደርጋል።
ቀጣይ እርምጃዎች
- robots.txt tester እና ፈታሽ ለAI ክሮውለሮች
- የllms.txt ፈታሽ እና አረጋጋጭ
- የሙሉ ሪፖርት ምሳሌ ይመልከቱ
- የAI ክሮውለር ክትትል
- እቅዶች እና ዋጋዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ምንጮች
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: የAI ክሮውለር መዳረሻ ሪፖርት፣ 2026-11