AI ክሮውለሮችን ሳያግዱ እንዴት ማዘግየት ይቻላል
ከማገድ ይልቅ rate limit ያድርጉ። ከመጠን በላይ ለሆኑ የክሮውለር ጥያቄዎች በ429 ወይም በ503 እና በRetry-After header ይመልሱ፣ ለእያንዳንዱ ክሮውለር የራሱን በጀት ይስጡ፣ /robots.txtን ከሁሉም ገደቦች ውጭ ያድርጉ፣ ክሮውለሮችንም ከcache ያገልግሉ። በrobots.txt ውስጥ ያለው Crawl-delay የሚረዳው ኦፕሬተሩ በሚገልጸው ቦታ ብቻ ነው፦ Anthropic እና Bing ይገልጹታል፣ Google እንደማይደግፈው ይናገራል፣ OpenAI እና Perplexity ደግሞ አይጠቅሱትም። የAI ፍለጋ ክሮውለሮችን እንደተፈቀዱ ያቆዩ፣ አለበለዚያ የሚመግቧቸውን መልሶችም ይለቃሉ።
ክሮውለር በሰዓት በሺዎች የሚቆጠሩ ጥያቄዎችን ሲልክ ፈጣኑ መፍትሔ Disallow: / ወይም የፋየርዎል እገዳ ነው። ለስልጠና ክሮውለር ይህ ተገቢ ምርጫ ሊሆን ይችላል። ለOAI-SearchBot፣ ለClaude-SearchBot ወይም ለPerplexityBot ግን ገጾችዎን ሊታዩባቸው ከሚፈልጓቸው የAI መልሶች ያስወግዳል። ብዙ ጊዜ ጭነቱን ያንን ሳይተዉ፣ ክሮውለሮች አስቀድመው በሚረዷቸው ምልክቶች መቀነስ ይቻላል፦ የሁኔታ ኮዶች፣ caching እና ለአንዳንድ ኦፕሬተሮች Crawl-delay።
በዚህ ገጽ ላይ
ጭነቱን በእውነት እየፈጠረ ያለው የትኛው ክሮውለር ነው?
ማንኛውንም ነገር ከመቀየርዎ በፊት ይመልከቱ። በaccess logsዎ ውስጥ ጥያቄዎችን በuser agent እና በሰዓት ይቁጠሩ፣ የምንጭ IPዎቹንም እያንዳንዱ አቅራቢ ከሚያትማቸው ክልሎች ጋር ያረጋግጡ፤ የሰርቨር logsን ለAI ክሮውለሮች ስለመፈተሽ ያለው መመሪያችን ትዕዛዞቹን ይዟል። ሁለት ግኝቶች ብዙ ጊዜ ይመጣሉ፦
- ከባዱ ትራፊክ AI ክሮውለር ነኝ የሚል ብቻ ነው። IPዎቹ በአቅራቢው ዝርዝር ውስጥ ከሌሉ ለእውነተኛው ክሮውለር የሚሆኑ ደንቦች አይረዱም። በምትኩ ያንን ትራፊክ በምንጩ ይገድቡት ወይም ያግዱት።
- እውነተኛ ክሮውለር እንደ ማያልቁ የቀን መቁጠሪያ ገጾች፣ የማጣሪያ ጥምረቶች ወይም በURLs ውስጥ ያሉ session IDs ባሉ crawl trap ውስጥ ተይዟል። ወጥመዱን ለእነዚያ paths በ
Disallowደንቦች መዝጋት ከማንኛውም rate limit የበለጠ ያድናል።
ክሮውለሮችንም በሥራቸው ይለዩ። እንደ GPTBot እና ClaudeBot ያሉ የስልጠና ክሮውለሮች በAI ፍለጋ ውስጥ እንዲጠቀሱ የሚያደርጉዎት አይደሉም፣ ስለዚህ ችግሩ ከእነሱ አንዱ ከሆነ እሱን መከልከል ምክንያታዊ አማራጭ ነው። የዚህ መመሪያ ቀሪ ክፍል ማቆየት ለሚፈልጓቸው ክሮውለሮች ነው።
Crawl-delay ለAI ክሮውለሮች ይሠራል?
Crawl-delay የRFC 9309 አካል አይደለም፣ ስለዚህ እያንዳንዱ ኦፕሬተር ያነበው እንደሆነ ራሱ ይወስናል። ከኅዳር 2026 ጀምሮ ሰነዶቹ የሚሉት ይህ ነው፦
- Anthropic፦ ይደገፋል። የእገዛ ገጹ የክሮውሊንግ እንቅስቃሴን ለመገደብ መደበኛ ያልሆነውን የ
Crawl-delayቅጥያ እንደሚደግፍ ይገልጻል፣ በClaudeBotቡድን ውስጥCrawl-delay: 1ን እንደ ምሳሌ ያቀርባል። - Microsoft Bing፦ ይደገፋል። የBing webmaster ብሎግ እሴቱን
bingbotቢበዛ አንድ ገጽ የሚክሮውልበት ከ1 እስከ 30 ሰከንድ ያለ የጊዜ መስኮት ብሎ ይገልጸዋል፣ በrobots.txt ውስጥ ያለው crawl delay በBing Webmaster Tools ውስጥ ያሉትን የክሮውል ቅንብሮች እንደሚሽርም ይናገራል። - Google፦ አይደገፍም። የGoogle የrobots.txt ሰነድ
crawl-delayን የማይደግፈው መስክ ብሎ ይሰይመዋል። - OpenAI እና Perplexity፦ የክሮውለር ገጾቻቸው አይጠቅሱትም፣ ስለዚህ በ
GPTBot፣ በOAI-SearchBotወይም በPerplexityBotላይ ያለው ውጤት አልተገለጸም።
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ የቡድኑን አመክንዮ ልብ ይበሉ። በራሱ ስም ቡድን የሚያገኝ ክሮውለር የUser-agent: * ቡድንን ሙሉ በሙሉ ችላ ይላል፣ ስለዚህ Crawl-delayን ብቻ የያዘ የClaudeBot ቡድን ለሌሎች ሁሉ ያዘጋጇቸውን የDisallow ደንቦች በሙሉ ይጥላል። ከላይ እንዳለው ይድገሟቸው። Bing Crawl-delayን ከሁለቱም ቡድን የሚያነበው ልዩ ሁኔታ ብሎ ይገልጸዋል፣ ይህንን ግን ለሌሎች ክሮውለሮች መገመት የለብዎትም።
429 እና 503 ምላሾች ክሮውለሮችን እንዴት ያዘገያሉ?
ለጭነት ጫፎች ክሮውለሮች እንዲያከብሩት የተሠሩለት ምልክት የሁኔታ ኮዱ ነው። በRFC 6585 የተገለጸው 429 Too Many Requests ደንበኛው በተወሰነ ጊዜ ውስጥ በጣም ብዙ ጥያቄዎችን ልኳል ማለት ነው፣ ምን ያህል መጠበቅ እንዳለበት የሚገልጽ Retry-After headerም ሊይዝ ይችላል። 503 Service Unavailable ሰርቨሩ አሁን መቋቋም እንደማይችል ይገልጻል።
Google ይህንን የGooglebotን የክሮውል ፍጥነት በፍጥነት ለመቀነስ የሚያገለግል መንገድ አድርጎ ይገልጸዋል፦ ለአንዳንድ የክሮውል ጥያቄዎች ከ200 ይልቅ 500፣ 503 ወይም 429 ይመልሱ። ይህ ለመላው hostname የክሮውል ፍጥነትን እንደሚቀንስ፣ Retry-After ደግሞ የሰከንዶች ቁጥር ወይም ቀን ሊይዝ እንደሚችል ይገልጻል።
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. አጭር ያድርጉት። Google ይህንን ከአንድ ወይም ከሁለት ቀን በላይ እንዳያደርጉ ይመክራል፣ ምክንያቱም እነዚህን ኮዶች ለበርካታ ቀናት የሚመልስ URL ከኢንዴክሱ ሊወገድ ይችላል። ለዘላቂ ቅነሳ Google በምትኩ በSearch Console በኩል ልዩ ጥያቄ ያቀርባል።
OpenAI፣ Anthropic እና Perplexity ክሮውለሮቻቸው ለ429፣ ለ503 ወይም ለRetry-After እንዴት ምላሽ እንደሚሰጡ አይገልጹም። ኮዶቹ ያነሰ ለመጠየቅ መደበኛው መንገድ ናቸው፣ እያንዳንዱ AI ክሮውለር ምን ያህል በፍጥነት ወደ ኋላ እንደሚል ግን ሊያገኙት የሚችሉት መረጃ አይደለም።
ለAI ክሮውለሮች rate limit እንዴት አዘጋጃለሁ?
ለሁሉም ትራፊክ አንድ ገደብ ከማድረግ ይልቅ ለእያንዳንዱ ክሮውለር የራሱን በጀት ይስጡ፣ ከበጀቱ በላይ ለሆኑ ጥያቄዎችም በ429 ይመልሱ። በnginx ውስጥ የlimit_req module ይህንን ያደርጋል። ባዶ key ያላቸው ጥያቄዎች አይቆጠሩም፣ ስለዚህ ለክሮውለር user agents ብቻ key የሚመልስ map የሰው ጎብኚዎችን አይነካም። እዚህ እያንዳንዱ ክሮውለር በደቂቃ 60 ጥያቄዎችን ከ20 burst ጋር ያገኛል፦
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} እዚህ ያለው key user agentኡ ነው፣ ስለዚህ የክሮውለርን ስም የሚቀዳ ማንኛውም ሰው የዚያን ክሮውለር በጀት ይጋራል። ለrate limit ይህ ተቀባይነት አለው። ለመፍቀድ ደንብ ግን የአቅራቢውን የታተሙ IP ክልሎችም ያዛምዱ።
በCloudflare ላይ የrate limiting ደንቦች ተመሳሳዩን ሥራ በedge ላይ ይሠራሉ። በFree ዕቅድ ላይ አንድ ደንብ ያገኛሉ፣ በ10 ሰከንድ ውስጥ በIP የሚቆጠር፣ የደንቡ አገላለጽም pathኑን እና የVerified Bot መስኩን ሊጠቀም ይችላል። ጥያቄዎችን በብዙ አድራሻዎች ላይ ለሚያሰራጩ ክሮውለሮች በIP መቁጠር ሻካራ ነው፣ ከፍ ያሉ ዕቅዶችም ተጨማሪ የመቁጠሪያ አማራጮችን ይጨምራሉ። ነባሪው ምላሽ 429 ነው፣ ሌላ የ4xx ኮድ እና የራስዎን body ማዘጋጀትም ይችላሉ። AI Crawl Control ለእያንዳንዱ ክሮውለር Allow፣ Block እና በግል ቤታ Charge ያቀርባል፣ የፍጥነት ቅንብር ግን የለውም።
ምንም ቢጠቀሙ /robots.txtን ከገደቡ ውጭ ያድርጉት። RFC 9309 ለrobots.txt የሰርቨር ስህተት ማለት ክሮውለሩ መላው ድረ-ገጽ እንደተከለከለ መገመት አለበት ማለት እንደሆነ ይገልጻል፣ Google ደግሞ እንደ ጎደለ ፋይል ከሚቆጥራቸው የ4xx ኮዶች 429ን ያስወጣል።
caching የክሮውለር ጭነትን ሊቀንስ ይችላል?
ብዙ ጊዜ ከrate limit የበለጠ። ክሮውለሮች በአብዛኛው ለእያንዳንዱ ጎብኚ ተመሳሳይ የሆኑ ይፋዊ ገጾችን ይጠይቃሉ፣ ስለዚህ ከCDN ወይም ከpage cache ማገልገላቸው ውድ renders ወደ ርካሽ hits ይቀይራል። cacheዎ ለክሮውለር user agents የተለየ፣ ያልተሸጎጠ ልዩነት እንደማያቆይ ያረጋግጡ።
Conditional requests ደግሞ ይረዳሉ። Google ክሮውለሮቹ HTTP cachingን በETag እና If-None-Match፣ እንዲሁም በLast-Modified እና If-Modified-Since እንደሚደግፉ፣ ሁለቱም ሲኖሩ ደግሞ ETagን እንደሚጠቀሙ ይገልጻል። የOpenAI፣ የAnthropic እና የPerplexity የክሮውለር ገጾች ክሮውለሮቻቸው conditional requests ይልኩ እንደሆነ አይገልጹም፣ ስለዚህ በዚያ ቁጠባ ላይ የሚተማመኑት ለGoogle ብቻ ነው።
ክሮውለሮችን ሲያዘገዩ ምን ማስወገድ አለብኝ?
- የአቅራቢን IP ክልሎች በፋየርዎል ማገድ። Anthropic ይህ በትክክል ላይሠራ ወይም ከስልጠና የመውጣት ምርጫን በቦታው ላያቆይ እንደሚችል ያስጠነቅቃል፣ ምክንያቱም ቦቶቹ robots.txtዎን እንዳያነቡ ያግዳቸዋል።
5xxወይም429ለቀናት ማቅረብ። Google እነሱን መመለሳቸውን የሚቀጥሉ URLs ከኢንዴክሱ ሊወገዱ እንደሚችሉ ይገልጻል።- የቦት ጥበቃን እንደ ፍጥነት መቀነሻ መጠቀም። የCloudflare Bot Fight Mode ለቦቶች በስሌት ውድ የሆኑ challenges ያቀርባል፣ በWAF custom rules ሊዘለልም አይችልም፣ ስለዚህ ማቆየት የሚፈልጓቸውን ክሮውለሮች ነጻ ማድረግ አይችሉም።
- bandwidth ለመቆጠብ የፍለጋ ክሮውለርን መከልከል። ለ
OAI-SearchBot፣ ለClaude-SearchBotወይም ለPerplexityBotየሚደረግDisallowእነዚያ ክሮውለሮች ከሚመግቧቸው መልሶች ያስወጣዎታል።
ክሮውለሮች አሁንም እንደሚያልፉ እንዴት እፈትሻለሁ?
Rate limits በጣም ጥብቅ ሆነው ለመዘጋጀት ቀላል ናቸው። ነጻው የAISeeWhy ፍተሻ ገጽን ከእውነተኛ አሳሽ ጎን እንደ 16 የAI እና የፍለጋ ክሮውለሮች ያመጣል፣ robots.txtዎን ለእያንዳንዱ ክሮውለር ይተገብራል፣ የፋየርዎል challenge ገጾችንም ይለያል፣ ስለዚህ ለክሮውለሮች ከአሳሾች በተለየ የሚመልስ ደንብ ይታያል። ለእያንዳንዱ ክሮውለር አንድ ጥያቄ ምክንያታዊ ገደብን አያስነሳም፣ ዋናው ነጥብም ይህ ነው፦ መደበኛ ጥያቄዎች አሁንም እንደሚያልፉ ለማረጋገጥ ደንቦችን ከቀየሩ በኋላ ያሂዱት። ነጻው የAI ክሮውለር IP ፍተሻ ከlogsዎ የመጣ IP በእውነት የGPTBot ወይም የሌላ ክሮውለር መሆኑን ይነግርዎታል።
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
Google Crawl-delayን ይደግፋል?
አይደግፍም። የGoogle የrobots.txt ሰነድ crawl-delayን ከማይደግፋቸው መስኮች ውስጥ ይዘረዝራል። Googlebotን ለአጭር ጊዜ ለማዘግየት ለአንዳንድ ጥያቄዎች 503፣ 500 ወይም 429 ይመልሱ፤ ለረዥም ቅነሳ Google በSearch Console በኩል ልዩ ጥያቄ ያቀርባል።
ClaudeBot Crawl-delayን ያከብራል?
Anthropic መደበኛ ያልሆነውን የCrawl-delay ቅጥያ እንደሚደግፍ ይገልጻል። በClaudeBot ቡድን ውስጥ ያስቀምጡት፣ ከUser-agent: * ቡድንዎ ማናቸውንም የDisallow ደንቦች እዚያ ይድገሙ።
GPTBot እና PerplexityBot Crawl-delayን ይደግፋሉ?
የOpenAI እና የPerplexity የክሮውለር ገጾች Crawl-delayን አይጠቅሱም፣ ስለዚህ ውጤቱ አልተገለጸም። ከመጠን በላይ ለሆኑ ጥያቄዎች በ429 የሚመልስ በሰርቨር በኩል የሚሠራ ገደብ ይጠቀሙ።
የ429 ምላሽ ደረጃዬን ይጎዳል?
ለአጭር ጊዜ አይጎዳም። Google 429ን እና 503ን ክሮውሊንግን ለጊዜው ለመቀነስ እንደ መንገድ ይገልጻቸዋል፣ ግን እነሱን ለበርካታ ቀናት የሚመልሱ URLs ከኢንዴክሱ ሊወገዱ እንደሚችሉ ያስጠነቅቃል።
ጭነትን ለመቀነስ GPTBotን ማገድ አለብኝ?
ይችላሉ። OpenAI GPTBot ለስልጠና ሊውል የሚችል ይዘትን እንደሚክሮውል እና እያንዳንዱ የrobots.txt ቅንብር ነጻ እንደሆነ ይገልጻል፣ ስለዚህ እሱን መከልከል OAI-SearchBotን ከሚጠቀመው የChatGPT ፍለጋ አያስወጣዎትም። ጭነቱ ከOpenAI አድራሻዎች መምጣቱን ለማረጋገጥ መጀመሪያ logsዎን ይፈትሹ።
ምንጮች
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers