AI ክሮውለሮችን ሳያግዱ እንዴት ማዘግየት ይቻላል

የታተመበት

አጭር መልስ

ከማገድ ይልቅ rate limit ያድርጉ። ከመጠን በላይ ለሆኑ የክሮውለር ጥያቄዎች በ429 ወይም በ503 እና በRetry-After header ይመልሱ፣ ለእያንዳንዱ ክሮውለር የራሱን በጀት ይስጡ፣ /robots.txtን ከሁሉም ገደቦች ውጭ ያድርጉ፣ ክሮውለሮችንም ከcache ያገልግሉ። በrobots.txt ውስጥ ያለው Crawl-delay የሚረዳው ኦፕሬተሩ በሚገልጸው ቦታ ብቻ ነው፦ Anthropic እና Bing ይገልጹታል፣ Google እንደማይደግፈው ይናገራል፣ OpenAI እና Perplexity ደግሞ አይጠቅሱትም። የAI ፍለጋ ክሮውለሮችን እንደተፈቀዱ ያቆዩ፣ አለበለዚያ የሚመግቧቸውን መልሶችም ይለቃሉ።

ክሮውለር በሰዓት በሺዎች የሚቆጠሩ ጥያቄዎችን ሲልክ ፈጣኑ መፍትሔ Disallow: / ወይም የፋየርዎል እገዳ ነው። ለስልጠና ክሮውለር ይህ ተገቢ ምርጫ ሊሆን ይችላል። ለOAI-SearchBot፣ ለClaude-SearchBot ወይም ለPerplexityBot ግን ገጾችዎን ሊታዩባቸው ከሚፈልጓቸው የAI መልሶች ያስወግዳል። ብዙ ጊዜ ጭነቱን ያንን ሳይተዉ፣ ክሮውለሮች አስቀድመው በሚረዷቸው ምልክቶች መቀነስ ይቻላል፦ የሁኔታ ኮዶች፣ caching እና ለአንዳንድ ኦፕሬተሮች Crawl-delay።

በዚህ ገጽ ላይ
  1. ጭነቱን በእውነት እየፈጠረ ያለው የትኛው ክሮውለር ነው?
  2. Crawl-delay ለAI ክሮውለሮች ይሠራል?
  3. 429 እና 503 ምላሾች ክሮውለሮችን እንዴት ያዘገያሉ?
  4. ለAI ክሮውለሮች rate limit እንዴት አዘጋጃለሁ?
  5. caching የክሮውለር ጭነትን ሊቀንስ ይችላል?
  6. ክሮውለሮችን ሲያዘገዩ ምን ማስወገድ አለብኝ?
  7. ክሮውለሮች አሁንም እንደሚያልፉ እንዴት እፈትሻለሁ?

ጭነቱን በእውነት እየፈጠረ ያለው የትኛው ክሮውለር ነው?

ማንኛውንም ነገር ከመቀየርዎ በፊት ይመልከቱ። በaccess logsዎ ውስጥ ጥያቄዎችን በuser agent እና በሰዓት ይቁጠሩ፣ የምንጭ IPዎቹንም እያንዳንዱ አቅራቢ ከሚያትማቸው ክልሎች ጋር ያረጋግጡ፤ የሰርቨር logsን ለAI ክሮውለሮች ስለመፈተሽ ያለው መመሪያችን ትዕዛዞቹን ይዟል። ሁለት ግኝቶች ብዙ ጊዜ ይመጣሉ፦

ክሮውለሮችንም በሥራቸው ይለዩ። እንደ GPTBot እና ClaudeBot ያሉ የስልጠና ክሮውለሮች በAI ፍለጋ ውስጥ እንዲጠቀሱ የሚያደርጉዎት አይደሉም፣ ስለዚህ ችግሩ ከእነሱ አንዱ ከሆነ እሱን መከልከል ምክንያታዊ አማራጭ ነው። የዚህ መመሪያ ቀሪ ክፍል ማቆየት ለሚፈልጓቸው ክሮውለሮች ነው።

Crawl-delay ለAI ክሮውለሮች ይሠራል?

Crawl-delay የRFC 9309 አካል አይደለም፣ ስለዚህ እያንዳንዱ ኦፕሬተር ያነበው እንደሆነ ራሱ ይወስናል። ከኅዳር 2026 ጀምሮ ሰነዶቹ የሚሉት ይህ ነው፦

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

የቡድኑን አመክንዮ ልብ ይበሉ። በራሱ ስም ቡድን የሚያገኝ ክሮውለር የUser-agent: * ቡድንን ሙሉ በሙሉ ችላ ይላል፣ ስለዚህ Crawl-delayን ብቻ የያዘ የClaudeBot ቡድን ለሌሎች ሁሉ ያዘጋጇቸውን የDisallow ደንቦች በሙሉ ይጥላል። ከላይ እንዳለው ይድገሟቸው። Bing Crawl-delayን ከሁለቱም ቡድን የሚያነበው ልዩ ሁኔታ ብሎ ይገልጸዋል፣ ይህንን ግን ለሌሎች ክሮውለሮች መገመት የለብዎትም።

429 እና 503 ምላሾች ክሮውለሮችን እንዴት ያዘገያሉ?

ለጭነት ጫፎች ክሮውለሮች እንዲያከብሩት የተሠሩለት ምልክት የሁኔታ ኮዱ ነው። በRFC 6585 የተገለጸው 429 Too Many Requests ደንበኛው በተወሰነ ጊዜ ውስጥ በጣም ብዙ ጥያቄዎችን ልኳል ማለት ነው፣ ምን ያህል መጠበቅ እንዳለበት የሚገልጽ Retry-After headerም ሊይዝ ይችላል። 503 Service Unavailable ሰርቨሩ አሁን መቋቋም እንደማይችል ይገልጻል።

Google ይህንን የGooglebotን የክሮውል ፍጥነት በፍጥነት ለመቀነስ የሚያገለግል መንገድ አድርጎ ይገልጸዋል፦ ለአንዳንድ የክሮውል ጥያቄዎች ከ200 ይልቅ 500፣ 503 ወይም 429 ይመልሱ። ይህ ለመላው hostname የክሮውል ፍጥነትን እንደሚቀንስ፣ Retry-After ደግሞ የሰከንዶች ቁጥር ወይም ቀን ሊይዝ እንደሚችል ይገልጻል።

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

አጭር ያድርጉት። Google ይህንን ከአንድ ወይም ከሁለት ቀን በላይ እንዳያደርጉ ይመክራል፣ ምክንያቱም እነዚህን ኮዶች ለበርካታ ቀናት የሚመልስ URL ከኢንዴክሱ ሊወገድ ይችላል። ለዘላቂ ቅነሳ Google በምትኩ በSearch Console በኩል ልዩ ጥያቄ ያቀርባል።

OpenAI፣ Anthropic እና Perplexity ክሮውለሮቻቸው ለ429፣ ለ503 ወይም ለRetry-After እንዴት ምላሽ እንደሚሰጡ አይገልጹም። ኮዶቹ ያነሰ ለመጠየቅ መደበኛው መንገድ ናቸው፣ እያንዳንዱ AI ክሮውለር ምን ያህል በፍጥነት ወደ ኋላ እንደሚል ግን ሊያገኙት የሚችሉት መረጃ አይደለም።

ለAI ክሮውለሮች rate limit እንዴት አዘጋጃለሁ?

ለሁሉም ትራፊክ አንድ ገደብ ከማድረግ ይልቅ ለእያንዳንዱ ክሮውለር የራሱን በጀት ይስጡ፣ ከበጀቱ በላይ ለሆኑ ጥያቄዎችም በ429 ይመልሱ። በnginx ውስጥ የlimit_req module ይህንን ያደርጋል። ባዶ key ያላቸው ጥያቄዎች አይቆጠሩም፣ ስለዚህ ለክሮውለር user agents ብቻ key የሚመልስ map የሰው ጎብኚዎችን አይነካም። እዚህ እያንዳንዱ ክሮውለር በደቂቃ 60 ጥያቄዎችን ከ20 burst ጋር ያገኛል፦

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

እዚህ ያለው key user agentኡ ነው፣ ስለዚህ የክሮውለርን ስም የሚቀዳ ማንኛውም ሰው የዚያን ክሮውለር በጀት ይጋራል። ለrate limit ይህ ተቀባይነት አለው። ለመፍቀድ ደንብ ግን የአቅራቢውን የታተሙ IP ክልሎችም ያዛምዱ።

በCloudflare ላይ የrate limiting ደንቦች ተመሳሳዩን ሥራ በedge ላይ ይሠራሉ። በFree ዕቅድ ላይ አንድ ደንብ ያገኛሉ፣ በ10 ሰከንድ ውስጥ በIP የሚቆጠር፣ የደንቡ አገላለጽም pathኑን እና የVerified Bot መስኩን ሊጠቀም ይችላል። ጥያቄዎችን በብዙ አድራሻዎች ላይ ለሚያሰራጩ ክሮውለሮች በIP መቁጠር ሻካራ ነው፣ ከፍ ያሉ ዕቅዶችም ተጨማሪ የመቁጠሪያ አማራጮችን ይጨምራሉ። ነባሪው ምላሽ 429 ነው፣ ሌላ የ4xx ኮድ እና የራስዎን body ማዘጋጀትም ይችላሉ። AI Crawl Control ለእያንዳንዱ ክሮውለር Allow፣ Block እና በግል ቤታ Charge ያቀርባል፣ የፍጥነት ቅንብር ግን የለውም።

ምንም ቢጠቀሙ /robots.txtን ከገደቡ ውጭ ያድርጉት። RFC 9309 ለrobots.txt የሰርቨር ስህተት ማለት ክሮውለሩ መላው ድረ-ገጽ እንደተከለከለ መገመት አለበት ማለት እንደሆነ ይገልጻል፣ Google ደግሞ እንደ ጎደለ ፋይል ከሚቆጥራቸው የ4xx ኮዶች 429ን ያስወጣል።

caching የክሮውለር ጭነትን ሊቀንስ ይችላል?

ብዙ ጊዜ ከrate limit የበለጠ። ክሮውለሮች በአብዛኛው ለእያንዳንዱ ጎብኚ ተመሳሳይ የሆኑ ይፋዊ ገጾችን ይጠይቃሉ፣ ስለዚህ ከCDN ወይም ከpage cache ማገልገላቸው ውድ renders ወደ ርካሽ hits ይቀይራል። cacheዎ ለክሮውለር user agents የተለየ፣ ያልተሸጎጠ ልዩነት እንደማያቆይ ያረጋግጡ።

Conditional requests ደግሞ ይረዳሉ። Google ክሮውለሮቹ HTTP cachingን በETag እና If-None-Match፣ እንዲሁም በLast-Modified እና If-Modified-Since እንደሚደግፉ፣ ሁለቱም ሲኖሩ ደግሞ ETagን እንደሚጠቀሙ ይገልጻል። የOpenAI፣ የAnthropic እና የPerplexity የክሮውለር ገጾች ክሮውለሮቻቸው conditional requests ይልኩ እንደሆነ አይገልጹም፣ ስለዚህ በዚያ ቁጠባ ላይ የሚተማመኑት ለGoogle ብቻ ነው።

ክሮውለሮችን ሲያዘገዩ ምን ማስወገድ አለብኝ?

ክሮውለሮች አሁንም እንደሚያልፉ እንዴት እፈትሻለሁ?

Rate limits በጣም ጥብቅ ሆነው ለመዘጋጀት ቀላል ናቸው። ነጻው የAISeeWhy ፍተሻ ገጽን ከእውነተኛ አሳሽ ጎን እንደ 16 የAI እና የፍለጋ ክሮውለሮች ያመጣል፣ robots.txtዎን ለእያንዳንዱ ክሮውለር ይተገብራል፣ የፋየርዎል challenge ገጾችንም ይለያል፣ ስለዚህ ለክሮውለሮች ከአሳሾች በተለየ የሚመልስ ደንብ ይታያል። ለእያንዳንዱ ክሮውለር አንድ ጥያቄ ምክንያታዊ ገደብን አያስነሳም፣ ዋናው ነጥብም ይህ ነው፦ መደበኛ ጥያቄዎች አሁንም እንደሚያልፉ ለማረጋገጥ ደንቦችን ከቀየሩ በኋላ ያሂዱት። ነጻው የAI ክሮውለር IP ፍተሻ ከlogsዎ የመጣ IP በእውነት የGPTBot ወይም የሌላ ክሮውለር መሆኑን ይነግርዎታል።

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

Google Crawl-delayን ይደግፋል?

አይደግፍም። የGoogle የrobots.txt ሰነድ crawl-delayን ከማይደግፋቸው መስኮች ውስጥ ይዘረዝራል። Googlebotን ለአጭር ጊዜ ለማዘግየት ለአንዳንድ ጥያቄዎች 503፣ 500 ወይም 429 ይመልሱ፤ ለረዥም ቅነሳ Google በSearch Console በኩል ልዩ ጥያቄ ያቀርባል።

ClaudeBot Crawl-delayን ያከብራል?

Anthropic መደበኛ ያልሆነውን የCrawl-delay ቅጥያ እንደሚደግፍ ይገልጻል። በClaudeBot ቡድን ውስጥ ያስቀምጡት፣ ከUser-agent: * ቡድንዎ ማናቸውንም የDisallow ደንቦች እዚያ ይድገሙ።

GPTBot እና PerplexityBot Crawl-delayን ይደግፋሉ?

የOpenAI እና የPerplexity የክሮውለር ገጾች Crawl-delayን አይጠቅሱም፣ ስለዚህ ውጤቱ አልተገለጸም። ከመጠን በላይ ለሆኑ ጥያቄዎች በ429 የሚመልስ በሰርቨር በኩል የሚሠራ ገደብ ይጠቀሙ።

የ429 ምላሽ ደረጃዬን ይጎዳል?

ለአጭር ጊዜ አይጎዳም። Google 429ን እና 503ን ክሮውሊንግን ለጊዜው ለመቀነስ እንደ መንገድ ይገልጻቸዋል፣ ግን እነሱን ለበርካታ ቀናት የሚመልሱ URLs ከኢንዴክሱ ሊወገዱ እንደሚችሉ ያስጠነቅቃል።

ጭነትን ለመቀነስ GPTBotን ማገድ አለብኝ?

ይችላሉ። OpenAI GPTBot ለስልጠና ሊውል የሚችል ይዘትን እንደሚክሮውል እና እያንዳንዱ የrobots.txt ቅንብር ነጻ እንደሆነ ይገልጻል፣ ስለዚህ እሱን መከልከል OAI-SearchBotን ከሚጠቀመው የChatGPT ፍለጋ አያስወጣዎትም። ጭነቱ ከOpenAI አድራሻዎች መምጣቱን ለማረጋገጥ መጀመሪያ logsዎን ይፈትሹ።

ምንጮች

ተጨማሪ ጽሑፎች