Si t'i ngadalësoni zvarritësit AI pa i bllokuar
Kufizoni shpejtësinë në vend që të bllokoni. U përgjigjuni kërkesave të tepërta të zvarritësve me 429 ose 503 dhe një header Retry-After, jepini çdo zvarritësi buxhetin e vet, mbajeni /robots.txt jashtë çdo kufiri dhe u shërbeni zvarritësve nga cache. Crawl-delay në robots.txt ndihmon vetëm aty ku operatori e dokumenton: Anthropic dhe Bing e dokumentojnë, Google thotë se nuk e mbështet, ndërsa OpenAI dhe Perplexity nuk e përmendin. Mbajini të lejuar zvarritësit e kërkimit AI, përndryshe dilni edhe nga përgjigjet që ata ushqejnë.
Kur një zvarritës dërgon mijëra kërkesa në orë, zgjidhja e shpejtë është Disallow: / ose një bllokim në firewall. Për një zvarritës trajnimi kjo mund të jetë zgjedhje e arsyeshme. Për OAI-SearchBot, Claude-SearchBot ose PerplexityBot, ajo i heq faqet tuaja nga përgjigjet e AI ku doni të shfaqeni. Shumicën e herëve ngarkesa mund të ulet pa hequr dorë nga kjo, me sinjale që zvarritësit i kuptojnë tashmë: kodet e statusit, cache dhe, për disa operatorë, Crawl-delay.
Në këtë faqe
- Cili zvarritës e shkakton realisht ngarkesën?
- A funksionon Crawl-delay për zvarritësit AI?
- Si i ngadalësojnë zvarritësit përgjigjet 429 dhe 503?
- Si të vendos një kufizim kërkesash për zvarritësit AI?
- A mund ta ulë cache ngarkesën nga zvarritësit?
- Çfarë duhet të shmang kur i ngadalësoj zvarritësit?
- Si ta kontrolloj që zvarritësit kalojnë ende?
Cili zvarritës e shkakton realisht ngarkesën?
Shikoni para se të ndryshoni ndonjë gjë. Numëroni kërkesat sipas user agent dhe sipas orës në log-et e qasjes, dhe kontrolloni IP-të burimore kundrejt gamave që publikon çdo ofrues; udhëzuesi ynë për gjetjen e zvarritësve AI në log-et e serverit ka komandat. Dy gjetje dalin shpesh:
- Trafiku i rëndë vetëm pretendon se është zvarritës AI. Nëse IP-të nuk janë në listën e ofruesit, rregullat për zvarritësin e vërtetë nuk ndihmojnë. Kufizojeni ose bllokojeni atë trafik sipas origjinës së tij.
- Një zvarritës i vërtetë ka ngecur në një kurth zvarritjeje, si faqe kalendari pa fund, kombinime filtrash ose ID sesioni në URL. Mbyllja e kurthit me rregulla
Disallowpër ato shtigje kursen më shumë se çdo kufizim kërkesash.
Ndajini zvarritësit edhe sipas detyrës. Zvarritësit e trajnimit si GPTBot dhe ClaudeBot nuk janë ata që ju bëjnë të citueshëm në kërkimin me AI, prandaj nëse problemi është njëri prej tyre, ndalimi i tij është opsion i arsyeshëm. Pjesa tjetër e këtij udhëzuesi është për zvarritësit që doni t'i mbani.
A funksionon Crawl-delay për zvarritësit AI?
Crawl-delay nuk është pjesë e RFC 9309, prandaj çdo operator vendos nëse do ta lexojë. Ja çfarë thotë dokumentacioni në nëntor 2026:
- Anthropic: i mbështetur. Faqja e tij e ndihmës thotë se mbështet zgjerimin jostandard
Crawl-delaypër të kufizuar aktivitetin e zvarritjes, meCrawl-delay: 1në një grupClaudeBotsi shembull. - Microsoft Bing: i mbështetur. Blogu i Bing për webmasterët e përshkruan vlerën si një dritare kohore nga 1 deri në 30 sekonda në të cilën
bingbotzvarrit më së shumti një faqe, dhe thotë se vonesa në robots.txt ka përparësi ndaj cilësimeve të zvarritjes në Bing Webmaster Tools. - Google: nuk mbështetet. Dokumentacioni i Google për robots.txt e përmend
crawl-delaysi fushë që nuk e mbështet. - OpenAI dhe Perplexity: faqet e tyre për zvarritësit nuk e përmendin, prandaj efekti i tij te
GPTBot,OAI-SearchBotosePerplexityBotnuk është i dokumentuar.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Kini kujdes logjikën e grupeve. Një zvarritës që gjen një grup me emrin e vet e injoron plotësisht grupin User-agent: *, prandaj një grup ClaudeBot që përmban vetëm Crawl-delay do të hiqte çdo Disallow që keni vendosur për të gjithë të tjerët. Përsëritini, si më lart. Bing e përshkruan Crawl-delay si përjashtim që e lexon nga cilido grup, por mos e supozoni këtë për zvarritës të tjerë.
Si i ngadalësojnë zvarritësit përgjigjet 429 dhe 503?
Për kulmet e ngarkesës, kodi i statusit është sinjali që zvarritësit janë ndërtuar ta respektojnë. 429 Too Many Requests, i përcaktuar në RFC 6585, do të thotë se klienti dërgoi shumë kërkesa në një kohë të caktuar, dhe mund të mbajë një header Retry-After që thotë sa duhet pritur. 503 Service Unavailable thotë se serveri nuk ia del dot tani.
Google e dokumenton këtë si mënyrën për ta ulur shpejt shpejtësinë e zvarritjes së Googlebot: ktheni 500, 503 ose 429 në vend të 200 për disa kërkesa zvarritjeje. Thotë se kjo e ul shpejtësinë e zvarritjes për gjithë emrin e hostit dhe se Retry-After mund të mbajë një numër sekondash ose një datë.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Mbajeni të shkurtër. Google e këshillon të mos e bëni këtë më gjatë se një ose dy ditë, sepse një URL që i kthen këto kode për disa ditë mund të hiqet nga indeksi i tij. Për një ulje të qëndrueshme, Google ofron në vend të kësaj një kërkesë të veçantë përmes Search Console.
OpenAI, Anthropic dhe Perplexity nuk dokumentojnë si reagojnë zvarritësit e tyre ndaj 429, 503 ose Retry-After. Kodet janë mënyra standarde për të kërkuar më pak, por sa shpejt tërhiqet çdo zvarritës AI nuk është diçka që mund ta gjeni të shkruar.
Si të vendos një kufizim kërkesash për zvarritësit AI?
Jepini çdo zvarritësi buxhetin e vet në vend të një kufiri për gjithë trafikun, dhe u përgjigjuni kërkesave mbi të me 429. Në nginx, këtë e bën moduli limit_req. Kërkesat me çelës bosh nuk numërohen, prandaj një map që kthen çelës vetëm për user agent-ët e zvarritësve i lë të qetë vizitorët njerëzorë. Këtu çdo zvarritës merr 60 kërkesa në minutë me një burst prej 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Çelësi këtu është user agent, prandaj kushdo që kopjon emrin e një zvarritësi ndan buxhetin e atij zvarritësi. Për një kufizim kërkesash kjo është e pranueshme. Për një rregull lejimi, përputhni edhe gamat IP të publikuara të ofruesit.
Në Cloudflare, rregullat rate limiting bëjnë të njëjtën punë në edge. Në planin Free merrni një rregull, të numëruar sipas IP-së për 10 sekonda, dhe shprehja e rregullit mund të përdorë shtegun dhe fushën Verified Bot. Numërimi sipas IP-së është i ashpër për zvarritësit që i shpërndajnë kërkesat në shumë adresa, dhe planet më të larta shtojnë më shumë opsione numërimi. Përgjigjja e parazgjedhur është 429, dhe mund të vendosni një kod tjetër 4xx dhe një përmbajtje të personalizuar. AI Crawl Control ofron për çdo zvarritës Allow, Block dhe, në një beta private, Charge, por jo cilësim shpejtësie.
Çfarëdo që të përdorni, mbajeni /robots.txt jashtë kufirit. RFC 9309 thotë se një gabim serveri për robots.txt do të thotë që zvarritësi duhet të supozojë se gjithë sajti është i ndaluar, dhe Google e përjashton 429 nga kodet 4xx që i trajton si skedar që mungon.
A mund ta ulë cache ngarkesën nga zvarritësit?
Shpesh më shumë se një kufizim kërkesash. Zvarritësit kërkojnë kryesisht faqe publike që janë të njëjta për çdo vizitor, prandaj shërbimi i tyre nga një CDN ose cache faqesh i kthen renderimet e shtrenjta në goditje të lira. Kontrolloni që cache juaj të mos mbajë një variant të veçantë pa cache për user agent-ët e zvarritësve.
Ndihmojnë edhe kërkesat me kusht. Google thotë se zvarritësit e tij mbështesin cache HTTP me ETag dhe If-None-Match, dhe me Last-Modified dhe If-Modified-Since, dhe përdorin ETag kur janë të dyja. Faqet për zvarritësit e OpenAI, Anthropic dhe Perplexity nuk thonë nëse zvarritësit e tyre dërgojnë kërkesa me kusht, prandaj llogaritni në atë kursim vetëm për Google.
Çfarë duhet të shmang kur i ngadalësoj zvarritësit?
- Bllokimin e gamave IP të një ofruesi në firewall. Anthropic paralajmëron se kjo mund të mos funksionojë si duhet ose të mos e mbajë në fuqi një refuzim, sepse u pengon botëve të tij leximin e robots.txt tuaj.
- Shërbimin e
5xxose429për ditë të tëra. Google thotë se URL-të që vazhdojnë t'i kthejnë mund të hiqen nga indeksi i tij. - Përdorimin e mbrojtjes nga botët si frenë. Bot Fight Mode i Cloudflare u vë botëve sfida të kushtueshme llogaritëse dhe nuk mund të kapërcehet me rregulla të personalizuara WAF, prandaj nuk mund t'i përjashtoni zvarritësit që doni t'i mbani.
- Ndalimin e një zvarritësi kërkimi për të kursyer bandwidth. Një
DisallowpërOAI-SearchBot,Claude-SearchBotosePerplexityBotju nxjerr nga përgjigjet që ushqejnë ata zvarritës.
Si ta kontrolloj që zvarritësit kalojnë ende?
Kufijtë e kërkesave vendosen lehtë shumë të ngushtë. Kontrolli falas i AISeeWhy e kërkon një faqe si 16 zvarritës AI dhe kërkimi krahas një shfletuesi real, zbaton robots.txt tuaj për çdo zvarritës dhe i njeh faqet e sfidës të firewall-it, prandaj një rregull që u përgjigjet zvarritësve ndryshe nga shfletuesit del në pah. Një kërkesë për zvarritës nuk e aktivizon një kufi të arsyeshëm, dhe pikërisht kjo është qëllimi: ekzekutojeni pas ndryshimit të rregullave për të konfirmuar se kërkesat normale kalojnë ende. Kontrolli falas i IP-së së zvarritësve AI ju tregon nëse një IP nga log-et tuaja i përket vërtet GPTBot ose një zvarritësi tjetër.
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolli i IP-së së zvarritësve AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
A e mbështet Google Crawl-delay?
Jo. Dokumentacioni i Google për robots.txt e liston crawl-delay mes fushave që nuk i mbështet. Për ta ngadalësuar Googlebot për pak kohë, ktheni 503, 500 ose 429 për disa kërkesa; për një ulje më të gjatë, Google ofron një kërkesë të veçantë përmes Search Console.
A e respekton ClaudeBot Crawl-delay?
Anthropic thotë se mbështet zgjerimin jostandard Crawl-delay. Vendoseni në një grup ClaudeBot dhe përsëritni atje çdo rregull Disallow nga grupi juaj User-agent: *.
A e mbështesin GPTBot dhe PerplexityBot Crawl-delay?
Faqet për zvarritësit e OpenAI dhe Perplexity nuk e përmendin Crawl-delay, prandaj efekti i tij nuk është i dokumentuar. Përdorni një kufi në anën e serverit që u përgjigjet kërkesave të tepërta me 429.
A do ta dëmtojë renditjen time një përgjigje 429?
Jo për një periudhë të shkurtër. Google i dokumenton 429 dhe 503 si mënyrë për ta ulur zvarritjen përkohësisht, por paralajmëron se URL-të që i kthejnë për disa ditë mund të hiqen nga indeksi i tij.
A duhet ta bllokoj GPTBot për të ulur ngarkesën?
Mundeni. OpenAI thotë se GPTBot zvarrit përmbajtje që mund të përdoret për trajnim dhe se çdo cilësim në robots.txt është i pavarur, prandaj ndalimi i tij nuk ju heq nga kërkimi i ChatGPT, që përdor OAI-SearchBot. Kontrolloni fillimisht log-et që të siguroheni se ngarkesa vjen nga adresat e OpenAI.
Burimet
- Anthropic: A zvarrit Anthropic të dhëna nga uebi dhe si mund ta bllokojnë zvarritësin pronarët e sajteve?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: Si e interpreton Google specifikimin e robots.txt
- Google: Ulja e shpejtësisë së zvarritjes së Googlebot
- Google: Përmbledhje e zvarritësve dhe agjentëve të Google (cache HTTP)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rregullat rate limiting
- Cloudflare: Parametrat e rate limiting
- Cloudflare: Menaxhimi i zvarritësve AI (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Përmbledhje e zvarritësve të OpenAI
- Perplexity: Zvarritësit e Perplexity