Како да успорите AI краулере, а да их не блокирате
Ограничите брзину уместо да блокирате. На вишак захтева краулера одговорите са 429 или 503 и заглављем Retry-After, дајте сваком краулеру сопствени буџет, држите /robots.txt ван свих ограничења и служите краулере из кеша. Crawl-delay у robots.txt-у помаже само тамо где га оператер документује: Anthropic и Bing то раде, Google наводи да га не подржава, а OpenAI и Perplexity га не помињу. Оставите AI краулере за претрагу дозвољеним, иначе излазите и из одговора које они хране.
Када краулер шаље хиљаде захтева на сат, брзо решење је Disallow: / или блокада у заштитном зиду. За краулер за тренирање то може да буде разуман избор. За OAI-SearchBot, Claude-SearchBot или PerplexityBot то уклања ваше странице из AI одговора у којима желите да се појављујете. Најчешће оптерећење може да се смањи без тог одрицања, сигналима које краулери већ разумеју: статусним кодовима, кеширањем и, код неких оператера, Crawl-delay.
На овој страници
- Који краулер заиста ствара оптерећење?
- Да ли Crawl-delay ради за AI краулере?
- Како одговори 429 и 503 успоравају краулере?
- Како да поставим ограничење брзине за AI краулере?
- Може ли кеширање да смањи оптерећење од краулера?
- Шта да избегавам када успоравам краулере?
- Како да проверим да краулери и даље пролазе?
Који краулер заиста ствара оптерећење?
Погледајте пре него што било шта промените. У логовима приступа пребројте захтеве по user agent-у и по сату и проверите изворне IP адресе према опсезима које сваки добављач објављује; наш водич о провери логова сервера за AI краулере има команде. Два налаза се често појављују:
- Велики саобраћај се само представља као AI краулер. Ако IP адресе нису на листи добављача, правила за правог краулера неће помоћи. Уместо тога, ограничите или блокирајте тај саобраћај према његовом пореклу.
- Прави краулер се заглавио у замци, као што су бесконачне странице календара, комбинације филтера или ID-ови сесија у URL-овима. Затварање замке правилима
Disallowза те путање штеди више од било ког ограничења брзине.
Разврстајте краулере и по задатку. Краулери за тренирање као што су GPTBot и ClaudeBot нису они који вас чине цитираним у AI претрази, па ако је проблем један од њих, забрана је разумна опција. Остатак овог водича намењен је краулерима које желите да задржите.
Да ли Crawl-delay ради за AI краулере?
Crawl-delay није део RFC 9309, па сваки оператер одлучује да ли ће га читати. Ово наводи документација од новембра 2026:
- Anthropic: подржава. Његова страница помоћи наводи да подржава нестандардно проширење
Crawl-delayза ограничавање преузимања, саCrawl-delay: 1у групиClaudeBotкао примером. - Microsoft Bing: подржава. Bing-ов блог за вебмастере вредност описује као временски прозор од 1 до 30 секунди у којем
bingbotпреузима највише једну страницу и наводи да кашњење из robots.txt-а има предност над подешавањима преузимања у Bing Webmaster Tools. - Google: не подржава. Google-ова документација о robots.txt-у наводи
crawl-delayкао поље које не подржава. - OpenAI и Perplexity: њихове странице о краулерима га не помињу, па његов ефекат на
GPTBot,OAI-SearchBotилиPerplexityBotније документован.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Пазите на логику група. Краулер који нађе групу са својим именом потпуно занемарује групу User-agent: *, па би група ClaudeBot са само Crawl-delay поништила сваки Disallow који сте поставили за све остале. Поновите их, као изнад. Bing описује Crawl-delay као изузетак који чита из било које од две групе, али то не треба да претпостављате за друге краулере.
Како одговори 429 и 503 успоравају краулере?
За врхове оптерећења статусни код је сигнал који краулери треба да поштују. 429 Too Many Requests, дефинисан у RFC 6585, значи да је клијент послао превише захтева у датом времену и може да носи заглавље Retry-After које каже колико да чека. 503 Service Unavailable каже да сервер тренутно не може да издржи.
Google то документује као начин да брзо смањите брзину преузимања Googlebot-а: вратите 500, 503 или 429 уместо 200 на део захтева. Наводи да то смањује брзину преузимања за цело име хоста и да Retry-After може да садржи број секунди или датум.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Нека траје кратко. Google не препоручује да то радите дуже од једног или два дана, јер URL који те кодове враћа неколико дана може да буде уклоњен из његовог индекса. За трајно смањење Google уместо тога нуди посебан захтев кроз Search Console.
OpenAI, Anthropic и Perplexity не документују како њихови краулери реагују на 429, 503 или Retry-After. Кодови су стандардни начин да тражите мање, али колико брзо сваки AI краулер успорава није нешто што можете да проверите у документацији.
Како да поставим ограничење брзине за AI краулере?
Дајте сваком краулеру сопствени буџет уместо једног ограничења за сав саобраћај и на захтеве преко њега одговорите са 429. У nginx-у то ради модул limit_req. Захтеви са празним кључем се не броје, па map који враћа кључ само за user agent-е краулера оставља људске посетиоце на миру. Овде сваки краулер добија 60 захтева у минуту са налетом од 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Кључ је овде user agent, па свако ко копира име краулера дели буџет тог краулера. За ограничење брзине то је прихватљиво. За правило дозволе поредите и са IP опсезима које добављач објављује.
На Cloudflare-у правила за ограничење брзине раде исти посао на ивици мреже. На плану Free добијате једно правило, које броји по IP адреси у периоду од 10 секунди, а израз правила може да користи путању и поље Verified Bot. Бројање по IP адреси је грубо за краулере који захтеве распоређују на много адреса, а виши планови додају више опција бројања. Подразумевани одговор је 429, а можете да поставите други 4xx код и прилагођено тело. AI Crawl Control за сваки краулер нуди Allow, Block и, у приватној бета верзији, Charge, али не и подешавање брзине.
Шта год да користите, држите /robots.txt ван ограничења. RFC 9309 каже да грешка сервера за robots.txt значи да краулер мора да претпостави да је цео сајт забрањен, а Google 429 искључује из 4xx кодова које третира као непостојећи фајл.
Може ли кеширање да смањи оптерећење од краулера?
Често више од ограничења брзине. Краулери углавном траже јавне странице које су исте за сваког посетиоца, па њихово служење из CDN-а или кеша страница скупа рендеровања претвара у јефтине поготке. Проверите да ваш кеш не чува засебну, некеширану варијанту за user agent-е краулера.
Помажу и условни захтеви. Google наводи да његови краулери подржавају HTTP кеширање са ETag и If-None-Match, као и са Last-Modified и If-Modified-Since, и да користе ETag када су присутна оба. Странице о краулерима OpenAI-ја, Anthropic-а и Perplexity-ја не кажу да ли њихови краулери шаљу условне захтеве, па на ту уштеду рачунајте само код Google-а.
Шта да избегавам када успоравам краулере?
- Блокирање IP опсега добављача у заштитном зиду. Anthropic упозорава да то можда неће радити исправно нити одржати одјаву, јер његови ботови тада не могу да прочитају ваш robots.txt.
- Враћање
5xxили429данима. Google наводи да URL-ови који их стално враћају могу да буду уклоњени из његовог индекса. - Коришћење заштите од ботова као кочнице. Cloudflare-ов Bot Fight Mode ботовима поставља рачунски захтевне изазове и не може да се прескочи WAF прилагођеним правилима, па не можете да изузмете краулере које желите да задржите.
- Забрана краулера за претрагу ради уштеде протока.
DisallowзаOAI-SearchBot,Claude-SearchBotилиPerplexityBotизбацује вас из одговора које ти краулери хране.
Како да проверим да краулери и даље пролазе?
Ограничења брзине је лако поставити престрого. Бесплатна AISeeWhy провера преузима страницу као 16 AI краулера и краулера претраживача поред правог прегледача, примењује ваш robots.txt за сваки краулер и препознаје странице са изазовом заштитног зида, па се види правило које краулерима одговара другачије него прегледачима. Један захтев по краулеру неће активирати разумно ограничење, и управо у томе је поента: покрените је после измене правила да бисте потврдили да нормални захтеви и даље пролазе. Бесплатна провера IP адреса AI краулера говори вам да ли IP адреса из ваших логова заиста припада GPTBot-у или другом краулеру.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Да ли Google подржава Crawl-delay?
Не. Google-ова документација о robots.txt-у наводи crawl-delay међу пољима која не подржава. Да бисте кратко успорили Googlebot, вратите 503, 500 или 429 на део захтева; за дуже смањење Google нуди посебан захтев кроз Search Console.
Да ли ClaudeBot поштује Crawl-delay?
Anthropic наводи да подржава нестандардно проширење Crawl-delay. Ставите га у групу ClaudeBot и тамо поновите сва правила Disallow из своје групе User-agent: *.
Да ли GPTBot и PerplexityBot подржавају Crawl-delay?
Странице о краулерима OpenAI-ја и Perplexity-ја не помињу Crawl-delay, па његов ефекат није документован. Користите ограничење на страни сервера које на вишак захтева одговара са 429.
Да ли ће одговор 429 наштетити мом рангирању?
Не на кратак период. Google документује 429 и 503 као начин да привремено смањите преузимање, али упозорава да URL-ови који их враћају неколико дана могу да буду уклоњени из његовог индекса.
Да ли да блокирам GPTBot да бих смањио оптерећење?
Можете. OpenAI наводи да GPTBot преузима садржај који може да се користи за тренирање и да је свако robots.txt подешавање независно, па његова забрана не уклања ваш сајт из ChatGPT претраге, која користи OAI-SearchBot. Прво проверите логове да бисте били сигурни да оптерећење долази са OpenAI-јевих адреса.
Извори
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP кеширање)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers