Како да ги забавите AI краулерите без да ги блокирате
Ограничете ја брзината наместо да блокирате. Одговарајте на вишокот барања од краулери со 429 или 503 и заглавие Retry-After, дајте му на секој краулер свој буџет, држете го /robots.txt надвор од секое ограничување и служете им ги страниците на краулерите од кеш. Crawl-delay во robots.txt помага само таму каде што операторот го документира: Anthropic и Bing го прават тоа, Google вели дека не го поддржува, а OpenAI и Perplexity не го спомнуваат. Оставете ги AI краулерите за пребарување дозволени, инаку ќе испаднете и од одговорите што тие ги хранат.
Кога краулер праќа илјадници барања на час, брзото решение е Disallow: / или блокирање во заштитниот ѕид. За краулер за обука тоа може да биде фер избор. За OAI-SearchBot, Claude-SearchBot или PerplexityBot тоа ги отстранува вашите страници од AI одговорите во кои сакате да се појавувате. Најчесто оптоварувањето може да се намали без да се откажете од тоа, со сигнали што краулерите веќе ги разбираат: статусни кодови, кеширање и, кај некои оператори, Crawl-delay.
На оваа страница
- Кој краулер всушност го предизвикува оптоварувањето?
- Дали Crawl-delay работи за AI краулерите?
- Како одговорите 429 и 503 ги забавуваат краулерите?
- Како да поставам ограничување на барањата за AI краулерите?
- Може ли кеширањето да го намали оптоварувањето од краулерите?
- Што да избегнувам кога ги забавувам краулерите?
- Како да проверам дали краулерите сè уште поминуваат?
Кој краулер всушност го предизвикува оптоварувањето?
Погледнете пред да менувате што било. Пребројте ги барањата по кориснички агент и по час во дневниците за пристап и проверете ги изворните IP адреси наспроти опсезите што ги објавува секој производител; нашиот водич за проверка на серверските дневници за AI краулери ги има командите. Често се појавуваат два наоди:
- Тешкиот сообраќај само тврди дека е AI краулер. Ако IP адресите не се во листата на производителот, правилата за вистинскиот краулер нема да помогнат. Наместо тоа, ограничете го или блокирајте го тој сообраќај според неговото потекло.
- Вистински краулер се заглавил во стапица за обиколување, како бескрајни страници со календари, комбинации на филтри или ID на сесии во URL-ата. Затворањето на стапицата со правила
Disallowза тие патеки заштедува повеќе од кое било ограничување на брзината.
Подредете ги краулерите и според задачата. Краулерите за обука како GPTBot и ClaudeBot не се оние што ве прават цитирани во AI пребарувањето, па ако проблемот е еден од нив, забраната е разумна опција. Остатокот од овој водич е за краулерите што сакате да ги задржите.
Дали Crawl-delay работи за AI краулерите?
Crawl-delay не е дел од RFC 9309, па секој оператор одлучува дали ќе го чита. Еве што вели документацијата заклучно со ноември 2026:
- Anthropic: поддржано. Неговата страница за помош вели дека го поддржува нестандардното проширување
Crawl-delayза ограничување на активноста на обиколување, соCrawl-delay: 1во групаClaudeBotкако пример. - Microsoft Bing: поддржано. Блогот на Bing за веб-администратори ја опишува вредноста како временски прозорец од 1 до 30 секунди во кој
bingbotобиколува најмногу една страница и вели дека одложувањето во robots.txt има предност пред поставките за обиколување во Bing Webmaster Tools. - Google: не е поддржано. Документацијата на Google за robots.txt го наведува
crawl-delayкако поле што не го поддржува. - OpenAI и Perplexity: нивните страници за краулери не го спомнуваат, па неговото влијание врз
GPTBot,OAI-SearchBotилиPerplexityBotне е документирано.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Внимавајте на логиката на групите. Краулер што ќе најде група со своето име целосно ја игнорира групата User-agent: *, па група ClaudeBot што содржи само Crawl-delay би ги отфрлила сите Disallow што сте ги поставиле за сите останати. Повторете ги, како погоре. Bing го опишува Crawl-delay како исклучок што го чита од која било група, но тоа не треба да го претпоставувате за другите краулери.
Како одговорите 429 и 503 ги забавуваат краулерите?
За врвовите на оптоварување, статусниот код е сигналот што краулерите се направени да го почитуваат. 429 Too Many Requests, дефиниран во RFC 6585, значи дека клиентот испратил премногу барања за дадено време и може да носи заглавие Retry-After што кажува колку да се чека. 503 Service Unavailable кажува дека серверот моментално не може да се справи.
Google го документира ова како начин брзо да се намали брзината на обиколување на Googlebot: да се врати 500, 503 или 429 наместо 200 на дел од барањата за обиколување. Наведува дека тоа ја намалува брзината на обиколување за целото име на хостот и дека Retry-After може да содржи број секунди или датум.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Нека биде кратко. Google не препорачува ова да трае подолго од еден или два дена, бидејќи URL што враќа вакви кодови неколку дена може да биде отстранет од неговиот индекс. За трајно намалување, Google нуди посебно барање преку Search Console.
OpenAI, Anthropic и Perplexity не документираат како нивните краулери реагираат на 429, 503 или Retry-After. Кодовите се стандардниот начин да се побара помалку, но колку брзо секој AI краулер се повлекува не е нешто што можете да го проверите во документацијата.
Како да поставам ограничување на барањата за AI краулерите?
Дајте му на секој краулер свој буџет наместо едно ограничување за целиот сообраќај и одговарајте на барањата над него со 429. Во nginx, ова го прави модулот limit_req. Барањата со празен клуч не се бројат, па map што враќа клуч само за корисничките агенти на краулерите ги остава луѓето на мира. Тука секој краулер добива 60 барања во минута со налет од 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Клучот тука е корисничкиот агент, па секој што ќе го копира името на краулерот го дели неговиот буџет. За ограничување на брзината тоа е прифатливо. За правило за дозволување, споредувајте ги и објавените IP опсези на производителот.
На Cloudflare, правилата за ограничување на брзината (rate limiting rules) ја вршат истата работа на работ на мрежата. На планот Free добивате едно правило, броено по IP во 10 секунди, а изразот на правилото може да ги користи патеката и полето Verified Bot. Броењето по IP е грубо за краулери што ги распределуваат барањата на многу адреси, а повисоките планови додаваат повеќе опции за броење. Стандардниот одговор е 429, а можете да поставите друг 4xx код и сопствено тело. AI Crawl Control нуди Allow, Block и, во приватна бета-верзија, Charge за секој краулер, но не и поставка за брзина.
Што и да користите, држете го /robots.txt надвор од ограничувањето. RFC 9309 вели дека серверска грешка за robots.txt значи дека краулерот мора да претпостави дека целиот сајт е забранет, а Google го исклучува 429 од 4xx кодовите што ги третира како датотека што недостасува.
Може ли кеширањето да го намали оптоварувањето од краулерите?
Често повеќе од ограничувањето на брзината. Краулерите главно бараат јавни страници што се исти за секој посетител, па нивното служење од CDN или кеш на страници ги претвора скапите рендерирања во евтини погодоци. Проверете дали вашиот кеш не чува посебна, некеширана варијанта за корисничките агенти на краулерите.
Помагаат и условните барања. Google наведува дека неговите краулери поддржуваат HTTP кеширање со ETag и If-None-Match и со Last-Modified и If-Modified-Since, и го користат ETag кога ги има двете. Страниците за краулерите на OpenAI, Anthropic и Perplexity не кажуваат дали нивните краулери праќаат условни барања, па сметајте на таа заштеда само кај Google.
Што да избегнувам кога ги забавувам краулерите?
- Блокирање на IP опсезите на производителот во заштитниот ѕид. Anthropic предупредува дека тоа може да не работи правилно ниту да го одржи откажувањето, бидејќи ги спречува неговите ботови да го прочитаат вашиот robots.txt.
- Враќање
5xxили429со денови. Google наведува дека URL-ата што постојано ги враќаат може да бидат отстранети од неговиот индекс. - Користење заштита од ботови како сопирачка. Bot Fight Mode на Cloudflare им дава на ботовите пресметковно скапи предизвици и не може да се прескокне со прилагодени WAF правила, па не можете да ги изземете краулерите што сакате да ги задржите.
- Забрана на краулер за пребарување за да заштедите пропусен опсег.
DisallowзаOAI-SearchBot,Claude-SearchBotилиPerplexityBotве вади од одговорите што тие краулери ги хранат.
Како да проверам дали краулерите сè уште поминуваат?
Ограничувањата на брзината лесно се поставуваат премногу строго. Бесплатната проверка на AISeeWhy ја презема страницата како 16 AI краулери и краулери за пребарување покрај вистински прелистувач, го применува вашиот robots.txt за секој краулер и ги препознава страниците со предизвик на заштитниот ѕид, па правило што им одговара на краулерите поинаку отколку на прелистувачите станува видливо. Едно барање по краулер нема да активира разумно ограничување, и тоа е поентата: пуштете ја по промена на правилата за да потврдите дека нормалните барања сè уште поминуваат. Бесплатната проверка на IP адреси на AI краулери ви кажува дали IP адреса од вашите дневници навистина му припаѓа на GPTBot или на друг краулер.
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- IP проверка на AI краулери
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали Google поддржува Crawl-delay?
Не. Документацијата на Google за robots.txt го наведува crawl-delay меѓу полињата што не ги поддржува. За кратко да го забавите Googlebot, вратете 503, 500 или 429 на дел од барањата; за подолго намалување, Google нуди посебно барање преку Search Console.
Дали ClaudeBot го почитува Crawl-delay?
Anthropic наведува дека го поддржува нестандардното проширување Crawl-delay. Ставете го во група ClaudeBot и таму повторете ги сите правила Disallow од вашата група User-agent: *.
Дали GPTBot и PerplexityBot поддржуваат Crawl-delay?
Страниците за краулерите на OpenAI и Perplexity не го спомнуваат Crawl-delay, па неговото влијание не е документирано. Користете ограничување на страната на серверот што на вишокот барања одговара со 429.
Дали одговорот 429 ќе му наштети на моето рангирање?
Не за краток период. Google ги документира 429 и 503 како начин привремено да се намали обиколувањето, но предупредува дека URL-ата што ги враќаат неколку дена може да бидат отстранети од неговиот индекс.
Дали да го блокирам GPTBot за да го намалам оптоварувањето?
Можете. OpenAI наведува дека GPTBot обиколува содржина што може да се користи за обука и дека секоја поставка во robots.txt е независна, па неговата забрана не ве отстранува од пребарувањето на ChatGPT, кое користи OAI-SearchBot. Прво проверете ги дневниците за да се уверите дека оптоварувањето доаѓа од адресите на OpenAI.
Извори
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers