Како да ги забавите AI краулерите без да ги блокирате

Објавено

Краток одговор

Ограничете ја брзината наместо да блокирате. Одговарајте на вишокот барања од краулери со 429 или 503 и заглавие Retry-After, дајте му на секој краулер свој буџет, држете го /robots.txt надвор од секое ограничување и служете им ги страниците на краулерите од кеш. Crawl-delay во robots.txt помага само таму каде што операторот го документира: Anthropic и Bing го прават тоа, Google вели дека не го поддржува, а OpenAI и Perplexity не го спомнуваат. Оставете ги AI краулерите за пребарување дозволени, инаку ќе испаднете и од одговорите што тие ги хранат.

Кога краулер праќа илјадници барања на час, брзото решение е Disallow: / или блокирање во заштитниот ѕид. За краулер за обука тоа може да биде фер избор. За OAI-SearchBot, Claude-SearchBot или PerplexityBot тоа ги отстранува вашите страници од AI одговорите во кои сакате да се појавувате. Најчесто оптоварувањето може да се намали без да се откажете од тоа, со сигнали што краулерите веќе ги разбираат: статусни кодови, кеширање и, кај некои оператори, Crawl-delay.

На оваа страница
  1. Кој краулер всушност го предизвикува оптоварувањето?
  2. Дали Crawl-delay работи за AI краулерите?
  3. Како одговорите 429 и 503 ги забавуваат краулерите?
  4. Како да поставам ограничување на барањата за AI краулерите?
  5. Може ли кеширањето да го намали оптоварувањето од краулерите?
  6. Што да избегнувам кога ги забавувам краулерите?
  7. Како да проверам дали краулерите сè уште поминуваат?

Кој краулер всушност го предизвикува оптоварувањето?

Погледнете пред да менувате што било. Пребројте ги барањата по кориснички агент и по час во дневниците за пристап и проверете ги изворните IP адреси наспроти опсезите што ги објавува секој производител; нашиот водич за проверка на серверските дневници за AI краулери ги има командите. Често се појавуваат два наоди:

Подредете ги краулерите и според задачата. Краулерите за обука како GPTBot и ClaudeBot не се оние што ве прават цитирани во AI пребарувањето, па ако проблемот е еден од нив, забраната е разумна опција. Остатокот од овој водич е за краулерите што сакате да ги задржите.

Дали Crawl-delay работи за AI краулерите?

Crawl-delay не е дел од RFC 9309, па секој оператор одлучува дали ќе го чита. Еве што вели документацијата заклучно со ноември 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Внимавајте на логиката на групите. Краулер што ќе најде група со своето име целосно ја игнорира групата User-agent: *, па група ClaudeBot што содржи само Crawl-delay би ги отфрлила сите Disallow што сте ги поставиле за сите останати. Повторете ги, како погоре. Bing го опишува Crawl-delay како исклучок што го чита од која било група, но тоа не треба да го претпоставувате за другите краулери.

Како одговорите 429 и 503 ги забавуваат краулерите?

За врвовите на оптоварување, статусниот код е сигналот што краулерите се направени да го почитуваат. 429 Too Many Requests, дефиниран во RFC 6585, значи дека клиентот испратил премногу барања за дадено време и може да носи заглавие Retry-After што кажува колку да се чека. 503 Service Unavailable кажува дека серверот моментално не може да се справи.

Google го документира ова како начин брзо да се намали брзината на обиколување на Googlebot: да се врати 500, 503 или 429 наместо 200 на дел од барањата за обиколување. Наведува дека тоа ја намалува брзината на обиколување за целото име на хостот и дека Retry-After може да содржи број секунди или датум.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Нека биде кратко. Google не препорачува ова да трае подолго од еден или два дена, бидејќи URL што враќа вакви кодови неколку дена може да биде отстранет од неговиот индекс. За трајно намалување, Google нуди посебно барање преку Search Console.

OpenAI, Anthropic и Perplexity не документираат како нивните краулери реагираат на 429, 503 или Retry-After. Кодовите се стандардниот начин да се побара помалку, но колку брзо секој AI краулер се повлекува не е нешто што можете да го проверите во документацијата.

Како да поставам ограничување на барањата за AI краулерите?

Дајте му на секој краулер свој буџет наместо едно ограничување за целиот сообраќај и одговарајте на барањата над него со 429. Во nginx, ова го прави модулот limit_req. Барањата со празен клуч не се бројат, па map што враќа клуч само за корисничките агенти на краулерите ги остава луѓето на мира. Тука секој краулер добива 60 барања во минута со налет од 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Клучот тука е корисничкиот агент, па секој што ќе го копира името на краулерот го дели неговиот буџет. За ограничување на брзината тоа е прифатливо. За правило за дозволување, споредувајте ги и објавените IP опсези на производителот.

На Cloudflare, правилата за ограничување на брзината (rate limiting rules) ја вршат истата работа на работ на мрежата. На планот Free добивате едно правило, броено по IP во 10 секунди, а изразот на правилото може да ги користи патеката и полето Verified Bot. Броењето по IP е грубо за краулери што ги распределуваат барањата на многу адреси, а повисоките планови додаваат повеќе опции за броење. Стандардниот одговор е 429, а можете да поставите друг 4xx код и сопствено тело. AI Crawl Control нуди Allow, Block и, во приватна бета-верзија, Charge за секој краулер, но не и поставка за брзина.

Што и да користите, држете го /robots.txt надвор од ограничувањето. RFC 9309 вели дека серверска грешка за robots.txt значи дека краулерот мора да претпостави дека целиот сајт е забранет, а Google го исклучува 429 од 4xx кодовите што ги третира како датотека што недостасува.

Може ли кеширањето да го намали оптоварувањето од краулерите?

Често повеќе од ограничувањето на брзината. Краулерите главно бараат јавни страници што се исти за секој посетител, па нивното служење од CDN или кеш на страници ги претвора скапите рендерирања во евтини погодоци. Проверете дали вашиот кеш не чува посебна, некеширана варијанта за корисничките агенти на краулерите.

Помагаат и условните барања. Google наведува дека неговите краулери поддржуваат HTTP кеширање со ETag и If-None-Match и со Last-Modified и If-Modified-Since, и го користат ETag кога ги има двете. Страниците за краулерите на OpenAI, Anthropic и Perplexity не кажуваат дали нивните краулери праќаат условни барања, па сметајте на таа заштеда само кај Google.

Што да избегнувам кога ги забавувам краулерите?

Како да проверам дали краулерите сè уште поминуваат?

Ограничувањата на брзината лесно се поставуваат премногу строго. Бесплатната проверка на AISeeWhy ја презема страницата како 16 AI краулери и краулери за пребарување покрај вистински прелистувач, го применува вашиот robots.txt за секој краулер и ги препознава страниците со предизвик на заштитниот ѕид, па правило што им одговара на краулерите поинаку отколку на прелистувачите станува видливо. Едно барање по краулер нема да активира разумно ограничување, и тоа е поентата: пуштете ја по промена на правилата за да потврдите дека нормалните барања сè уште поминуваат. Бесплатната проверка на IP адреси на AI краулери ви кажува дали IP адреса од вашите дневници навистина му припаѓа на GPTBot или на друг краулер.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Дали Google поддржува Crawl-delay?

Не. Документацијата на Google за robots.txt го наведува crawl-delay меѓу полињата што не ги поддржува. За кратко да го забавите Googlebot, вратете 503, 500 или 429 на дел од барањата; за подолго намалување, Google нуди посебно барање преку Search Console.

Дали ClaudeBot го почитува Crawl-delay?

Anthropic наведува дека го поддржува нестандардното проширување Crawl-delay. Ставете го во група ClaudeBot и таму повторете ги сите правила Disallow од вашата група User-agent: *.

Дали GPTBot и PerplexityBot поддржуваат Crawl-delay?

Страниците за краулерите на OpenAI и Perplexity не го спомнуваат Crawl-delay, па неговото влијание не е документирано. Користете ограничување на страната на серверот што на вишокот барања одговара со 429.

Дали одговорот 429 ќе му наштети на моето рангирање?

Не за краток период. Google ги документира 429 и 503 како начин привремено да се намали обиколувањето, но предупредува дека URL-ата што ги враќаат неколку дена може да бидат отстранети од неговиот индекс.

Дали да го блокирам GPTBot за да го намалам оптоварувањето?

Можете. OpenAI наведува дека GPTBot обиколува содржина што може да се користи за обука и дека секоја поставка во robots.txt е независна, па неговата забрана не ве отстранува од пребарувањето на ChatGPT, кое користи OAI-SearchBot. Прво проверете ги дневниците за да се уверите дека оптоварувањето доаѓа од адресите на OpenAI.

Извори

Уште статии