Как да забавите AI ботовете, без да ги блокирате

Публикувано

Кратък отговор

Ограничете честотата, вместо да блокирате. Отговаряйте на излишните заявки на ботовете с 429 или 503 и заглавка Retry-After, дайте на всеки бот собствен лимит, дръжте /robots.txt извън всяко ограничение и обслужвайте ботовете от кеша. Crawl-delay в robots.txt помага само там, където операторът го документира: Anthropic и Bing го правят, Google казва, че не го поддържа, а OpenAI и Perplexity не го споменават. Оставете AI ботовете за търсене разрешени, иначе излизате и от отговорите, които те захранват.

Когато бот изпраща хиляди заявки на час, бързото решение е Disallow: / или блокиране в защитната стена. За бот за обучение това може да е разумен избор. За OAI-SearchBot, Claude-SearchBot или PerplexityBot това премахва страниците ви от отговорите на AI, в които искате да се появявате. В повечето случаи натоварването може да се намали, без да се отказвате от това, със сигнали, които ботовете вече разбират: статус кодове, кеширане и, при някои оператори, Crawl-delay.

На тази страница
  1. Кой бот всъщност причинява натоварването?
  2. Работи ли Crawl-delay за AI ботовете?
  3. Как отговорите 429 и 503 забавят ботовете?
  4. Как да задам ограничение на честотата за AI ботове?
  5. Може ли кеширането да намали натоварването от ботове?
  6. Какво да избягвам, когато забавям ботовете?
  7. Как да проверя, че ботовете все още минават?

Кой бот всъщност причинява натоварването?

Огледайте се, преди да промените каквото и да било. Пребройте заявките по user agent и по час в логовете за достъп и проверете IP адресите на източника спрямо диапазоните, които публикува всеки доставчик; ръководството ни за проверка на логовете на сървъра за AI ботове съдържа командите. Две открития се срещат често:

Подредете ботовете и по задача. Ботовете за обучение като GPTBot и ClaudeBot не са тези, които ви правят цитируеми в AI търсенето, така че ако проблемът е в някой от тях, забраната му е разумен вариант. Останалата част от ръководството е за ботовете, които искате да запазите.

Работи ли Crawl-delay за AI ботовете?

Crawl-delay не е част от RFC 9309, така че всеки оператор решава дали да го чете. Ето какво казва документацията към ноември 2026 г.:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Внимавайте с логиката на групите. Бот, който намери група със собственото си име, изцяло пренебрегва групата User-agent: *, така че група ClaudeBot, която съдържа само Crawl-delay, ще отмени всички Disallow, зададени за всички останали. Повторете ги, както по-горе. Bing описва Crawl-delay като изключение, което чете от всяка от двете групи, но не бива да приемате това за други ботове.

Как отговорите 429 и 503 забавят ботовете?

При пикове на натоварването статус кодът е сигналът, който ботовете са създадени да спазват. 429 Too Many Requests, определен в RFC 6585, означава, че клиентът е изпратил твърде много заявки за дадено време, и може да носи заглавка Retry-After, която казва колко да се изчака. 503 Service Unavailable казва, че сървърът не може да се справи в момента.

Google документира това като начина за бързо намаляване на честотата на обхождане на Googlebot: връщайте 500, 503 или 429 вместо 200 на част от заявките за обхождане. Посочва, че това намалява честотата на обхождане за цялото име на хост и че Retry-After може да съдържа брой секунди или дата.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Нека е за кратко. Google не препоръчва да правите това повече от един или два дни, защото URL адрес, който връща тези кодове няколко дни, може да отпадне от индекса му. За трайно намаляване Google предлага специална заявка през Search Console.

OpenAI, Anthropic и Perplexity не документират как ботовете им реагират на 429, 503 или Retry-After. Кодовете са стандартният начин да поискате по-малко, но колко бързо се оттегля всеки AI бот не е нещо, което можете да проверите в документацията.

Как да задам ограничение на честотата за AI ботове?

Дайте на всеки бот собствен лимит, вместо едно ограничение за целия трафик, и отговаряйте на заявките над него с 429. В nginx това прави модулът limit_req. Заявките с празен ключ не се броят, така че map, който връща ключ само за user agents на ботове, оставя човешките посетители на мира. Тук всеки бот получава 60 заявки в минута с допустим пик от 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Ключът тук е user agent, така че всеки, който копира името на бот, споделя лимита на този бот. Това е приемливо за ограничение на честотата. За правило за разрешаване проверявайте и публикуваните IP диапазони на доставчика.

В Cloudflare правилата за ограничаване на честотата вършат същата работа на ниво edge. В плана Free получавате едно правило, броено по IP за 10 секунди, а изразът на правилото може да използва пътя и полето Verified Bot. Броенето по IP е грубо за ботове, които разпределят заявките си между много адреси, а по-високите планове добавят още възможности за броене. Отговорът по подразбиране е 429, а можете да зададете друг 4xx код и собствено тяло. AI Crawl Control предлага Allow, Block и, в частна бета версия, Charge за всеки бот, но няма настройка за честота.

Каквото и да използвате, дръжте /robots.txt извън ограничението. RFC 9309 казва, че сървърна грешка за robots.txt означава, че ботът трябва да приеме целия сайт за забранен, а Google изключва 429 от 4xx кодовете, които третира като липсващ файл.

Може ли кеширането да намали натоварването от ботове?

Често повече от ограничение на честотата. Ботовете обикновено искат публични страници, които са еднакви за всеки посетител, така че обслужването им от CDN или кеш на страници превръща скъпите рендирания в евтини попадения в кеша. Проверете дали кешът ви не пази отделен, некеширан вариант за user agents на ботове.

Условните заявки също помагат. Google казва, че ботовете му поддържат HTTP кеширане с ETag и If-None-Match, както и с Last-Modified и If-Modified-Since, и използват ETag, когато има и двете. Страниците за ботовете на OpenAI, Anthropic и Perplexity не казват дали ботовете им изпращат условни заявки, така че разчитайте на тази икономия само при Google.

Какво да избягвам, когато забавям ботовете?

Как да проверя, че ботовете все още минават?

Ограниченията на честотата лесно се задават твърде строго. Безплатната проверка на AISeeWhy изтегля страница като 16 AI бота и бота на търсачки редом с истински браузър, прилага robots.txt за всеки бот и разпознава страници за проверка на защитни стени, така че правило, което отговаря на ботовете различно от браузърите, се вижда. Една заявка на бот няма да задейства разумно ограничение, и точно това е идеята: пуснете я след промяна на правилата, за да потвърдите, че нормалните заявки все още минават. Безплатната проверка на IP адреси на AI ботове ви казва дали IP адрес от логовете ви наистина принадлежи на GPTBot или друг бот.

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Поддържа ли Google Crawl-delay?

Не. Документацията на Google за robots.txt посочва crawl-delay сред полетата, които не поддържа. За да забавите Googlebot за кратко, връщайте 503, 500 или 429 на част от заявките; за по-дълго намаляване Google предлага специална заявка през Search Console.

Спазва ли ClaudeBot Crawl-delay?

Anthropic казва, че поддържа нестандартното разширение Crawl-delay. Поставете го в група ClaudeBot и повторете там всички правила Disallow от групата User-agent: *.

Поддържат ли GPTBot и PerplexityBot Crawl-delay?

Страниците за ботовете на OpenAI и Perplexity не споменават Crawl-delay, така че ефектът му не е документиран. Използвайте ограничение от страна на сървъра, което отговаря на излишните заявки с 429.

Ще навреди ли отговор 429 на класирането ми?

Не за кратък период. Google документира 429 и 503 като начин за временно намаляване на обхождането, но предупреждава, че URL адреси, които ги връщат няколко дни, може да отпаднат от индекса му.

Да блокирам ли GPTBot, за да намаля натоварването?

Можете. OpenAI казва, че GPTBot обхожда съдържание, което може да се използва за обучение, и че всяка настройка в robots.txt е независима, така че забраната му не ви премахва от търсенето в ChatGPT, което използва OAI-SearchBot. Първо проверете логовете си, за да се уверите, че натоварването идва от адресите на OpenAI.

Източници

Още статии