Як сповільнити AI-краулери, не блокуючи їх
Обмежуйте швидкість замість блокування. Відповідайте на надлишкові запити краулерів кодом 429 або 503 із заголовком Retry-After, дайте кожному краулеру власний ліміт, не включайте /robots.txt у жоден ліміт і віддавайте краулерам сторінки з кешу. Crawl-delay у robots.txt допомагає лише там, де оператор це документує: Anthropic і Bing документують, Google каже, що не підтримує, а OpenAI та Perplexity про нього не згадують. Не закривайте доступ краулерам AI-пошуку, інакше ви випадете й з відповідей, які вони наповнюють.
Коли краулер надсилає тисячі запитів на годину, швидке рішення — Disallow: / або блокування у файрволі. Для краулера навчання це може бути слушним вибором. Для OAI-SearchBot, Claude-SearchBot чи PerplexityBot воно прибирає ваші сторінки з AI-відповідей, у яких ви хочете з’являтися. Здебільшого навантаження можна зменшити, не відмовляючись від цього, за допомогою сигналів, які краулери вже розуміють: кодів статусу, кешування і, для деяких операторів, Crawl-delay.
На цій сторінці
- Який краулер насправді створює навантаження?
- Чи працює Crawl-delay для AI-краулерів?
- Як відповіді 429 і 503 сповільнюють краулери?
- Як налаштувати ліміт запитів для AI-краулерів?
- Чи може кешування зменшити навантаження від краулерів?
- Чого уникати, коли сповільнюєте краулери?
- Як перевірити, що краулери досі проходять?
Який краулер насправді створює навантаження?
Подивіться, перш ніж щось змінювати. Порахуйте запити за user agent і за годинами в журналах доступу та перевірте IP джерел за діапазонами, які публікує кожен постачальник; команди є в нашому посібнику про перевірку журналів сервера на AI-краулери. Часто виявляється одне з двох:
- Інтенсивний трафік лише видає себе за AI-краулер. Якщо IP немає у списку постачальника, правила для справжнього краулера не допоможуть. Обмежте або заблокуйте такий трафік за його походженням.
- Справжній краулер застряг у пастці сканування, як-от нескінченні сторінки календаря, комбінації фільтрів чи ідентифікатори сеансів в URL. Закрити пастку правилами
Disallowдля цих шляхів вигідніше, ніж будь-який ліміт запитів.
Також розділіть краулери за завданнями. Краулери навчання, як-от GPTBot і ClaudeBot, не роблять вас цитованим в AI-пошуку, тож якщо проблему створює один із них, заборонити його — розумний варіант. Решта цього посібника — про краулери, які ви хочете зберегти.
Чи працює Crawl-delay для AI-краулерів?
Crawl-delay не входить до RFC 9309, тож кожен оператор сам вирішує, чи його читати. Ось що каже документація станом на листопад 2026 року:
- Anthropic: підтримується. На її довідковій сторінці сказано, що вона підтримує нестандартне розширення
Crawl-delayдля обмеження активності сканування, з прикладомCrawl-delay: 1у групіClaudeBot. - Microsoft Bing: підтримується. У блозі Bing для вебмайстрів значення описано як часове вікно від 1 до 30 секунд, за яке
bingbotсканує щонайбільше одну сторінку, і сказано, що crawl delay у robots.txt має пріоритет над налаштуваннями сканування в Bing Webmaster Tools. - Google: не підтримується. У документації Google про robots.txt
crawl-delayназвано полем, яке не підтримується. - OpenAI та Perplexity: на їхніх сторінках про краулери його не згадано, тож його вплив на
GPTBot,OAI-SearchBotчиPerplexityBotне задокументовано.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Стежте за логікою груп. Краулер, який знаходить групу зі своєю назвою, повністю ігнорує групу User-agent: *, тож група ClaudeBot, де є лише Crawl-delay, скасує всі Disallow, задані для всіх інших. Повторіть їх, як у прикладі вище. Bing описує Crawl-delay як виняток, який він читає з будь-якої з груп, але не варто вважати, що так роблять інші краулери.
Як відповіді 429 і 503 сповільнюють краулери?
Для пікових навантажень код статусу — саме той сигнал, на який розраховані краулери. 429 Too Many Requests, визначений у RFC 6585, означає, що клієнт надіслав забагато запитів за певний час, і може містити заголовок Retry-After із тим, скільки чекати. 503 Service Unavailable каже, що сервер зараз не справляється.
Google документує це як спосіб швидко знизити частоту сканування Googlebot: повертати 500, 503 або 429 замість 200 на частину запитів сканування. За словами Google, це знижує частоту сканування для всього імені хоста, а Retry-After може містити кількість секунд або дату.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Не затягуйте. Google не радить робити це довше ніж день-два, бо URL, що повертає ці коди кілька днів, може випасти з індексу. Для тривалого зниження Google пропонує натомість спеціальний запит через Search Console.
OpenAI, Anthropic і Perplexity не документують, як їхні краулери реагують на 429, 503 чи Retry-After. Ці коди — стандартний спосіб попросити менше, але наскільки швидко відступає кожен AI-краулер, ніде не описано.
Як налаштувати ліміт запитів для AI-краулерів?
Дайте кожному краулеру власний ліміт замість одного ліміту на весь трафік і відповідайте на запити понад нього кодом 429. У nginx це робить модуль limit_req. Запити з порожнім ключем не враховуються, тож map, що повертає ключ лише для user agent краулерів, не зачіпає відвідувачів-людей. Тут кожен краулер отримує 60 запитів на хвилину зі сплеском до 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Ключ тут — user agent, тож будь-хто, хто скопіює назву краулера, ділить із ним його ліміт. Для ліміту запитів це прийнятно. Для дозвільного правила зіставляйте також опубліковані діапазони IP постачальника.
У Cloudflare ту саму роботу на межі мережі виконують rate limiting rules. На тарифі Free ви отримуєте одне правило з підрахунком за IP за 10 секунд, а у виразі правила можна використовувати шлях і поле Verified Bot. Підрахунок за IP грубий для краулерів, що розподіляють запити між багатьма адресами, а вищі тарифи додають більше варіантів підрахунку. Відповідь за замовчуванням — 429, і можна задати інший код 4xx та власне тіло відповіді. AI Crawl Control пропонує для кожного краулера Allow, Block і, у закритій беті, Charge, але налаштування швидкості там немає.
Що б ви не використовували, не включайте /robots.txt у ліміт. RFC 9309 каже, що помилка сервера для robots.txt означає: краулер має вважати забороненим весь сайт, а Google не відносить 429 до кодів 4xx, які трактує як відсутність файлу.
Чи може кешування зменшити навантаження від краулерів?
Часто більше, ніж ліміт запитів. Краулери здебільшого запитують публічні сторінки, однакові для всіх відвідувачів, тож віддача з CDN чи кешу сторінок перетворює дорогий рендеринг на дешеві влучання в кеш. Перевірте, чи ваш кеш не тримає для user agent краулерів окремого некешованого варіанта.
Допомагають і умовні запити. Google зазначає, що його краулери підтримують HTTP-кешування з ETag та If-None-Match, а також з Last-Modified та If-Modified-Since, і використовують ETag, коли є обидва. Сторінки про краулери OpenAI, Anthropic і Perplexity не кажуть, чи надсилають їхні краулери умовні запити, тож розраховуйте на цю економію лише для Google.
Чого уникати, коли сповільнюєте краулери?
- Блокування діапазонів IP постачальника у файрволі. Anthropic попереджає, що це може працювати некоректно або не зберегти відмову, бо так її боти не можуть прочитати ваш robots.txt.
- Віддачі
5xxчи429протягом кількох днів. Google зазначає, що URL, які постійно їх повертають, можуть випасти з індексу. - Використання захисту від ботів як обмежувача. Bot Fight Mode від Cloudflare показує ботам обчислювально затратні перевірки, і його не можна пропустити за допомогою WAF custom rules, тож зробити виняток для потрібних краулерів не вийде.
- Заборони пошукового краулера заради економії трафіку.
DisallowдляOAI-SearchBot,Claude-SearchBotчиPerplexityBotприбирає вас із відповідей, які ці краулери наповнюють.
Як перевірити, що краулери досі проходять?
Ліміти запитів легко зробити надто жорсткими. Безкоштовна перевірка AISeeWhy завантажує сторінку як 16 AI- і пошукових краулерів поруч зі справжнім браузером, застосовує ваш robots.txt для кожного краулера й розпізнає сторінки-перевірки файрвола, тож правило, яке відповідає краулерам інакше, ніж браузерам, стає видно. Один запит на краулер не спрацює на розумний ліміт, і в цьому суть: запускайте перевірку після зміни правил, щоб переконатися, що звичайні запити досі проходять. Безкоштовна перевірка IP AI-краулерів показує, чи справді IP з ваших журналів належить GPTBot чи іншому краулеру.
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Перевірка IP ШІ-краулерів
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Чи підтримує Google Crawl-delay?
Ні. У документації Google про robots.txt crawl-delay перелічено серед полів, які не підтримуються. Щоб ненадовго сповільнити Googlebot, повертайте 503, 500 або 429 на частину запитів; для тривалішого зниження Google пропонує спеціальний запит через Search Console.
Чи дотримується ClaudeBot Crawl-delay?
Anthropic зазначає, що підтримує нестандартне розширення Crawl-delay. Розмістіть його в групі ClaudeBot і повторіть там усі правила Disallow з вашої групи User-agent: *.
Чи підтримують GPTBot і PerplexityBot Crawl-delay?
Сторінки OpenAI та Perplexity про краулери не згадують Crawl-delay, тож його вплив не задокументовано. Використовуйте серверний ліміт, що відповідає на надлишкові запити кодом 429.
Чи зашкодить відповідь 429 моїм позиціям у пошуку?
Не протягом короткого часу. Google документує 429 і 503 як спосіб тимчасово зменшити сканування, але попереджає, що URL, які повертають їх кілька днів, можуть випасти з індексу.
Чи варто блокувати GPTBot, щоб зменшити навантаження?
Можна. OpenAI зазначає, що GPTBot сканує контент, який може використовуватися для навчання, і що кожне налаштування robots.txt незалежне, тож заборона не прибирає вас із пошуку ChatGPT, який використовує OAI-SearchBot. Спершу перевірте журнали, щоб переконатися, що навантаження йде з адрес OpenAI.
Джерела
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers