Jak spowolnić crawlery AI, nie blokując ich
Ograniczaj tempo zamiast blokować. Na nadmiarowe żądania crawlerów odpowiadaj kodem 429 lub 503 z nagłówkiem Retry-After, daj każdemu crawlerowi osobny budżet, wyłącz /robots.txt spod wszystkich limitów i serwuj crawlerom strony z cache. Crawl-delay w robots.txt pomaga tylko tam, gdzie operator go dokumentuje: robią to Anthropic i Bing, Google podaje, że go nie obsługuje, a OpenAI i Perplexity o nim nie wspominają. Nie blokuj crawlerów wyszukiwania AI, bo inaczej znikniesz też z odpowiedzi, które one zasilają.
Gdy crawler wysyła tysiące żądań na godzinę, szybkim rozwiązaniem jest Disallow: / albo blokada w firewallu. Dla crawlera trenującego może to być rozsądny wybór. Dla OAI-SearchBot, Claude-SearchBot czy PerplexityBot oznacza to usunięcie Twoich stron z odpowiedzi AI, w których chcesz się pojawiać. Zwykle obciążenie da się zmniejszyć bez tej straty, za pomocą sygnałów, które crawlery już rozumieją: kodów statusu, cache i, u niektórych operatorów, Crawl-delay.
Na tej stronie
- Który crawler naprawdę powoduje obciążenie?
- Czy Crawl-delay działa na crawlery AI?
- Jak odpowiedzi 429 i 503 spowalniają crawlery?
- Jak ustawić limit żądań dla crawlerów AI?
- Czy cache może zmniejszyć obciążenie przez crawlery?
- Czego unikać przy spowalnianiu crawlerów?
- Jak sprawdzić, czy crawlery nadal przechodzą?
Który crawler naprawdę powoduje obciążenie?
Zanim cokolwiek zmienisz, sprawdź. Policz w logach dostępu żądania według user agenta i godziny, a źródłowe adresy IP porównaj z zakresami publikowanymi przez każdego dostawcę; nasz przewodnik po sprawdzaniu logów serwera pod kątem crawlerów AI zawiera polecenia. Często wychodzą dwie rzeczy:
- Duży ruch tylko podaje się za crawlera AI. Jeśli adresów IP nie ma na liście dostawcy, reguły dla prawdziwego crawlera nie pomogą. Ogranicz lub zablokuj ten ruch na podstawie jego pochodzenia.
- Prawdziwy crawler utknął w pułapce (crawl trap), takiej jak niekończące się strony kalendarza, kombinacje filtrów lub identyfikatory sesji w adresach URL. Zamknięcie pułapki regułami
Disallowdla tych ścieżek oszczędza więcej niż jakikolwiek limit żądań.
Podziel też crawlery według zadania. Crawlery trenujące, takie jak GPTBot i ClaudeBot, nie sprawiają, że Twoja witryna może być cytowana w wyszukiwaniu AI, więc jeśli problemem jest któryś z nich, zablokowanie go jest rozsądną opcją. Dalsza część przewodnika dotyczy crawlerów, które chcesz zachować.
Czy Crawl-delay działa na crawlery AI?
Crawl-delay nie jest częścią RFC 9309, więc każdy operator sam decyduje, czy go odczytywać. Tak wygląda dokumentacja według stanu na listopad 2026:
- Anthropic: obsługiwany. Jego strona pomocy podaje, że obsługuje niestandardowe rozszerzenie
Crawl-delaydo ograniczania aktywności przeszukiwania, zCrawl-delay: 1w grupieClaudeBotjako przykładem. - Microsoft Bing: obsługiwany. Blog Bing dla webmasterów opisuje wartość jako okno czasowe od 1 do 30 sekund, w którym
bingbotprzeszukuje najwyżej jedną stronę, i podaje, że crawl delay w robots.txt ma pierwszeństwo przed ustawieniami przeszukiwania w Bing Webmaster Tools. - Google: nieobsługiwany. Dokumentacja robots.txt Google wymienia
crawl-delayjako pole, którego nie obsługuje. - OpenAI i Perplexity: ich strony o crawlerach o nim nie wspominają, więc jego wpływ na
GPTBot,OAI-SearchBotczyPerplexityBotnie jest udokumentowany.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Uważaj na logikę grup. Crawler, który znajdzie grupę ze swoją nazwą, całkowicie ignoruje grupę User-agent: *, więc grupa ClaudeBot zawierająca tylko Crawl-delay porzuciłaby każdą regułę Disallow ustawioną dla wszystkich pozostałych. Powtórz je, jak powyżej. Bing opisuje Crawl-delay jako wyjątek, który odczytuje z dowolnej z tych grup, ale nie zakładaj tego w przypadku innych crawlerów.
Jak odpowiedzi 429 i 503 spowalniają crawlery?
Przy skokach obciążenia kod statusu jest sygnałem, który crawlery są zaprojektowane respektować. 429 Too Many Requests, zdefiniowany w RFC 6585, oznacza, że klient wysłał za dużo żądań w danym czasie, i może zawierać nagłówek Retry-After z informacją, jak długo czekać. 503 Service Unavailable mówi, że serwer w tej chwili sobie nie radzi.
Google opisuje to jako sposób na szybkie zmniejszenie tempa przeszukiwania przez Googlebot: zwracaj 500, 503 lub 429 zamiast 200 na część żądań. Podaje, że obniża to tempo przeszukiwania dla całej nazwy hosta, a Retry-After może zawierać liczbę sekund lub datę.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Rób to krótko. Google odradza robienie tego dłużej niż dzień lub dwa, bo adres URL, który zwraca te kody przez kilka dni, może zostać usunięty z indeksu. Aby trwale zmniejszyć przeszukiwanie, Google oferuje zamiast tego specjalne zgłoszenie przez Search Console.
OpenAI, Anthropic i Perplexity nie dokumentują, jak ich crawlery reagują na 429, 503 czy Retry-After. Te kody to standardowy sposób, by poprosić o mniej, ale tego, jak szybko każdy crawler AI zwalnia, nie da się nigdzie sprawdzić.
Jak ustawić limit żądań dla crawlerów AI?
Daj każdemu crawlerowi osobny budżet zamiast jednego limitu dla całego ruchu i na żądania ponad limit odpowiadaj kodem 429. W nginx robi to moduł limit_req. Żądania z pustym kluczem nie są liczone, więc map, który zwraca klucz tylko dla user agentów crawlerów, nie dotyka ludzkich odwiedzających. Tutaj każdy crawler dostaje 60 żądań na minutę z burstem 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Kluczem jest tu user agent, więc każdy, kto skopiuje nazwę crawlera, dzieli jego budżet. Przy limicie żądań jest to do przyjęcia. W regule zezwalającej dopasowuj też opublikowane przez dostawcę zakresy IP.
W Cloudflare to samo robią na brzegu sieci reguły rate limiting. W planie Free dostajesz jedną regułę, liczoną dla każdego IP w oknie 10 sekund, a wyrażenie reguły może używać ścieżki i pola Verified Bot. Liczenie po IP jest zgrubne w przypadku crawlerów, które rozkładają żądania na wiele adresów, a wyższe plany dodają więcej opcji liczenia. Domyślna odpowiedź to 429, ale możesz ustawić inny kod 4xx i własną treść. AI Crawl Control oferuje dla każdego crawlera Allow, Block oraz, w prywatnej becie, Charge, ale żadnego ustawienia tempa.
Czegokolwiek używasz, wyłącz /robots.txt spod limitu. RFC 9309 mówi, że błąd serwera dla robots.txt oznacza, że crawler musi założyć, że cała witryna jest zablokowana, a Google wyłącza 429 z kodów 4xx, które traktuje jak brak pliku.
Czy cache może zmniejszyć obciążenie przez crawlery?
Często bardziej niż limit żądań. Crawlery pobierają głównie publiczne strony, które są takie same dla każdego odwiedzającego, więc serwowanie ich z CDN lub cache stron zamienia kosztowne renderowanie w tanie trafienia. Sprawdź, czy cache nie trzyma osobnego, niebuforowanego wariantu dla user agentów crawlerów.
Pomagają też żądania warunkowe. Google podaje, że jego crawlery obsługują cache HTTP z ETag i If-None-Match oraz z Last-Modified i If-Modified-Since, a gdy obecne są oba, używają ETag. Strony o crawlerach OpenAI, Anthropic i Perplexity nie mówią, czy ich crawlery wysyłają żądania warunkowe, więc licz na tę oszczędność tylko w przypadku Google.
Czego unikać przy spowalnianiu crawlerów?
- Blokowania zakresów IP dostawcy w firewallu. Anthropic ostrzega, że może to nie działać poprawnie ani nie utrzymać rezygnacji, bo uniemożliwia jego botom odczytanie Twojego robots.txt.
- Zwracania
5xxlub429przez wiele dni. Google podaje, że adresy URL, które stale je zwracają, mogą zostać usunięte z indeksu. - Używania ochrony przed botami jako hamulca. Bot Fight Mode w Cloudflare wysyła botom kosztowne obliczeniowo weryfikacje i nie da się go pominąć niestandardowymi regułami WAF, więc nie wyłączysz z niego crawlerów, które chcesz zachować.
- Blokowania crawlera wyszukiwarki, by oszczędzić transfer.
DisallowdlaOAI-SearchBot,Claude-SearchBotlubPerplexityBotusuwa Cię z odpowiedzi, które te crawlery zasilają.
Jak sprawdzić, czy crawlery nadal przechodzą?
Łatwo ustawić zbyt ostre limity. Darmowe sprawdzenie AISeeWhy pobiera stronę jako 16 crawlerów AI i wyszukiwarek obok prawdziwej przeglądarki, stosuje Twój robots.txt dla każdego crawlera i rozpoznaje strony weryfikacji firewalli, więc reguła, która odpowiada crawlerom inaczej niż przeglądarkom, staje się widoczna. Jedno żądanie na crawlera nie uruchomi rozsądnego limitu i właśnie o to chodzi: uruchom sprawdzenie po zmianie reguł, by potwierdzić, że zwykłe żądania nadal przechodzą. Darmowe sprawdzenie IP crawlerów AI mówi, czy adres IP z Twoich logów naprawdę należy do GPTBot lub innego crawlera.
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Sprawdzanie IP crawlerów AI
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Najczęstsze pytania
Czy Google obsługuje Crawl-delay?
Nie. Dokumentacja robots.txt Google wymienia crawl-delay wśród pól, których nie obsługuje. Aby krótko spowolnić Googlebot, zwracaj 503, 500 lub 429 na część żądań; w przypadku dłuższego ograniczenia Google oferuje specjalne zgłoszenie przez Search Console.
Czy ClaudeBot respektuje Crawl-delay?
Anthropic podaje, że obsługuje niestandardowe rozszerzenie Crawl-delay. Umieść je w grupie ClaudeBot i powtórz w niej wszystkie reguły Disallow z grupy User-agent: *.
Czy GPTBot i PerplexityBot obsługują Crawl-delay?
Strony o crawlerach OpenAI i Perplexity nie wspominają o Crawl-delay, więc jego działanie nie jest udokumentowane. Użyj limitu po stronie serwera, który na nadmiarowe żądania odpowiada kodem 429.
Czy odpowiedź 429 zaszkodzi moim pozycjom?
Nie przez krótki czas. Google opisuje 429 i 503 jako sposób na tymczasowe zmniejszenie przeszukiwania, ale ostrzega, że adresy URL zwracające je przez kilka dni mogą zostać usunięte z indeksu.
Czy zablokować GPTBot, żeby zmniejszyć obciążenie?
Możesz. OpenAI podaje, że GPTBot przeszukuje treści, które mogą posłużyć do trenowania, i że każde ustawienie robots.txt jest niezależne, więc zablokowanie go nie usuwa Cię z wyszukiwania ChatGPT, które korzysta z OAI-SearchBot. Najpierw sprawdź logi, by upewnić się, że obciążenie pochodzi z adresów OpenAI.
Źródła
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (cache HTTP)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers