Jak spowolnić crawlery AI, nie blokując ich

Opublikowano

Krótka odpowiedź

Ograniczaj tempo zamiast blokować. Na nadmiarowe żądania crawlerów odpowiadaj kodem 429 lub 503 z nagłówkiem Retry-After, daj każdemu crawlerowi osobny budżet, wyłącz /robots.txt spod wszystkich limitów i serwuj crawlerom strony z cache. Crawl-delay w robots.txt pomaga tylko tam, gdzie operator go dokumentuje: robią to Anthropic i Bing, Google podaje, że go nie obsługuje, a OpenAI i Perplexity o nim nie wspominają. Nie blokuj crawlerów wyszukiwania AI, bo inaczej znikniesz też z odpowiedzi, które one zasilają.

Gdy crawler wysyła tysiące żądań na godzinę, szybkim rozwiązaniem jest Disallow: / albo blokada w firewallu. Dla crawlera trenującego może to być rozsądny wybór. Dla OAI-SearchBot, Claude-SearchBot czy PerplexityBot oznacza to usunięcie Twoich stron z odpowiedzi AI, w których chcesz się pojawiać. Zwykle obciążenie da się zmniejszyć bez tej straty, za pomocą sygnałów, które crawlery już rozumieją: kodów statusu, cache i, u niektórych operatorów, Crawl-delay.

Na tej stronie
  1. Który crawler naprawdę powoduje obciążenie?
  2. Czy Crawl-delay działa na crawlery AI?
  3. Jak odpowiedzi 429 i 503 spowalniają crawlery?
  4. Jak ustawić limit żądań dla crawlerów AI?
  5. Czy cache może zmniejszyć obciążenie przez crawlery?
  6. Czego unikać przy spowalnianiu crawlerów?
  7. Jak sprawdzić, czy crawlery nadal przechodzą?

Który crawler naprawdę powoduje obciążenie?

Zanim cokolwiek zmienisz, sprawdź. Policz w logach dostępu żądania według user agenta i godziny, a źródłowe adresy IP porównaj z zakresami publikowanymi przez każdego dostawcę; nasz przewodnik po sprawdzaniu logów serwera pod kątem crawlerów AI zawiera polecenia. Często wychodzą dwie rzeczy:

Podziel też crawlery według zadania. Crawlery trenujące, takie jak GPTBot i ClaudeBot, nie sprawiają, że Twoja witryna może być cytowana w wyszukiwaniu AI, więc jeśli problemem jest któryś z nich, zablokowanie go jest rozsądną opcją. Dalsza część przewodnika dotyczy crawlerów, które chcesz zachować.

Czy Crawl-delay działa na crawlery AI?

Crawl-delay nie jest częścią RFC 9309, więc każdy operator sam decyduje, czy go odczytywać. Tak wygląda dokumentacja według stanu na listopad 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Uważaj na logikę grup. Crawler, który znajdzie grupę ze swoją nazwą, całkowicie ignoruje grupę User-agent: *, więc grupa ClaudeBot zawierająca tylko Crawl-delay porzuciłaby każdą regułę Disallow ustawioną dla wszystkich pozostałych. Powtórz je, jak powyżej. Bing opisuje Crawl-delay jako wyjątek, który odczytuje z dowolnej z tych grup, ale nie zakładaj tego w przypadku innych crawlerów.

Jak odpowiedzi 429 i 503 spowalniają crawlery?

Przy skokach obciążenia kod statusu jest sygnałem, który crawlery są zaprojektowane respektować. 429 Too Many Requests, zdefiniowany w RFC 6585, oznacza, że klient wysłał za dużo żądań w danym czasie, i może zawierać nagłówek Retry-After z informacją, jak długo czekać. 503 Service Unavailable mówi, że serwer w tej chwili sobie nie radzi.

Google opisuje to jako sposób na szybkie zmniejszenie tempa przeszukiwania przez Googlebot: zwracaj 500, 503 lub 429 zamiast 200 na część żądań. Podaje, że obniża to tempo przeszukiwania dla całej nazwy hosta, a Retry-After może zawierać liczbę sekund lub datę.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Rób to krótko. Google odradza robienie tego dłużej niż dzień lub dwa, bo adres URL, który zwraca te kody przez kilka dni, może zostać usunięty z indeksu. Aby trwale zmniejszyć przeszukiwanie, Google oferuje zamiast tego specjalne zgłoszenie przez Search Console.

OpenAI, Anthropic i Perplexity nie dokumentują, jak ich crawlery reagują na 429, 503 czy Retry-After. Te kody to standardowy sposób, by poprosić o mniej, ale tego, jak szybko każdy crawler AI zwalnia, nie da się nigdzie sprawdzić.

Jak ustawić limit żądań dla crawlerów AI?

Daj każdemu crawlerowi osobny budżet zamiast jednego limitu dla całego ruchu i na żądania ponad limit odpowiadaj kodem 429. W nginx robi to moduł limit_req. Żądania z pustym kluczem nie są liczone, więc map, który zwraca klucz tylko dla user agentów crawlerów, nie dotyka ludzkich odwiedzających. Tutaj każdy crawler dostaje 60 żądań na minutę z burstem 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Kluczem jest tu user agent, więc każdy, kto skopiuje nazwę crawlera, dzieli jego budżet. Przy limicie żądań jest to do przyjęcia. W regule zezwalającej dopasowuj też opublikowane przez dostawcę zakresy IP.

W Cloudflare to samo robią na brzegu sieci reguły rate limiting. W planie Free dostajesz jedną regułę, liczoną dla każdego IP w oknie 10 sekund, a wyrażenie reguły może używać ścieżki i pola Verified Bot. Liczenie po IP jest zgrubne w przypadku crawlerów, które rozkładają żądania na wiele adresów, a wyższe plany dodają więcej opcji liczenia. Domyślna odpowiedź to 429, ale możesz ustawić inny kod 4xx i własną treść. AI Crawl Control oferuje dla każdego crawlera Allow, Block oraz, w prywatnej becie, Charge, ale żadnego ustawienia tempa.

Czegokolwiek używasz, wyłącz /robots.txt spod limitu. RFC 9309 mówi, że błąd serwera dla robots.txt oznacza, że crawler musi założyć, że cała witryna jest zablokowana, a Google wyłącza 429 z kodów 4xx, które traktuje jak brak pliku.

Czy cache może zmniejszyć obciążenie przez crawlery?

Często bardziej niż limit żądań. Crawlery pobierają głównie publiczne strony, które są takie same dla każdego odwiedzającego, więc serwowanie ich z CDN lub cache stron zamienia kosztowne renderowanie w tanie trafienia. Sprawdź, czy cache nie trzyma osobnego, niebuforowanego wariantu dla user agentów crawlerów.

Pomagają też żądania warunkowe. Google podaje, że jego crawlery obsługują cache HTTP z ETag i If-None-Match oraz z Last-Modified i If-Modified-Since, a gdy obecne są oba, używają ETag. Strony o crawlerach OpenAI, Anthropic i Perplexity nie mówią, czy ich crawlery wysyłają żądania warunkowe, więc licz na tę oszczędność tylko w przypadku Google.

Czego unikać przy spowalnianiu crawlerów?

Jak sprawdzić, czy crawlery nadal przechodzą?

Łatwo ustawić zbyt ostre limity. Darmowe sprawdzenie AISeeWhy pobiera stronę jako 16 crawlerów AI i wyszukiwarek obok prawdziwej przeglądarki, stosuje Twój robots.txt dla każdego crawlera i rozpoznaje strony weryfikacji firewalli, więc reguła, która odpowiada crawlerom inaczej niż przeglądarkom, staje się widoczna. Jedno żądanie na crawlera nie uruchomi rozsądnego limitu i właśnie o to chodzi: uruchom sprawdzenie po zmianie reguł, by potwierdzić, że zwykłe żądania nadal przechodzą. Darmowe sprawdzenie IP crawlerów AI mówi, czy adres IP z Twoich logów naprawdę należy do GPTBot lub innego crawlera.

Darmowe narzędzia

Następne kroki

Crawlery w tym artykule

Najczęstsze pytania

Czy Google obsługuje Crawl-delay?

Nie. Dokumentacja robots.txt Google wymienia crawl-delay wśród pól, których nie obsługuje. Aby krótko spowolnić Googlebot, zwracaj 503, 500 lub 429 na część żądań; w przypadku dłuższego ograniczenia Google oferuje specjalne zgłoszenie przez Search Console.

Czy ClaudeBot respektuje Crawl-delay?

Anthropic podaje, że obsługuje niestandardowe rozszerzenie Crawl-delay. Umieść je w grupie ClaudeBot i powtórz w niej wszystkie reguły Disallow z grupy User-agent: *.

Czy GPTBot i PerplexityBot obsługują Crawl-delay?

Strony o crawlerach OpenAI i Perplexity nie wspominają o Crawl-delay, więc jego działanie nie jest udokumentowane. Użyj limitu po stronie serwera, który na nadmiarowe żądania odpowiada kodem 429.

Czy odpowiedź 429 zaszkodzi moim pozycjom?

Nie przez krótki czas. Google opisuje 429 i 503 jako sposób na tymczasowe zmniejszenie przeszukiwania, ale ostrzega, że adresy URL zwracające je przez kilka dni mogą zostać usunięte z indeksu.

Czy zablokować GPTBot, żeby zmniejszyć obciążenie?

Możesz. OpenAI podaje, że GPTBot przeszukuje treści, które mogą posłużyć do trenowania, i że każde ustawienie robots.txt jest niezależne, więc zablokowanie go nie usuwa Cię z wyszukiwania ChatGPT, które korzysta z OAI-SearchBot. Najpierw sprawdź logi, by upewnić się, że obciążenie pochodzi z adresów OpenAI.

Źródła

Więcej artykułów