Jak czytać raport AI Crawl Control w Cloudflare i sprawdzić, które crawlery AI wchodzą

Opublikowano

Krótka odpowiedź

Otwórz AI Crawl Control w panelu Cloudflare: lista crawlerów pokazuje każdy crawler AI, którego Cloudflare widział w Twojej domenie, jego żądania, naruszenia robots.txt i to, czy jego akcja to Allow, czy Block. Aby zachować wyszukiwanie AI i odmówić trenowania, dopuść crawlery wyszukiwania i agentów, a crawlery trenujące zablokuj lub wyklucz tam albo w zasadach AI Crawler and Agent access. Potem potwierdź wynik z zewnątrz curlem, bo inne funkcje Cloudflare mogą nadal blokować crawler, który dopuściłeś.

Cloudflare ma teraz dwa miejsca, które decydują, co dostają crawlery AI: AI Crawl Control, czyli raport i panel sterowania dla poszczególnych crawlerów, dawniej nazywany AI Audit, oraz obejmujące całą strefę zasady AI Crawler and Agent access w ustawieniach Security. Oba są dostępne w planie Free, oba zmieniły się w 2026 roku i żadne nie informuje o wszystkich innych funkcjach, które mogą nadal odpowiedzieć crawlerowi kodem 403. Ten poradnik omawia raport kolumna po kolumnie, pokazuje, gdzie ustawić dopuszczenie i blokadę, i kończy się testem, który uruchomisz na własnym komputerze.

Na tej stronie
  1. Gdzie w Cloudflare jest raport crawlerów AI?
  2. Co oznacza każda kolumna i metryka w raporcie AI Crawl Control?
  3. Jak w Cloudflare dopuścić crawlery wyszukiwania AI i zablokować crawlery trenujące?
  4. Co się zmieniło w domyślnych ustawieniach crawlerów AI w Cloudflare?
  5. Dlaczego Cloudflare nadal blokuje crawlery AI, choć je dopuściłem?
  6. Jak sprawdzić z zewnątrz, które crawlery AI Cloudflare przepuszcza?
  7. Jak AISeeWhy sprawdza, co Cloudflare wysyła crawlerom AI?

Gdzie w Cloudflare jest raport crawlerów AI?

W panelu wybierz konto i domenę, a potem otwórz AI Crawl Control. Cloudflare podaje, że działa bez konfiguracji i jest dostępny we wszystkich planach, o ile ruch Twojej domeny przechodzi przez proxy Cloudflare. Ma cztery obszary:

Przy czytaniu liczb ważne są dwa ograniczenia planów. W planie Free AI Crawl Control rozpoznaje crawlery tylko po ciągu user agent, więc widzi tylko crawlery, które się przedstawiają, a karta Metrics obejmuje ostatnie 24 godziny. Plany płatne dodają wykrywanie przez identyfikator detekcji Bot Management, a Enterprise z Bot Management ma konfigurowalne przedziały czasu.

Co oznacza każda kolumna i metryka w raporcie AI Crawl Control?

Cloudflare dokumentuje pola w następujący sposób. Definicje są ważne, bo kilka liczb obejmuje więcej, niż można by się spodziewać.

Czytaj raport, zaczynając od wybranej akcji. Crawler ustawiony na Allow powinien mieć głównie dopuszczone żądania i kody 2xx. Jeśli ma wiele nieudanych żądań, otwórz rozkład kodów statusu przefiltrowany do tego crawlera i sprawdź Security Analytics, aby znaleźć regułę, która odpowiedziała.

Jak w Cloudflare dopuścić crawlery wyszukiwania AI i zablokować crawlery trenujące?

Możesz to zrobić dla każdego crawlera osobno albo według zachowania. Dla każdego crawlera osobno otwórz AI Crawl Control i ustaw Action w każdym wierszu. Cloudflare podaje, że blokada w tym miejscu tworzy lub aktualizuje niestandardową regułę WAF w Twojej strefie, którą możesz rozszerzyć w WAF o wyjątki dla ścieżek. W planach płatnych możesz wybrać, czy zablokowane crawlery dostaną 403, czy 402, i ustawić treść odpowiedzi w zwykłym tekście.

Według zachowania przejdź do Security, potem Settings, przefiltruj według Bot traffic i otwórz AI Crawler and Agent access policies. Cloudflare dzieli ruch AI na trzy zachowania, a każda zasada dotyczy zweryfikowanych botów o tym zachowaniu i pasujących niezweryfikowanych botów:

Każde zachowanie można ustawić na Block, Block on pages with ads lub Allow (do not block). Training ma też opcję Disallow, która tylko prosi crawlery przez robots.txt. Przy włączonym Bot Preference Sync Cloudflare dopisuje na początku Twojego robots.txt zarządzane reguły blokujące Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot i meta-externalagent, dodaje linię Content Signals, a także blokuje crawlery trenujące AI na brzegu sieci, z wyjątkiem crawlerów używanych zarówno do wyszukiwania, jak i trenowania.

Dla większości witryn, które chcą cytowań w AI, bezpieczne połączenie to Search i Agent na Allow, Training na Disallow, a następnie pojedyncze akcje Block w AI Crawl Control dla crawlerów służących tylko do trenowania, które chcesz zatrzymać na brzegu sieci.

Co się zmieniło w domyślnych ustawieniach crawlerów AI w Cloudflare?

1 lipca 2025 Cloudflare ogłosił, że zmienia ustawienie domyślne na blokowanie crawlerów AI, chyba że płacą twórcom. 1 lipca 2026 zastąpił pojedynczy przełącznik Block AI bots osobnymi zasadami Search, Agent i Training opisanymi wyżej, we wszystkich planach, także Free. To samo ogłoszenie mówiło, że nowe domeny dodawane od 15 września 2026 będą miały zablokowane Training i Agent na stronach z reklamami, a Search dopuszczone.

Obecna dokumentacja zasad Cloudflare, ostatnio zaktualizowana 2 listopada 2026, podaje, że nowe domeny mają domyślnie Allow (do not block) dla wszystkich trzech zachowań. Ponieważ własne strony Cloudflare opisywały w różnym czasie różne ustawienia domyślne, nie polegaj na żadnej z nich w przypadku swojej strefy: otwórz stronę zasad i sprawdź, co jest ustawione.

Dlaczego Cloudflare nadal blokuje crawlery AI, choć je dopuściłem?

Akcja Allow w AI Crawl Control powoduje tylko, że AI Crawl Control przestaje blokować. Inne funkcje nadal działają na żądanie. Typowe przyczyny:

Jak sprawdzić z zewnątrz, które crawlery AI Cloudflare przepuszcza?

Pobierz tę samą stronę z user agentem przeglądarki i z user agentem każdego crawlera, a potem porównaj status i rozmiar. Ciągi OpenAI, Perplexity i Google poniżej to te, które publikują te firmy.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Wiersz crawlera z kodem 403, 429 lub 503 albo ze znacznie mniejszym rozmiarem niż wiersz przeglądarki oznacza, że coś przed Twoim serwerem źródłowym odpowiedziało inaczej. W planie Free AI Crawl Control wykrywa crawlery po user agencie, więc ten test rozsądnie sprawdza jego blokady. Reguły oparte na statusie zweryfikowanego bota lub ocenach botów mogą potraktować Twoje żądanie inaczej niż prawdziwy crawler, bo pochodzi z Twojego adresu IP, a nie z opublikowanych zakresów operatora. Po teście znajdź swoje żądania w Security Analytics, aby zobaczyć, która reguła zadziałała.

Jak AISeeWhy sprawdza, co Cloudflare wysyła crawlerom AI?

Darmowe sprawdzenie AISeeWhy pobiera Twoją stronę jako 16 crawlerów AI i wyszukiwarek obok prawdziwej przeglądarki, stosuje Twój robots.txt dla każdego crawlera i rozpoznaje strony weryfikacji firewalla, więc widzisz, czy wynik w panelu Cloudflare zgadza się z tym, co crawlery faktycznie dostają.

Poprawki dla tego problemu

Darmowe narzędzia

Następne kroki

Crawlery w tym artykule

Najczęstsze pytania

Czy Cloudflare AI Crawl Control jest darmowy?

Tak. Cloudflare podaje, że AI Crawl Control jest dostępny we wszystkich planach. Plan Free wykrywa crawlery tylko po user agencie i pokazuje w Metrics ostatnie 24 godziny; dane o odesłaniach i własne odpowiedzi blokady wymagają planu płatnego.

Co się stało z Cloudflare AI Audit?

Zmienił nazwę. Dokumentacja Cloudflare opisuje AI Crawl Control jako dawny AI Audit, z tym samym celem: pokazać, które crawlery AI odwiedzają witrynę, i ustawić akcję dla każdego z nich.

Czy zablokowanie crawlera w AI Crawl Control zmienia mój robots.txt?

Nie. Akcja Block tworzy lub aktualizuje niestandardową regułę WAF. robots.txt zmienia się tylko wtedy, gdy używasz opcji Disallow dla Training z Bot Preference Sync, który dopisuje zarządzane reguły Cloudflare na początku Twojego pliku.

Co Cloudflare uznaje za naruszenie robots.txt?

Żądanie crawlera AI do ścieżki, którą blokuje Twój robots.txt. Cloudflare porównuje dawne żądania z Twoimi obecnymi regułami, więc nowa reguła może oznaczyć starsze żądania, które wtedy były dozwolone.

Czym jest pay per crawl?

To akcja Charge, która prosi crawlery AI o opłatę za każde żądanie, a w przeciwnym razie odpowiada kodem HTTP 402 i ceną. Cloudflare opisuje ją jako zamkniętą betę, a blokady WAF lub Bot Management mają przed nią pierwszeństwo.

Źródła

Więcej artykułów