Jak czytać raport AI Crawl Control w Cloudflare i sprawdzić, które crawlery AI wchodzą
Otwórz AI Crawl Control w panelu Cloudflare: lista crawlerów pokazuje każdy crawler AI, którego Cloudflare widział w Twojej domenie, jego żądania, naruszenia robots.txt i to, czy jego akcja to Allow, czy Block. Aby zachować wyszukiwanie AI i odmówić trenowania, dopuść crawlery wyszukiwania i agentów, a crawlery trenujące zablokuj lub wyklucz tam albo w zasadach AI Crawler and Agent access. Potem potwierdź wynik z zewnątrz curlem, bo inne funkcje Cloudflare mogą nadal blokować crawler, który dopuściłeś.
Cloudflare ma teraz dwa miejsca, które decydują, co dostają crawlery AI: AI Crawl Control, czyli raport i panel sterowania dla poszczególnych crawlerów, dawniej nazywany AI Audit, oraz obejmujące całą strefę zasady AI Crawler and Agent access w ustawieniach Security. Oba są dostępne w planie Free, oba zmieniły się w 2026 roku i żadne nie informuje o wszystkich innych funkcjach, które mogą nadal odpowiedzieć crawlerowi kodem 403. Ten poradnik omawia raport kolumna po kolumnie, pokazuje, gdzie ustawić dopuszczenie i blokadę, i kończy się testem, który uruchomisz na własnym komputerze.
Na tej stronie
- Gdzie w Cloudflare jest raport crawlerów AI?
- Co oznacza każda kolumna i metryka w raporcie AI Crawl Control?
- Jak w Cloudflare dopuścić crawlery wyszukiwania AI i zablokować crawlery trenujące?
- Co się zmieniło w domyślnych ustawieniach crawlerów AI w Cloudflare?
- Dlaczego Cloudflare nadal blokuje crawlery AI, choć je dopuściłem?
- Jak sprawdzić z zewnątrz, które crawlery AI Cloudflare przepuszcza?
- Jak AISeeWhy sprawdza, co Cloudflare wysyła crawlerom AI?
Gdzie w Cloudflare jest raport crawlerów AI?
W panelu wybierz konto i domenę, a potem otwórz AI Crawl Control. Cloudflare podaje, że działa bez konfiguracji i jest dostępny we wszystkich planach, o ile ruch Twojej domeny przechodzi przez proxy Cloudflare. Ma cztery obszary:
- Overview: podsumowanie z łączną liczbą żądań, zmianą ich liczby, najczęstszym kodem statusu, najpopularniejszą ścieżką i crawlerami o dużym ruchu, informacją, czy zarządzany robots.txt od Cloudflare jest włączony, oraz crawlerami pogrupowanymi według operatora, takiego jak OpenAI, Microsoft, Google, ByteDance, Anthropic i Meta.
- Lista crawlerów: jeden wiersz na crawler AI, z kolumną Action, w której wybierasz Allow lub Block. Dokumentacja Cloudflare nazywa tę kartę na jednej stronie Crawlers, a na innej Security, więc szukaj tabeli z kolumną Action.
- Metrics: żądania w czasie, rozkład kodów statusu, format treści, najpopularniejsze ścieżki oraz, w planach płatnych, odesłania. Filtry obejmują zakres dat, crawler, operatora, nazwę hosta i ścieżkę, a dane można wyeksportować do CSV.
- Directives: stan pliku robots.txt i lista naruszeń robots.txt.
Przy czytaniu liczb ważne są dwa ograniczenia planów. W planie Free AI Crawl Control rozpoznaje crawlery tylko po ciągu user agent, więc widzi tylko crawlery, które się przedstawiają, a karta Metrics obejmuje ostatnie 24 godziny. Plany płatne dodają wykrywanie przez identyfikator detekcji Bot Management, a Enterprise z Bot Management ma konfigurowalne przedziały czasu.
Co oznacza każda kolumna i metryka w raporcie AI Crawl Control?
Cloudflare dokumentuje pola w następujący sposób. Definicje są ważne, bo kilka liczb obejmuje więcej, niż można by się spodziewać.
- Crawler i Category: nazwa crawlera, jego operator i kategoria, taka jak AI crawler, AI assistant lub archiver.
- Requests: żądania dopuszczone plus nieudane, z wykresem trendu. Nieudane żądania mogą wynikać z dowolnej reguły lub błędu odpowiedzi, nie tylko z blokady AI Crawl Control, więc wysoka liczba dla crawlera, którego dopuściłeś, wskazuje na inną regułę lub błędy na Twoim serwerze źródłowym.
- Allowed requests: żądania, które otrzymały status od 200 do 299. Transfer danych jest liczony z bajtów wysłanych przez Cloudflare dla dopuszczonych żądań.
- Robots.txt violations: ile razy crawler zażądał ścieżki, którą blokuje Twój robots.txt. Cloudflare porównuje dawne żądania z Twoimi obecnymi regułami, więc reguła dodana dziś może oznaczyć żądania, które były dozwolone w chwili ich wykonania.
- Action: Allow, Block albo, dla kont w becie pay per crawl, Charge.
- Rozkład kodów statusu: 2xx, 3xx, 4xx i 5xx. Grupa 4xx obejmuje 403 z blokad i 402 z pay per crawl.
- Odesłania i główne źródła odesłań, tylko w planach płatnych: wizyty, które przyszły z usług AI, na przykład z chatgpt.com, i strony, na które trafiły.
Czytaj raport, zaczynając od wybranej akcji. Crawler ustawiony na Allow powinien mieć głównie dopuszczone żądania i kody 2xx. Jeśli ma wiele nieudanych żądań, otwórz rozkład kodów statusu przefiltrowany do tego crawlera i sprawdź Security Analytics, aby znaleźć regułę, która odpowiedziała.
Jak w Cloudflare dopuścić crawlery wyszukiwania AI i zablokować crawlery trenujące?
Możesz to zrobić dla każdego crawlera osobno albo według zachowania. Dla każdego crawlera osobno otwórz AI Crawl Control i ustaw Action w każdym wierszu. Cloudflare podaje, że blokada w tym miejscu tworzy lub aktualizuje niestandardową regułę WAF w Twojej strefie, którą możesz rozszerzyć w WAF o wyjątki dla ścieżek. W planach płatnych możesz wybrać, czy zablokowane crawlery dostaną 403, czy 402, i ustawić treść odpowiedzi w zwykłym tekście.
Według zachowania przejdź do Security, potem Settings, przefiltruj według Bot traffic i otwórz AI Crawler and Agent access policies. Cloudflare dzieli ruch AI na trzy zachowania, a każda zasada dotyczy zweryfikowanych botów o tym zachowaniu i pasujących niezweryfikowanych botów:
- Search: zbieranie lub indeksowanie treści, aby później odpowiadać na pytania.
- Agent: działanie w czasie rzeczywistym w imieniu człowieka, na przykład pobrania z czatu i agenci przeglądarkowi.
- Training: zbieranie treści do trenowania lub dostrajania modeli, w tym crawlery używane zarówno do trenowania, jak i do wyszukiwania.
Każde zachowanie można ustawić na Block, Block on pages with ads lub Allow (do not block). Training ma też opcję Disallow, która tylko prosi crawlery przez robots.txt. Przy włączonym Bot Preference Sync Cloudflare dopisuje na początku Twojego robots.txt zarządzane reguły blokujące Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot i meta-externalagent, dodaje linię Content Signals, a także blokuje crawlery trenujące AI na brzegu sieci, z wyjątkiem crawlerów używanych zarówno do wyszukiwania, jak i trenowania.
Dla większości witryn, które chcą cytowań w AI, bezpieczne połączenie to Search i Agent na Allow, Training na Disallow, a następnie pojedyncze akcje Block w AI Crawl Control dla crawlerów służących tylko do trenowania, które chcesz zatrzymać na brzegu sieci.
Co się zmieniło w domyślnych ustawieniach crawlerów AI w Cloudflare?
1 lipca 2025 Cloudflare ogłosił, że zmienia ustawienie domyślne na blokowanie crawlerów AI, chyba że płacą twórcom. 1 lipca 2026 zastąpił pojedynczy przełącznik Block AI bots osobnymi zasadami Search, Agent i Training opisanymi wyżej, we wszystkich planach, także Free. To samo ogłoszenie mówiło, że nowe domeny dodawane od 15 września 2026 będą miały zablokowane Training i Agent na stronach z reklamami, a Search dopuszczone.
Obecna dokumentacja zasad Cloudflare, ostatnio zaktualizowana 2 listopada 2026, podaje, że nowe domeny mają domyślnie Allow (do not block) dla wszystkich trzech zachowań. Ponieważ własne strony Cloudflare opisywały w różnym czasie różne ustawienia domyślne, nie polegaj na żadnej z nich w przypadku swojej strefy: otwórz stronę zasad i sprawdź, co jest ustawione.
Dlaczego Cloudflare nadal blokuje crawlery AI, choć je dopuściłem?
Akcja Allow w AI Crawl Control powoduje tylko, że AI Crawl Control przestaje blokować. Inne funkcje nadal działają na żądanie. Typowe przyczyny:
- Blokowanie Training blokuje też crawlery wyszukiwania, które robią jedno i drugie. Dokumentacja Cloudflare podaje, że akcje Training dotyczą crawlerów o mieszanym przeznaczeniu, a ogłoszenie z lipca 2026 wymienia Googlebota, Applebota i bingbota jako crawlery, które klienci blokujący Training będą blokować od 15 września 2026. Disallow to węższy wybór, bo jego blokada na brzegu sieci pomija crawlery o mieszanym przeznaczeniu.
- Włączony jest Bot Fight Mode. Cloudflare podaje, że Bot Fight Mode nie da się obejść ani pominąć niestandardowymi regułami WAF ani Page Rules. Jeśli wyświetla crawlerowi weryfikację, wyłącz go albo, w planie, który to oferuje, użyj Super Bot Fight Mode, który obsługuje reguły pomijania.
- Starsza niestandardowa reguła WAF blokuje user agenty zawierające
botalbo reguła ograniczania liczby żądań odpowiada na serie kodem 429. Działają one niezależnie od akcji w AI Crawl Control. - Regułę blokującą edytowano ręcznie. Jeśli reguła WAF stojąca za AI Crawl Control została zmieniona na inny kod odpowiedzi, panel nie może już egzekwować Twojego wyboru.
- robots.txt nadal blokuje crawler. Allow w Cloudflare nie zmienia Twojego robots.txt, więc grzeczny crawler i tak się trzyma z daleka. W naszym badaniu 1000 najpopularniejszych domen 98 ze 155 witryn, które blokowały crawler trenujący AI w robots.txt, blokowało też co najmniej jeden crawler wyszukiwania AI lub crawler użytkownika.
Jak sprawdzić z zewnątrz, które crawlery AI Cloudflare przepuszcza?
Pobierz tę samą stronę z user agentem przeglądarki i z user agentem każdego crawlera, a potem porównaj status i rozmiar. Ciągi OpenAI, Perplexity i Google poniżej to te, które publikują te firmy.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Wiersz crawlera z kodem 403, 429 lub 503 albo ze znacznie mniejszym rozmiarem niż wiersz przeglądarki oznacza, że coś przed Twoim serwerem źródłowym odpowiedziało inaczej. W planie Free AI Crawl Control wykrywa crawlery po user agencie, więc ten test rozsądnie sprawdza jego blokady. Reguły oparte na statusie zweryfikowanego bota lub ocenach botów mogą potraktować Twoje żądanie inaczej niż prawdziwy crawler, bo pochodzi z Twojego adresu IP, a nie z opublikowanych zakresów operatora. Po teście znajdź swoje żądania w Security Analytics, aby zobaczyć, która reguła zadziałała.
Jak AISeeWhy sprawdza, co Cloudflare wysyła crawlerom AI?
Darmowe sprawdzenie AISeeWhy pobiera Twoją stronę jako 16 crawlerów AI i wyszukiwarek obok prawdziwej przeglądarki, stosuje Twój robots.txt dla każdego crawlera i rozpoznaje strony weryfikacji firewalla, więc widzisz, czy wynik w panelu Cloudflare zgadza się z tym, co crawlery faktycznie dostają.
Poprawki dla tego problemu
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Sprawdzanie IP crawlerów AI
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Najczęstsze pytania
Czy Cloudflare AI Crawl Control jest darmowy?
Tak. Cloudflare podaje, że AI Crawl Control jest dostępny we wszystkich planach. Plan Free wykrywa crawlery tylko po user agencie i pokazuje w Metrics ostatnie 24 godziny; dane o odesłaniach i własne odpowiedzi blokady wymagają planu płatnego.
Co się stało z Cloudflare AI Audit?
Zmienił nazwę. Dokumentacja Cloudflare opisuje AI Crawl Control jako dawny AI Audit, z tym samym celem: pokazać, które crawlery AI odwiedzają witrynę, i ustawić akcję dla każdego z nich.
Czy zablokowanie crawlera w AI Crawl Control zmienia mój robots.txt?
Nie. Akcja Block tworzy lub aktualizuje niestandardową regułę WAF. robots.txt zmienia się tylko wtedy, gdy używasz opcji Disallow dla Training z Bot Preference Sync, który dopisuje zarządzane reguły Cloudflare na początku Twojego pliku.
Co Cloudflare uznaje za naruszenie robots.txt?
Żądanie crawlera AI do ścieżki, którą blokuje Twój robots.txt. Cloudflare porównuje dawne żądania z Twoimi obecnymi regułami, więc nowa reguła może oznaczyć starsze żądania, które wtedy były dozwolone.
Czym jest pay per crawl?
To akcja Charge, która prosi crawlery AI o opłatę za każde żądanie, a w przeciwnym razie odpowiada kodem HTTP 402 i ceną. Cloudflare opisuje ją jako zamkniętą betę, a blokady WAF lub Bot Management mają przed nią pierwszeństwo.
Źródła
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Raport o dostępie crawlerów AI, 2026-11