Dlaczego moja strona nagle blokuje crawlery AI?
Witryna, która zaczyna blokować crawlery AI, prawie zawsze zmieniła się w jednym z pięciu miejsc: w robots.txt, który jest faktycznie serwowany, w ustawieniu CDN, takim jak zasady dla crawlerów AI w Cloudflare, w ochronie przed botami lub limicie żądań, w domyślnym ustawieniu hostingu albo w robots.txt, który teraz zwraca błąd. Pobierz dzisiejszy robots.txt i stronę jako każdy crawler, porównaj je z przeglądarką i z tym, co było wcześniej, i sprawdź te warstwy w tej kolejności.
Nikt nie postanawia zniknąć z odpowiedzi AI. Dzieje się to jako efekt uboczny aktualizacji motywu, ustawienia bezpieczeństwa, migracji albo zmiany domyślnego ustawienia u dostawcy. Przeglądarka nadal widzi witrynę normalnie, więc zmiana może pozostać niezauważona, dopóki ktoś nie zapyta ChatGPT lub Perplexity o produkt i nie dostanie konkurenta. Każda warstwa zostawia ślady, które można sprawdzić z zewnątrz lub w logach.
Na tej stronie
- Czy zmienił się robots.txt, który dostają crawlery?
- Czy zasady Cloudflare dla crawlerów AI z 2026 roku zmieniły to, na co pozwala moja witryna?
- Czy ochrona przed botami lub limit żądań zatrzymuje crawlery?
- Czy mój dostawca hostingu zmienił ustawienia domyślne?
- Czy robots.txt zwraca błąd?
- Jak ustalić, kiedy to się zaczęło?
- Jak następnym razem wychwycić to szybciej?
Czy zmienił się robots.txt, który dostają crawlery?
Pobierz https://yourdomain.com/robots.txt i porównaj go z plikiem w repozytorium lub kopii zapasowej. Patrz na serwowany plik, a nie na ten na dysku, bo po drodze może go zmienić kilka warstw:
- Wdrożenie publikuje robots.txt ze środowiska staging z
Disallow: /albo po migracji zostaje domyślny plik platformy. - Ustawienie kreatora stron dodaje reguły dla crawlerów AI. Squarespace ma na przykład opcję Block known artificial intelligence crawlers, która wpisuje do robots.txt 26 nazw botów i zastrzega, że z czasem może ich przybyć. Domyślnie jest wyłączona, więc ktoś musi ją włączyć, ale lista może potem rosnąć.
- Aktualizacja wtyczki SEO lub bezpieczeństwa zapisuje nowe reguły albo dodaje nową opcję, którą ktoś włącza.
- Cloudflare dokleja swój zarządzany robots.txt na początku Twojego pliku, gdy Bot Preference Sync jest włączone, a któraś zasada AI ma ustawienie Block lub Disallow. Serwowany plik zaczyna się wtedy od
Disallow: /dlaClaudeBot,GPTBoti sześciu innych tokenów trenujących, choć Twój własny plik się nie zmienił. - Reguła przeznaczona dla crawlera trenującego została skopiowana do innych, także do crawlerów wyszukiwarek, takich jak
OAI-SearchBot,Claude-SearchBotczyPerplexityBot.
Raport robots.txt w Google Search Console pokazuje wersje pobrane przez Google w ciągu ostatnich 30 dni, z nowym wpisem za każdym razem, gdy zmienił się plik lub wynik pobrania. Obejmuje tylko to, co widział Google, ale jeśli Twój serwer nie różnicuje robots.txt według user agenta, crawlery AI dostały ten sam plik.
Czy zasady Cloudflare dla crawlerów AI z 2026 roku zmieniły to, na co pozwala moja witryna?
Cloudflare kilka razy zmieniał ustawienia dla crawlerów AI, a niektóre zmiany zmieniają działanie strefy bez jej edytowania. 1 lipca 2025 zaczął pytać nowe domeny przy rejestracji, czy dopuścić crawlery AI, z blokowaniem jako stanem początkowym. 1 lipca 2026 zastąpił pojedynczy przełącznik Block AI bots osobnymi zasadami Search, Agent i Training dla wszystkich planów, łącznie z Free.
Szczegół, na którym potyka się najwięcej witryn, to crawlery o mieszanym przeznaczeniu. Dokumentacja Cloudflare podaje, że działania dla Training dotyczą też crawlerów używanych zarówno do wyszukiwania, jak i do trenowania. Ogłoszenie z lipca 2026 mówiło, że od 15 września 2026 crawlery wielozadaniowe, takie jak Googlebot, Applebot i BingBot, będą blokowane u klientów, którzy wybrali blokowanie Training, czy to przez nowe opcje, czy przez dawne ustawienie Block AI bots. Rezygnacja z trenowania ustawiona rok temu może więc teraz dotykać crawlerów wyszukiwarek.
Domyślne ustawienia dla nowych domen z czasem opisywano różnie. To samo ogłoszenie mówiło, że od 15 września 2026 nowe domeny będą miały zablokowane Training i Agent na stronach z reklamami, a dokumentacja zasad zaktualizowana 2 listopada 2026 podaje, że nowe domeny zaczynają ze wszystkimi trzema ustawionymi na Allow. Otwórz Security, potem Settings, przefiltruj według Bot traffic i przeczytaj AI Crawler and Agent access policies dla swojej strefy. Nasz przewodnik po Cloudflare AI Crawl Control objaśnia każde ustawienie.
Czy ochrona przed botami lub limit żądań zatrzymuje crawlery?
Ochrona przed botami ocenia każde żądanie, a crawlery szybko pobierają wiele stron z centrów danych, czyli robią to, co robią boty. Crawler, który przechodził w zeszłym miesiącu, może zacząć dostawać strony weryfikacji, gdy jego operator zmieni zakresy IP lub tempo przeszukiwania albo gdy zaktualizowane zostaną reguły ochrony. Częstą przyczyną jest Bot Fight Mode w Cloudflare, a Cloudflare podaje, że nie da się go obejść ani pominąć niestandardowymi regułami WAF ani Page Rules, więc dodana później reguła zezwalająca nie pomoże, dopóki jest włączony. Nowy limit żądań, który odpowiada na serie kodem 429, działa tak samo na zapracowanego crawlera.
Przetestuj z zewnątrz: pobierz stronę jako przeglądarka i jako dwa crawlery wyszukiwania AI, a potem pobierz robots.txt jako crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Kod 403, 429 lub 503 tylko dla crawlera, strona zatytułowana Just a moment... albo treść znacznie mniejsza niż w przeglądarce oznacza, że crawler jest traktowany inaczej. Test pochodzi z Twojego IP, a nie z IP dostawcy, więc reguły oparte na statusie zweryfikowanego bota mogą nadal traktować prawdziwego crawlera inaczej. Dziennik zdarzeń firewalla pokazuje, która reguła odpowiedziała.
Czy mój dostawca hostingu zmienił ustawienia domyślne?
Niektórzy hostingodawcy filtrują ruch AI na serwerze, zanim zadziałają Twoje własne reguły. SiteGround napisał na przykład w sierpniu 2025, że domyślnie blokuje crawlery AI przeznaczone do zbierania danych treningowych i przepuszcza crawlery, które przychodzą, gdy ktoś pyta asystenta AI o daną stronę. Takie reguły nie pojawiają się w Twoim robots.txt i mogą się zmienić, gdy hosting zaktualizuje swoje listy botów.
Jeśli blokada pojawia się naraz na kilku witrynach u tego samego hostingodawcy albo w odpowiedziach, które nigdy nie trafiają do logów aplikacji, zapytaj hosting, jakie reguły dla botów obowiązują na Twoim koncie i czy możesz wyłączyć z nich crawlery, które chcesz zachować.
Czy robots.txt zwraca błąd?
robots.txt, który nie działa, może zablokować więcej niż jakikolwiek wiersz Disallow. Według RFC 9309 odpowiedź 4xx oznacza, że crawler może pobierać wszystko, ale błąd serwera (5xx) lub brak odpowiedzi oznacza, że musi założyć, że cała witryna jest zablokowana. Google przez pierwsze 12 godzin takich błędów wstrzymuje przeszukiwanie, a potem przez maksymalnie 30 dni używa ostatniej poprawnej kopii.
W ten sposób skok obciążenia, reguła firewalla, która wyświetla weryfikację dla /robots.txt, albo limit żądań, który go obejmuje, mogą odciąć dobrze działające crawlery bez zmiany ani jednej reguły. Ostatnie polecenie z testu powyżej powinno zwrócić 200 i text/plain. 5xx, przekroczenie czasu lub strona weryfikacji w tym miejscu to pierwsza rzecz do naprawienia.
Jak ustalić, kiedy to się zaczęło?
Data zamienia zagadkę w porównanie zmian. W logach dostępu przefiltruj żądania od user agentów crawlerów AI i znajdź dzień, w którym ich kody statusu zmieniły się z 200 na 403, 429 lub 503, albo dzień, w którym po odczytaniu robots.txt przestały pobierać strony; nasz przewodnik po sprawdzaniu logów serwera pod kątem crawlerów AI zawiera polecenia. Żądania zablokowane przez CDN nigdy nie docierają do serwera źródłowego, więc sprawdź też CDN. W Cloudflare AI Crawl Control pokazuje rozkład kodów statusu w czasie, który można filtrować według crawlera.
Potem zestaw tę datę z wdrożeniami, aktualizacjami wtyczek i motywów, zmianami ustawień CDN i ogłoszeniami dostawców. Zanim cokolwiek zrobisz, potwierdź, że źródłowe adresy IP należą do dostawcy, aby mieć pewność, że patrzysz na prawdziwego crawlera, a nie na podszywającego się pod jego nazwę.
Jak następnym razem wychwycić to szybciej?
Sprawdzaj dostęp po każdym wdrożeniu, zmianie w CDN i aktualizacji wtyczki, a nie tylko wtedy, gdy spada ruch. Darmowe sprawdzenie AISeeWhy pobiera stronę jako 16 crawlerów AI i wyszukiwarek obok prawdziwej przeglądarki, stosuje Twój robots.txt dla każdego crawlera i rozpoznaje strony weryfikacji firewalli. Darmowy tester robots.txt pokazuje dla każdego crawlera, czy strona może zostać pobrana według pliku, który działa dzisiaj.
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Sprawdzanie IP crawlerów AI
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Najczęstsze pytania
Dlaczego ChatGPT przestał pokazywać moją witrynę?
Często dlatego, że OAI-SearchBot, crawler stojący za wyszukiwaniem w ChatGPT, został zablokowany przez zmianę w robots.txt, zasadę CDN lub ochronę przed botami. OpenAI podaje, że witryny, które go blokują, nie pojawiają się w odpowiedziach wyszukiwania ChatGPT. Sprawdź każdą warstwę dla tego crawlera i po poprawce w robots.txt odczekaj około 24 godzin, bo tyle według OpenAI potrzebują jego systemy na dostosowanie się.
Czy Cloudflare zaczął blokować Googlebot na mojej stronie?
To możliwe. Cloudflare podał, że od 15 września 2026 klienci blokujący Training blokują też crawlery wielozadaniowe, takie jak Googlebot, Applebot i BingBot. Jego dokumentacja mówi, że opcja Training Disallow blokuje crawlery trenujące na brzegu sieci, ale pomija crawlery o mieszanym zastosowaniu, więc sprawdź, której opcji używa Twoja strefa.
Czy kreator stron lub wtyczka może zmienić robots.txt za mnie?
Tak. Kreatory stron oraz wtyczki SEO i bezpieczeństwa mogą wpisywać do robots.txt reguły dla crawlerów AI, a niektóre z czasem rozszerzają swoje listy botów. Po każdej aktualizacji pobierz działający plik i przeczytaj grupy, które dotyczą ważnych dla Ciebie crawlerów wyszukiwarek.
Dlaczego mój działający robots.txt różni się od pliku na serwerze?
Zmienia go coś, co stoi przed Twoim serwerem. Zarządzany robots.txt w Cloudflare dokleja na przykład własne reguły i content signals na początku Twojego pliku w tej samej odpowiedzi. CMS, który generuje robots.txt na żądanie, albo ustawienie na poziomie hostingu może też go zastąpić lub rozszerzyć.
Po jakim czasie crawlery AI wrócą, gdy to naprawię?
RFC 9309 mówi, że crawlery nie powinny używać zapisanej w pamięci podręcznej kopii robots.txt dłużej niż 24 godziny, OpenAI podaje około 24 godzin, a Perplexity do 24 godzin. Zmiany w firewallu działają, gdy tylko dostawca je wdroży, ale crawlery wracają według własnego harmonogramu.
Źródła
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers