Jak sprawdzić, czy strona blokuje crawlery AI
Wklej dowolny adres i sprawdź, czy blokuje GPTBot, ClaudeBot, PerplexityBot i inne crawlery AI: w robots.txt, w firewallu albo w obu miejscach.
Za darmo · Bez rejestracji · Wynik w 30 sekund
Które crawlery są blokowane
Crawlery do trenowania, wyszukiwania i działające na żądanie użytkownika są pokazane osobno, bo zablokowanie GPTBot nie blokuje OAI-SearchBot, a zablokowanie ClaudeBot nie blokuje Claude-SearchBot.
Linijka, która rozstrzyga
Dla każdego crawlera robots.txt jest czytany według zasad RFC 9309: grupa, która go wymienia, albo User-agent: * jako rozwiązanie zapasowe, oraz reguła, która wygrywa.
Odrzucenia przez firewall
Strona jest pobierana jako 14 crawlerów i jako zwykła przeglądarka. Blokady i strony weryfikacji są oznaczane, a firewall, który odpowiedział, jest wskazany z nazwy.
Poprawka do każdego wyniku
Każdy wynik ma opisaną zmianę do wprowadzenia. Bezpłatne sprawdzenie pokazuje Twój wynik i pierwszy problem; pełny raport kosztuje $29, jednorazowo.
Strona może blokować crawlery AI w dwóch miejscach: w robots.txt, który prosi crawlery, by trzymały się z daleka, oraz na serwerze lub w firewallu, które faktycznie je odrzucają. Znajdź w robots.txt token każdego crawlera, a gdy go nie ma, User-agent: *, potem pobierz stronę jako crawler i porównaj wynik z przeglądarką. Rozszerzenie przeglądarki sprawdza część dotyczącą robots.txt dla 16 crawlerów AI jednym kliknięciem.
Sprawdź ręcznie w 3 krokach
- Wybierz crawler
Każda firma AI uruchamia osobne crawlery. Do trenowania:
GPTBot,ClaudeBot. Do wyszukiwania:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Na prośbę użytkownika:ChatGPT-User,Claude-User,Perplexity-User. - Przeczytaj dla niego robots.txt
Otwórz
https://example.com/robots.txti znajdź grupę, która wymienia ten crawler. Jeśli żadna go nie wymienia, obowiązuje grupaUser-agent: *; jeśli nie ma ani jednej, ani drugiej, wszystko jest dozwolone. - Pobierz stronę jako crawler
Pobierz stronę z user agentem crawlera i porównaj status oraz rozmiar z wynikiem w przeglądarce. Kod 403, strona weryfikacji lub znacznie mniejsza odpowiedź 200 oznaczają, że firewall go odrzuca.
Najczęstsze pytania
Czy strona bez robots.txt jest otwarta dla crawlerów AI?
Tak, jeśli chodzi o robots.txt. Kod 404 dla robots.txt oznacza brak reguł, więc każdy crawler może pobrać każdą stronę. Firewall nadal może blokować crawlery.
Czy rozszerzenie pokazuje blokady firewalla?
Nie. Odczytuje robots.txt z Twojej przeglądarki, a to pokazuje, o co strona prosi crawlery. Blokady firewalla i ochrony przed botami wymagają żądania wysłanego jako crawler, a to robi pełne sprawdzenie na aiseewhy.com.
Czy mogę sprawdzić stronę, która nie jest moja?
Tak. robots.txt jest publiczny, a rozszerzenie czyta tylko pliki robots.txt i llms.txt, które publikuje strona, czyli te same pliki, które czyta każdy crawler.
Przeczytaj pełny poradnik
Czy sprawdzasz własną stronę po zmianie, czy cudzą, zanim zaczniesz na niej polegać, pytanie „czy ta strona blokuje crawlery AI?” ma precyzyjną odpowiedź. Zależy ona od tego, o który crawler chodzi, bo firmy AI mają osobne crawlery do trenowania, do wyszukiwania i do wizyt na żywo, a strona może traktować każdy z nich inaczej. Ten poradnik pokazuje trzy sposoby sprawdzenia, od najszybszego do najpełniejszego.
Gdzie strona może blokować crawlery AI
Są trzy warstwy, a crawler musi przejść przez wszystkie, żeby skorzystać ze strony.
- robots.txt: publiczny plik z regułami, który dobrze zachowujące się crawlery czytają, zanim cokolwiek pobiorą. To prośba, a nie zamek.
- Serwer, CDN lub firewall: tu zapada decyzja, co faktycznie zostanie odesłane. Reguła ochrony przed botami może odpowiedzieć crawlerowi kodem 403, 429 albo stroną weryfikacji, nawet jeśli robots.txt na to pozwala.
- Sama strona: jeśli główny tekst pojawia się dopiero po wykonaniu JavaScriptu, crawler czytający początkowy HTML dostaje prawie pustą stronę, choć nic go nie zablokowało.
Większość szybkich testów patrzy tylko na pierwszą warstwę. To dobry początek, o ile pamiętasz o dwóch pozostałych.
Jak odczytać robots.txt dla jednego crawlera AI
Otwórz https://example.com/robots.txt w przeglądarce i znajdź grupę, która dotyczy danego crawlera. Grupa zaczyna się od jednego lub kilku wierszy User-agent. Crawler używa grupy, w której wymieniono jego token, na przykład GPTBot; wielkość liter przy dopasowaniu nie ma znaczenia. Jeśli żadna grupa go nie wymienia, używa grupy User-agent: *. Jeśli nie ma żadnej z nich, wszystko jest dozwolone.
W obrębie grupy wygrywa reguła z najdłuższą pasującą ścieżką, a gdy Allow i Disallow są równie długie, wygrywa Allow. Dlatego poniższy plik blokuje GPTBot na całej stronie, ale wpuszcza wszystkie inne crawlery:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Sprawdź też, jak plik odpowiada. Zgodnie z RFC 9309 kod 404 oznacza brak reguł, więc wszystko jest dozwolone. Błąd serwera (5xx) lub brak jakiejkolwiek odpowiedzi oznacza, że crawler musi traktować całą stronę jako zablokowaną. Adres robots.txt zwracający stronę HTML to częsty błąd: crawlery nie znajdują w niej poprawnych reguł.
Jak sprawdzić wszystkie crawlery AI naraz
Ręczne czytanie pliku robi się żmudne, gdy zależy Ci na więcej niż jednym crawlerze. Każda firma AI ma ich kilka, do różnych zadań:
- Crawlery treningowe zbierają treści do trenowania modeli:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, a także tokenyGoogle-ExtendediApplebot-Extended, które występują tylko w robots.txt. - Crawlery wyszukiwarek indeksują strony, żeby odpowiedzi AI mogły je cytować:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Crawlery użytkownika pobierają stronę, gdy ktoś poprosi o to asystenta:
ChatGPT-User,Claude-User,Perplexity-User.
Bezpłatne rozszerzenie Sprawdzanie crawlerów AI dla Chrome robi to jednym kliknięciem. Otwórz dowolną stronę i kliknij ikonę: rozszerzenie odczyta robots.txt tej witryny i pokaże dla każdego z 16 crawlerów, czy strona jest dozwolona i który wiersz o tym decyduje. Pokazuje też preferencje Content-Signal, informację, czy witryna ma plik llms.txt, oraz mapy witryny wymienione w robots.txt. Działa w Twojej przeglądarce, nie wymaga konta i czyta tylko witrynę, na której je uruchomisz.
Bez Chrome bezpłatny tester robots.txt na aiseewhy.com daje tę samą odpowiedź dla wklejonego adresu URL.
Jak sprawdzić, czy firewall je przepuszcza
robots.txt pokazuje, o co prosi strona. Żeby zobaczyć, co crawler faktycznie dostaje, pobierz stronę dwa razy, raz jako przeglądarka i raz z user agentem crawlera, i porównaj kod odpowiedzi oraz rozmiar odpowiedzi:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Jeśli przeglądarka dostaje 200, a crawler 403, 429 lub 503 albo znacznie mniejszą stronę, firewall lub ochrona przed botami traktuje crawlera inaczej. Każdy test z zewnątrz ma jedno ograniczenie: pochodzi z Twojej sieci, a nie z sieci firmy AI. Firewall, który ufa crawlerom na podstawie ich publikowanych adresów IP, może traktować prawdziwego crawlera inaczej, dlatego ostatnie słowo należy do logów Twojego serwera.
Pełne sprawdzenie na aiseewhy.com pobiera stronę jako każdy z 16 crawlerów obok prawdziwej przeglądarki, wskazuje firewall lub regułę, która blokuje crawlera, i porównuje tekst, jaki otrzymał każdy z nich.
Do jakiego wyniku dążyć
To zależy od tego, czego chcesz. Jeśli chcesz być cytowany w wyszukiwaniu ChatGPT, w Claude i w Perplexity, crawlery wyszukiwarek i crawlery użytkownika muszą być dozwolone w robots.txt i dostawać z serwera prawdziwą stronę. Jeśli nie chcesz, żeby Twoje treści służyły do trenowania, zablokuj tylko tokeny treningowe. To osobne decyzje: zablokowanie GPTBot nie blokuje OAI-SearchBot, a zablokowanie ClaudeBot nie blokuje Claude-SearchBot.
Wiele stron je myli. W naszym raporcie z listopada 2026 o 1000 najpopularniejszych domenach 63% stron, które blokują crawler treningowy, blokuje też co najmniej jeden crawler wyszukiwania AI lub crawler użytkownika, przez co ich strony wypadają z tych odpowiedzi AI.
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Walidator i tester llms.txt
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Źródła
- RFC 9309: Robots Exclusion Protocol
- OpenAI: przegląd crawlerów OpenAI
- Anthropic: czy Anthropic pobiera dane z sieci i jak właściciele witryn mogą zablokować crawlera?
- Perplexity: crawlery Perplexity
- Google: popularne crawlery, w tym Google-Extended
- AISeeWhy: Raport o dostępie crawlerów AI, 2026-11