Jak przetestować reguły robots.txt dla URL i konkretnego crawlera?
Aby przetestować URL dla jednego crawlera, znajdź grupę z tokenem tego crawlera (albo User-agent: *, jeśli żadna go nie wymienia), zbierz wszystkie reguły Allow i Disallow z tej grupy pasujące do ścieżki URL i zastosuj najdłuższą; przy remisie wygrywa Allow. Możesz to zrobić ręcznie, parserem open source od Google albo narzędziem, które pokazuje werdykt dla każdego crawlera. Dawnego testera robots.txt w Search Console już nie ma, a raport robots.txt, który go zastąpił, pokazuje, co Google pobrało, a nie werdykt dla URL.
Plik robots.txt wygląda prosto, dopóki nie potrzebujesz jednoznacznej odpowiedzi: czy GPTBot może pobrać tę stronę, a czy może OAI-SearchBot? Odpowiedź zależy od tego, którą grupę wybierze crawler i która reguła w tej grupie wygra, a w obu krokach łatwo o błąd. Oto jak działa dopasowanie według RFC 9309, cztery przykłady krok po kroku i trzy sposoby, by samodzielnie przetestować plik.
Na tej stronie
- Co się stało z testerem robots.txt w Google Search Console?
- Jak crawler decyduje, czy URL jest dozwolony?
- Jak wygląda test robots.txt na przykładzie?
- Jak uruchomić parser robots.txt open source od Google?
- Czy mogę testować robots.txt modułem urllib.robotparser w Pythonie?
- Dlaczego test robots.txt przechodzi, a crawler nadal jest blokowany?
- Jak sprawdzić robots.txt dla wszystkich crawlerów AI naraz?
Co się stało z testerem robots.txt w Google Search Console?
W listopadzie 2023 Google dodało do Search Console raport robots.txt i ogłosiło wycofanie testera robots.txt. Raport znajduje się w Ustawieniach i obejmuje tylko crawlery Google. Pokazuje:
- Pliki robots.txt znalezione przez Google dla 20 najważniejszych hostów Twojej usługi.
- Stan pobrania każdego pliku (
Fetched,Not Fetched - Not found (404)lubNot Fetched - Any other reason), datę ostatniego sprawdzenia przez Google i rozmiar w bajtach. - Problemy w pliku. Google podaje, że błędy uniemożliwiają użycie reguły, a ostrzeżenia nie.
- Wersje pobrane przez Google w ciągu ostatnich 30 dni oraz przycisk, by po poprawieniu pliku poprosić o ponowne pobranie.
Raport nie przyjmuje URL i nie zwraca odpowiedzi „dozwolony” lub „zablokowany”. Do sprawdzenia jednego URL dla Googlebota Google odsyła do narzędzia Sprawdzanie adresu URL, a do testów lokalnych do swojej biblioteki robots.txt open source. Żadne z nich nie mówi niczego o crawlerach AI, takich jak GPTBot czy ClaudeBot.
Jak crawler decyduje, czy URL jest dozwolony?
Dopasowanie definiuje RFC 9309, Robots Exclusion Protocol. Google dokumentuje takie samo działanie swoich crawlerów.
- Wybierz grupę. Dopasowanie User-agent nie rozróżnia wielkości liter. Jeśli jedna lub więcej grup wymienia token crawlera, ich reguły są łączone, a grupa
User-agent: *jest całkowicie pomijana. Za*podąża tylko crawler, który nie ma własnej grupy. - Wybierz regułę. Spośród reguł
AllowiDisallow, których ścieżka pasuje do URL, wygrywa ta z największą liczbą znaków. JeśliAllowiDisallowsą równej długości, powinna wygraćAllow. - Odczytaj wzorce.
*pasuje do dowolnego ciągu znaków, a$oznacza koniec URL. Ścieżki rozróżniają wielkość liter, więc/Admin/nie pasuje do/admin/. - Brak pasującej reguły oznacza zgodę. Sam
/robots.txtjest zawsze dozwolony.
Kod odpowiedzi robots.txt ma takie samo znaczenie jak jego reguły. Odpowiedź 4xx oznacza, że crawler może pobierać wszystko; Google traktuje każdy kod 4xx poza 429 tak, jakby pliku nie było. Odpowiedź 5xx oznacza, że crawler musi przyjąć, że cała witryna jest zablokowana. Google przez pierwsze 12 godzin wstrzymuje indeksowanie, a potem przez maksymalnie 30 dni używa ostatniej dobrej kopii. RFC 9309 wymaga od crawlerów przetworzenia co najmniej 500 KiB, a Google ignoruje wszystko powyżej 500 KiB.
Jak wygląda test robots.txt na przykładzie?
Oto mały robots.txt z grupą domyślną i dwoma nazwanymi crawlerami AI:
Googleboti/search/help/billing: dozwolone. Nie ma grupy dla Googlebota, więc obowiązuje grupa*. Pasują zarównoDisallow: /search, jak iAllow: /search/help, a regułaAllowjest dłuższa.GPTBoti/blog/post: zablokowane. GPTBot ma własną grupę, aDisallow: /pasuje do każdej ścieżki.OAI-SearchBoti/admin/settings: dozwolone. OAI-SearchBot ma własną grupę, więcDisallow: /admin/z grupy*go nie dotyczy. To najczęstsze zaskoczenie; powtarzaj wspólne reguły w każdej nazwanej grupie.OAI-SearchBoti/files/report.pdf: zablokowane.Allow: /pasuje jednym znakiem,Disallow: /*.pdf$siedmioma, a dłuższa reguła wygrywa.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Remisy zdarzają się rzadziej, ale działają według tej samej logiki. Dokumentacja Google podaje przypadek allow: /folder i disallow: /folder dla URL /folder/page: obie reguły mają tę samą długość, więc URL jest dozwolony.
Jak uruchomić parser robots.txt open source od Google?
Google publikuje bibliotekę C++, której używa produkcyjnie do dopasowywania reguł robots.txt, razem z małym programem wiersza poleceń do testowania jednego URL i jednego user agenta na pliku lokalnym. Z zainstalowanym Bazelem:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repozytorium dokumentuje też kompilację przez CMake, która tworzy plik binarny robots z tymi samymi argumentami. Narzędzie tylko parsuje i dopasowuje; nie pobiera robots.txt, więc najpierw zapisz plik z serwera. README zaznacza też, że zachowanie crawlerów wykraczające poza parsowanie i dopasowanie nie jest częścią biblioteki.
Czy mogę testować robots.txt modułem urllib.robotparser w Pythonie?
Biblioteka standardowa Pythona zawiera parser, który odpowiada „dozwolone” lub „zablokowane” dla user agenta i URL. Ten skrypt testuje powyższy przykład:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Zanim zaufasz wynikowi, sprawdź wersję Pythona. Obsługę dopasowania według RFC 9309 dodano do CPythona w 2026 roku i po raz pierwszy wydano w Pythonie 3.13.14 i 3.14.5. Starsze wydania, w tym wszystkie 3.12 i wcześniejsze, stosują pierwszą pasującą regułę w kolejności pliku, a nie najdłuższą, i nie rozumieją * ani $ w ścieżkach. W tych wersjach skrypt zwraca odwrotne wyniki dla pierwszego i czwartego testu: Googlebot zablokowany dla /search/help/billing, a OAI-SearchBot z dostępem do pliku PDF.
Dwie kolejne różnice dotyczą każdej wersji. RobotFileParser.read() traktuje odpowiedź 401 lub 403 dla robots.txt jako blokadę wszystkiego, podczas gdy RFC 9309 mówi, że 4xx oznacza, że wszystko wolno pobierać. Poza tym read() pobiera plik z domyślnym user agentem Pythona, który niektóre firewalle blokują, więc test może zgłosić blokadę z powodów niezwiązanych z Twoimi regułami. Samodzielne pobranie pliku i przekazanie go do parse(), jak wyżej, omija oba problemy.
Dlaczego test robots.txt przechodzi, a crawler nadal jest blokowany?
Tester odpowiada na jedno pytanie: czy reguły pozwalają na ten URL? Kilka rzeczy leży poza tą odpowiedzią:
- Plik na serwerze różni się od testowanego albo crawler nadal używa kopii z pamięci podręcznej. RFC 9309 mówi, że crawlery nie powinny używać kopii z pamięci podręcznej dłużej niż 24 godziny, a Google na ogół przechowuje ją do 24 godzin.
- URL robots.txt zwraca stronę HTML lub błąd. Strona HTML ze statusem 200 nie zawiera prawidłowych reguł, a odpowiedź 5xx blokuje całą witrynę.
- robots.txt to prośba, a nie kontrola dostępu. Firewall, CDN lub ochrona przed botami mogą nadal odpowiadać crawlerowi kodem 403 albo stroną weryfikacji.
Jak sprawdzić robots.txt dla wszystkich crawlerów AI naraz?
Darmowy tester robots.txt od AISeeWhy przyjmuje adres strony lub wklejony robots.txt i pokazuje dla każdego crawlera AI i wyszukiwarki, czy ta strona może zostać pobrana. Darmowy generator robots.txt tworzy plik na podstawie Twoich wyborów, a darmowe sprawdzenie pobiera stronę jako 16 crawlerów, by pokazać, czy firewall blokuje to, na co pozwala robots.txt.
Poprawki dla tego problemu
- robots.txt dopuszcza GPTBot, ale serwer go blokuje
- robots.txt zabrania dostępu botowi OAI-SearchBot
- robots.txt jest stroną HTML
- Nie można pobrać robots.txt
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Najczęstsze pytania
Czy w Google Search Console nadal jest tester robots.txt?
Nie. W listopadzie 2023 Google zastąpiło go raportem robots.txt, który pokazuje pobrane przez Google pliki, ich stan i ewentualne błędy. Aby sprawdzić, czy Googlebot może indeksować konkretny URL, użyj narzędzia Sprawdzanie adresu URL.
Czy Allow ma pierwszeństwo przed Disallow w robots.txt?
Tylko gdy reguła Allow jest dłuższa lub dokładnie tak samo długa. Wygrywa reguła z najdłuższą pasującą ścieżką, niezależnie od rodzaju, a przy remisie wygrywa Allow.
Czy robots.txt rozróżnia wielkość liter?
Częściowo. Wartość User-agent jest dopasowywana bez względu na wielkość liter, więc gptbot i GPTBot wskazują tę samą grupę. Ścieżki rozróżniają wielkość liter, więc Disallow: /Private/ nie blokuje /private/.
Co sprawdza walidator robots.txt?
Walidator sprawdza, czy plik jest dostępny, serwowany jako tekst i ma poprawną składnię. Tester idzie dalej i daje werdykt dla konkretnego URL i crawlera. Zwykle potrzebujesz obu, bo poprawny plik może nadal blokować stronę, którą chciałeś dopuścić.
Jeśli crawler ma własną grupę, czy nadal stosuje User-agent: *?
Nie. Nazwana grupa całkowicie zastępuje grupę * dla tego crawlera. Każdą regułę, która ma dotyczyć wszystkich, trzeba powtórzyć w każdej nazwanej grupie.
Źródła
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py