Googlebot
Googlebot to główny crawler Google do budowania indeksów wyszukiwania. Google podaje, że reguły robots.txt dla Googlebota kontrolują, jak strona jest crawlowana na potrzeby Wyszukiwarki, w tym funkcji AI, takich jak AI Overviews i AI Mode. Zablokowanie go usuwa Twoje strony z Wyszukiwarki Google i z tych odpowiedzi AI.
Co robi
Googlebot służy do znajdowania informacji na potrzeby budowania indeksów wyszukiwania Google. Preferencje crawlowania kierowane do tokenu Googlebot wpływają na Wyszukiwarkę Google i produkty takie jak Grafika Google, Wideo, Google News i Discover. Działa jako crawler smartfonowy i desktopowy; oba przestrzegają tych samych reguł Googlebota, a Google podaje, że jego typowe crawlery zawsze przestrzegają robots.txt przy automatycznym crawlowaniu.
Dokumentacja Google o funkcjach AI opisuje reguły Googlebota jako kontrolę dla Wyszukiwarki, w tym AI Overviews i AI Mode, i wskazuje nosnippet, data-nosnippet, max-snippet oraz noindex do ograniczania tego, co jest wyświetlane. Użycie do trenowania Gemini kontroluje osobno Google-Extended.
W naszym badaniu z 2026-11 zablokowało go 2.7% popularnych stron z plikiem robots.txt. →
Token robots.txt
Googlebot
Ciąg user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Jak go dopuścić
User-agent: Googlebot
Allow: /Jak go zablokować
User-agent: Googlebot
Disallow: /Jak zweryfikować prawdziwe wizyty
Google podaje, że ciągi user agent można podrobić, i zaleca dwuetapowe sprawdzenie DNS. Wykonaj odwrotne wyszukiwanie DNS dla adresu IP żądania: nazwa hosta powinna kończyć się na googlebot.com, google.com lub googleusercontent.com. Następnie wykonaj wyszukiwanie proste dla tej nazwy hosta i potwierdź, że zwraca ten sam adres IP. Google publikuje też zakresy IP swoich typowych crawlerów jako JSON, więc możesz dopasowywać adresy automatycznie.
Sprawdź, czy Twoja strona go wpuszcza →
AEO a SEO: co jest wspólne i co się zmienia w odpowiedziach AI →