Googlebot
Googlebot ir Google galvenā rāpuļprogramma meklēšanas indeksu veidošanai. Google norāda, ka Googlebot robots.txt noteikumi nosaka, kā vietne tiek pārmeklēta meklēšanai, ieskaitot MI funkcijas, piemēram, AI Overviews un AI Mode. Tās bloķēšana izņem jūsu lapas no Google meklēšanas un šīm MI atbildēm.
Kā to atļaut
User-agent: Googlebot
Allow: / Kā to bloķēt
User-agent: Googlebot
Disallow: / Ko tā dara
Googlebot meklē informāciju Google meklēšanas indeksu veidošanai. Pārmeklēšanas preferences, kas adresētas Googlebot marķierim, ietekmē Google meklēšanu un tādus produktus kā Google Images, Video, Google News un Discover. Tā darbojas kā viedtālruņa un datora rāpuļprogramma; abas ievēro tos pašus Googlebot noteikumus, un Google norāda, ka tās kopējās rāpuļprogrammas, automātiski pārmeklējot, vienmēr ievēro robots.txt.
Google dokumentācija par MI funkcijām apraksta Googlebot noteikumus kā meklēšanas vadīklu, ieskaitot AI Overviews un AI Mode, un rāda uz nosnippet, data-nosnippet, max-snippet un noindex, lai ierobežotu rādīto. Izmantošanu Gemini apmācībai atsevišķi kontrolē Google-Extended.
Mūsu 2026-11 pētījumā 2.7% populāru vietņu ar robots.txt to bloķēja. →
robots.txt marķieris
Googlebot
User-agent virkne
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Kā verificēt īstus apmeklējumus
Google norāda, ka user-agent virknes var viltot, un iesaka divpakāpju DNS pārbaudi. Veiciet pieprasītāja IP reverse DNS uzmeklēšanu: resursdatora nosaukumam jābeidzas ar googlebot.com, google.com vai googleusercontent.com. Pēc tam veiciet šī nosaukuma tiešo uzmeklēšanu un pārliecinieties, ka tā atgriež to pašu IP. Google arī publicē savu kopējo rāpuļprogrammu IP diapazonus JSON formātā, tāpēc adreses var salīdzināt automātiski.