Googlebot

Google · Meklētājprogramma

Googlebot ir Google galvenā rāpuļprogramma meklēšanas indeksu veidošanai. Google norāda, ka Googlebot robots.txt noteikumi nosaka, kā vietne tiek pārmeklēta meklēšanai, ieskaitot MI funkcijas, piemēram, AI Overviews un AI Mode. Tās bloķēšana izņem jūsu lapas no Google meklēšanas un šīm MI atbildēm.

Kā to atļaut

User-agent: Googlebot
Allow: /

Kā to bloķēt

User-agent: Googlebot
Disallow: /

Ko tā dara

Googlebot meklē informāciju Google meklēšanas indeksu veidošanai. Pārmeklēšanas preferences, kas adresētas Googlebot marķierim, ietekmē Google meklēšanu un tādus produktus kā Google Images, Video, Google News un Discover. Tā darbojas kā viedtālruņa un datora rāpuļprogramma; abas ievēro tos pašus Googlebot noteikumus, un Google norāda, ka tās kopējās rāpuļprogrammas, automātiski pārmeklējot, vienmēr ievēro robots.txt.

Google dokumentācija par MI funkcijām apraksta Googlebot noteikumus kā meklēšanas vadīklu, ieskaitot AI Overviews un AI Mode, un rāda uz nosnippet, data-nosnippet, max-snippet un noindex, lai ierobežotu rādīto. Izmantošanu Gemini apmācībai atsevišķi kontrolē Google-Extended.

Mūsu 2026-11 pētījumā 2.7% populāru vietņu ar robots.txt to bloķēja. →

robots.txt marķieris

Googlebot

User-agent virkne

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Kā verificēt īstus apmeklējumus

Google norāda, ka user-agent virknes var viltot, un iesaka divpakāpju DNS pārbaudi. Veiciet pieprasītāja IP reverse DNS uzmeklēšanu: resursdatora nosaukumam jābeidzas ar googlebot.com, google.com vai googleusercontent.com. Pēc tam veiciet šī nosaukuma tiešo uzmeklēšanu un pārliecinieties, ka tā atgriež to pašu IP. Google arī publicē savu kopējo rāpuļprogrammu IP diapazonus JSON formātā, tāpēc adreses var salīdzināt automātiski.

Pārbaudiet, vai jūsu vietne to ielaiž →

AEO un SEO: kas ir kopīgs un kas mainās MI atbildēm →