Googlebot
Googlebot ni crawler kuu ya Google ya kujenga index zake za utafutaji. Google inasema sheria za robots.txt za Googlebot ndizo udhibiti wa jinsi tovuti inavyopitiwa kwa Search, zikiwemo vipengele vya AI kama AI Overviews na AI Mode. Kuizuia kunaondoa kurasa zako kwenye Google Search na majibu hayo ya AI.
Jinsi ya kuiruhusu
User-agent: Googlebot
Allow: / Jinsi ya kuizuia
User-agent: Googlebot
Disallow: / Inafanya nini
Googlebot inatumika kutafuta taarifa za kujenga index za utafutaji za Google. Mapendeleo ya upitiaji yanayoelekezwa kwa tokeni ya Googlebot huathiri Google Search na bidhaa kama Google Images, Video, Google News na Discover. Inaendeshwa kama crawler ya simu janja na ya kompyuta; zote mbili hutii sheria zilezile za Googlebot, na Google inasema crawler zake za kawaida daima hutii robots.txt zinapopitia kiotomatiki.
Nyaraka za Google kuhusu vipengele vya AI zinaelezea sheria za Googlebot kama udhibiti wa Search, zikiwemo AI Overviews na AI Mode, na zinaelekeza kwenye nosnippet, data-nosnippet, max-snippet na noindex ili kupunguza kinachoonyeshwa. Matumizi kwa mafunzo ya Gemini yanadhibitiwa kando na Google-Extended.
Katika utafiti wetu wa 2026-11, 2.7% ya tovuti maarufu zenye robots.txt ziliizuia. →
Tokeni ya robots.txt
Googlebot
Mfuatano wa user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Jinsi ya kuthibitisha ziara halisi
Google inasema mifuatano ya user agent inaweza kughushiwa na inapendekeza ukaguzi wa DNS wa hatua mbili. Endesha reverse DNS lookup kwenye IP inayoomba: jina la host linapaswa kuishia na googlebot.com, google.com au googleusercontent.com. Kisha endesha forward lookup kwenye jina hilo la host na uhakikishe linarudisha IP ileile. Google pia inachapisha masafa ya IP ya crawler zake za kawaida kama JSON, kwa hivyo unaweza kulinganisha anwani kiotomatiki.
Kagua kama tovuti yako inairuhusu kuingia →
AEO dhidi ya SEO: nini ni sawa na nini kinabadilika kwa majibu ya AI →