Googlebot
Googlebot është zvarritësi kryesor i Google për ndërtimin e indekseve të tij të kërkimit. Google thotë se rregullat e robots.txt për Googlebot janë kontrolli se si zvarritet një sajt për Search, përfshirë funksionet AI si AI Overviews dhe AI Mode. Bllokimi i tij i heq faqet tuaja nga Google Search dhe nga ato përgjigje AI.
Si ta lejoni
User-agent: Googlebot
Allow: / Si ta bllokoni
User-agent: Googlebot
Disallow: / Çfarë bën
Googlebot përdoret për të gjetur informacion për ndërtimin e indekseve të kërkimit të Google. Preferencat e zvarritjes drejtuar token-it Googlebot ndikojnë në Google Search dhe në produkte si Google Images, Video, Google News dhe Discover. Punon si zvarritës për smartphone dhe për desktop; të dy u binden të njëjtave rregulla të Googlebot, dhe Google thotë se zvarritësit e tij të zakonshëm i binden gjithmonë robots.txt kur zvarrisin automatikisht.
Dokumentacioni i Google për funksionet AI i përshkruan rregullat e Googlebot si kontrollin për Search, përfshirë AI Overviews dhe AI Mode, dhe tregon nosnippet, data-nosnippet, max-snippet dhe noindex për të kufizuar atë që shfaqet. Përdorimi për trajnimin e Gemini kontrollohet veçmas nga Google-Extended.
Në studimin tonë të 2026-11, 2.7% e sajteve të njohura me robots.txt e bllokonin. →
Token-i në robots.txt
Googlebot
Vargu i user agent-it
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Si të verifikoni vizitat reale
Google thotë se vargjet e user agent-it mund të falsifikohen dhe rekomandon një kontroll DNS me dy hapa. Bëni një kërkim reverse DNS për IP-në që bën kërkesën: emri i hostit duhet të mbarojë me googlebot.com, google.com ose googleusercontent.com. Pastaj bëni një kërkim të drejtpërdrejtë për atë emër hosti dhe konfirmoni që kthen të njëjtën IP. Google publikon gjithashtu si JSON gamat IP të zvarritësve të tij të zakonshëm, ndaj mund t'i përputhni adresat automatikisht.
Kontrolloni nëse sajti juaj e lë të hyjë →
AEO kundrejt SEO: çfarë mbetet njësoj dhe çfarë ndryshon për përgjigjet e AI →