Googlebot

Google · Motor de căutare

Googlebot este crawlerul principal al Google pentru construirea indexurilor sale de căutare. Google spune că regulile robots.txt pentru Googlebot sunt controlul pentru modul în care un site este parcurs pentru Search, inclusiv pentru funcții AI precum AI Overviews și AI Mode. Dacă îl blochezi, paginile tale dispar din Google Search și din aceste răspunsuri AI.

Ce face

Googlebot este folosit pentru a găsi informații cu care se construiesc indexurile de căutare Google. Preferințele de parcurgere adresate tokenului Googlebot afectează Google Search și produse precum Google Images, Video, Google News și Discover. Rulează ca crawler pentru smartphone și ca crawler pentru desktop; ambele respectă aceleași reguli Googlebot, iar Google spune că crawlerele sale comune respectă întotdeauna robots.txt când parcurg automat.

Documentația Google despre funcțiile AI descrie regulile Googlebot ca fiind controlul pentru Search, inclusiv pentru AI Overviews și AI Mode, și indică nosnippet, data-nosnippet, max-snippet și noindex pentru a limita ce se afișează. Folosirea pentru antrenarea Gemini este controlată separat de Google-Extended.

În studiul nostru din 2026-11, 2.7% dintre site-urile populare cu robots.txt îl blocau. →

Tokenul robots.txt

Googlebot

Șirul user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Cum îl permiți

User-agent: Googlebot
Allow: /

Cum îl blochezi

User-agent: Googlebot
Disallow: /

Cum verifici vizitele reale

Google spune că șirurile user agent pot fi falsificate și recomandă o verificare DNS în doi pași. Fă o căutare DNS inversă pentru IP-ul care a făcut cererea: numele de host trebuie să se termine în googlebot.com, google.com sau googleusercontent.com. Apoi fă o căutare directă pentru acel nume de host și confirmă că returnează același IP. Google publică și intervalele IP ale crawlerelor sale comune ca JSON, deci poți potrivi adresele automat.

Verifică dacă site-ul tău îl lasă să intre →

AEO vs SEO: ce e la fel și ce se schimbă pentru răspunsurile AI →