Googlebot

Google · Пребарувач

Googlebot е главниот краулер на Google за градење на неговите индекси за пребарување. Google вели дека правилата во robots.txt за Googlebot се контролата за тоа како се обиколува сајтот за Search, вклучително и AI функциите како AI Overviews и AI Mode. Неговото блокирање ги отстранува вашите страници од Google Search и од тие AI одговори.

Како да се дозволи

User-agent: Googlebot
Allow: /

Како да се блокира

User-agent: Googlebot
Disallow: /

Што прави

Googlebot се користи за наоѓање информации за градење на индексите за пребарување на Google. Поставките за обиколување насочени кон ознаката Googlebot влијаат на Google Search и на производи како Google Images, Video, Google News и Discover. Работи како краулер за паметни телефони и за десктоп; двата ги почитуваат истите правила за Googlebot, а Google вели дека неговите вообичаени краулери секогаш го почитуваат robots.txt при автоматско обиколување.

Документацијата на Google за AI функциите ги опишува правилата за Googlebot како контрола за Search, вклучително AI Overviews и AI Mode, и упатува на nosnippet, data-nosnippet, max-snippet и noindex за ограничување на она што се прикажува. Употребата за обука на Gemini се контролира посебно преку Google-Extended.

Во нашата студија од 2026-11, 2.7% од популарните сајтови со robots.txt го блокираа. →

Ознака за robots.txt

Googlebot

User-agent низа

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Како да се потврдат вистинските посети

Google вели дека user agent низите може да се лажираат и препорачува DNS проверка во два чекора. Извршете обратно DNS пребарување на IP адресата од која доаѓа барањето: името на хостот треба да завршува на googlebot.com, google.com или googleusercontent.com. Потоа извршете директно пребарување на тоа име на хост и потврдете дека ја враќа истата IP адреса. Google ги објавува и IP опсезите на своите вообичаени краулери како JSON, па можете автоматски да ги совпаѓате адресите.

Проверете дали вашиот сајт го пушта →

AEO или SEO: што е исто, а што се менува за AI одговорите →