Googlebot
Ang Googlebot ang pangunahing crawler ng Google para buuin ang mga search index nito. Sinasabi ng Google na ang mga rule sa robots.txt para sa Googlebot ang kontrol sa kung paano kino-crawl ang site para sa Search, kasama ang mga AI feature gaya ng AI Overviews at AI Mode. Inaalis ng pag-block dito ang mga pahina mo sa Google Search at sa mga AI na sagot na iyon.
Paano ito papayagan
User-agent: Googlebot
Allow: / Paano ito iba-block
User-agent: Googlebot
Disallow: / Ano ang ginagawa nito
Ginagamit ang Googlebot para maghanap ng impormasyon para buuin ang mga search index ng Google. Naaapektuhan ng mga crawling preference na nakatuon sa token na Googlebot ang Google Search at mga produkto gaya ng Google Images, Video, Google News at Discover. Tumatakbo ito bilang smartphone at desktop crawler; pareho silang sumusunod sa parehong mga rule para sa Googlebot, at sinasabi ng Google na laging sinusunod ng mga karaniwang crawler nito ang robots.txt kapag awtomatikong nagku-crawl.
Inilalarawan ng dokumentasyon ng Google tungkol sa mga AI feature ang mga rule para sa Googlebot bilang kontrol para sa Search, kasama ang AI Overviews at AI Mode, at itinuturo ang nosnippet, data-nosnippet, max-snippet at noindex para limitahan ang ipinapakita. Hiwalay na kinokontrol ng Google-Extended ang paggamit para sa training ng Gemini.
Sa pag-aaral namin noong 2026-11, 2.7% ng mga sikat na site na may robots.txt ang nag-block dito. →
Token sa robots.txt
Googlebot
User-agent string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Paano beripikahin ang totoong pagbisita
Sinasabi ng Google na puwedeng pekein ang mga user agent string at inirerekomenda nito ang dalawang-hakbang na DNS check. Magpatakbo ng reverse DNS lookup sa IP na humihiling: dapat magtapos sa googlebot.com, google.com o googleusercontent.com ang hostname. Pagkatapos ay magpatakbo ng forward lookup sa hostname na iyon at tiyaking parehong IP ang ibinabalik nito. Inilalathala rin ng Google bilang JSON ang mga IP range ng mga karaniwang crawler nito, kaya maitutugma mo nang awtomatiko ang mga address.
Tingnan kung pinapapasok ito ng site mo →
AEO at SEO: ano ang pareho at ano ang nagbabago para sa mga sagot ng AI →