Googlebot

Google · સર્ચ એન્જિન

Googlebot એ Googleનો મુખ્ય ક્રૉલર છે, જે તેના સર્ચ index બનાવે છે. Google કહે છે કે Googlebot માટેના robots.txt નિયમો નક્કી કરે છે કે Search માટે સાઇટ કેવી રીતે ક્રૉલ થાય, જેમાં AI Overviews અને AI Mode જેવાં AI ફીચર પણ સામેલ છે. તેને બ્લૉક કરવાથી તમારાં પેજ Google Search અને એ AI જવાબોમાંથી દૂર થાય છે.

તેને કેવી રીતે આવવા દેવો

User-agent: Googlebot
Allow: /

તેને કેવી રીતે બ્લૉક કરવો

User-agent: Googlebot
Disallow: /

તે શું કરે છે

Googlebot Googleના સર્ચ index બનાવવા માટે માહિતી શોધવા વપરાય છે. Googlebot ટોકનને સંબોધેલી ક્રૉલિંગ પસંદગીઓ Google Search અને Google Images, Video, Google News અને Discover જેવાં પ્રોડક્ટને અસર કરે છે. તે સ્માર્ટફોન અને ડેસ્કટૉપ ક્રૉલર તરીકે ચાલે છે; બંને Googlebotના એ જ નિયમોનું પાલન કરે છે, અને Google કહે છે કે તેના સામાન્ય ક્રૉલર આપમેળે ક્રૉલ કરતી વખતે હંમેશાં robots.txtનું પાલન કરે છે.

AI ફીચર વિશેના Googleના દસ્તાવેજ Googlebotના નિયમોને Search માટેનું નિયંત્રણ ગણાવે છે, જેમાં AI Overviews અને AI Mode પણ સામેલ છે, અને શું બતાવાય તે મર્યાદિત કરવા nosnippet, data-nosnippet, max-snippet અને noindex તરફ ધ્યાન દોરે છે. Gemini ટ્રેનિંગ માટેનો ઉપયોગ Google-Extended દ્વારા અલગથી નિયંત્રિત થાય છે.

અમારા 2026-11ના અભ્યાસમાં, robots.txt ધરાવતી લોકપ્રિય સાઇટમાંથી 2.7% સાઇટે તેને બ્લૉક કર્યો હતો. →

robots.txt ટોકન

Googlebot

યુઝર-એજન્ટ સ્ટ્રિંગ

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

સાચી મુલાકાતો કેવી રીતે ચકાસવી

Google કહે છે કે યુઝર એજન્ટ સ્ટ્રિંગ નકલી હોઈ શકે છે અને બે પગલાંની DNS તપાસની ભલામણ કરે છે. વિનંતી કરનાર IP પર reverse DNS lookup ચલાવો: hostname googlebot.com, google.com કે googleusercontent.comમાં પૂરું થવું જોઈએ. પછી એ hostname પર forward lookup ચલાવો અને ખાતરી કરો કે તે એ જ IP આપે છે. Google તેના સામાન્ય ક્રૉલરની IP રેન્જ પણ JSON તરીકે પ્રકાશિત કરે છે, જેથી તમે સરનામાં આપમેળે મેળવી શકો.

તપાસો કે તમારી સાઇટ તેને આવવા દે છે કે નહીં →

AEO અને SEO: શું એ જ છે અને AI જવાબો માટે શું બદલાય છે →