Googlebot
Googlebot-ը Google-ի հիմնական ռոբոտն է՝ նրա որոնման ինդեքսները կառուցելու համար։ Google-ն ասում է, որ Googlebot-ի համար robots.txt-ի կանոններն են կառավարում, թե ինչպես է կայքը շրջանցվում Search-ի համար, ներառյալ AI գործառույթները, ինչպիսիք են AI Overviews-ը և AI Mode-ը։ Այն արգելափակելը ձեր էջերը հանում է Google Search-ից և այդ AI պատասխաններից։
Ինչպես թույլատրել
User-agent: Googlebot
Allow: / Ինչպես արգելափակել
User-agent: Googlebot
Disallow: / Ինչ է անում
Googlebot-ն օգտագործվում է Google-ի որոնման ինդեքսները կառուցելու համար տեղեկություններ գտնելու նպատակով։ Googlebot նշանին ուղղված շրջանցման նախընտրությունները ազդում են Google Search-ի և այնպիսի արտադրանքների վրա, ինչպիսիք են Google Images-ը, Video-ն, Google News-ը և Discover-ը։ Այն աշխատում է որպես սմարթֆոնի և համակարգչի ռոբոտ. երկուսն էլ հետևում են Googlebot-ի նույն կանոններին, և Google-ն ասում է, որ իր ընդհանուր ռոբոտները ավտոմատ շրջանցման ժամանակ միշտ հետևում են robots.txt-ին։
Google-ի՝ AI գործառույթների մասին փաստաթղթերը Googlebot-ի կանոնները նկարագրում են որպես Search-ի կառավարման միջոց, ներառյալ AI Overviews-ը և AI Mode-ը, և ցուցադրվողը սահմանափակելու համար մատնանշում են nosnippet, data-nosnippet, max-snippet և noindex։ Gemini-ի ուսուցման համար օգտագործումը կառավարվում է առանձին՝ Google-Extended-ով։
Մեր 2026-11-ի ուսումնասիրության մեջ robots.txt ունեցող հայտնի կայքերի 2.7%-ն արգելափակել է այն։ →
robots.txt նշան
Googlebot
User-agent տող
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Ինչպես ստուգել իրական այցելությունները
Google-ն ասում է, որ user agent տողերը կարող են կեղծվել, և խորհուրդ է տալիս երկքայլ DNS ստուգում։ Կատարեք հակադարձ DNS որոնում հարցում ուղարկող IP-ի համար. հոսթի անունը պետք է ավարտվի googlebot.com, google.com կամ googleusercontent.com-ով։ Ապա կատարեք ուղիղ որոնում այդ հոսթի անվան համար և համոզվեք, որ այն վերադարձնում է նույն IP-ն։ Google-ը նաև հրապարակում է իր ընդհանուր ռոբոտների IP տիրույթները JSON ձևաչափով, ուստի կարող եք հասցեներն ավտոմատ համեմատել։
Ստուգեք, արդյոք ձեր կայքը թույլ է տալիս նրան →
AEO և SEO. ինչն է նույնը, և ինչն է փոխվում AI պատասխանների համար →