Googlebot
Googlebot అనేది సెర్చ్ ఇండెక్స్లను తయారు చేయడానికి Google ప్రధాన క్రాలర్. AI Overviews, AI Mode వంటి AI ఫీచర్లతో సహా Search కోసం సైట్ ఎలా క్రాల్ అవుతుందో Googlebot కోసం robots.txt నియమాలే నియంత్రిస్తాయని Google చెబుతుంది. దీన్ని బ్లాక్ చేస్తే మీ పేజీలు Google Search నుంచి, ఆ AI జవాబుల నుంచి తొలగిపోతాయి.
దీన్ని ఎలా అనుమతించాలి
User-agent: Googlebot
Allow: / దీన్ని ఎలా బ్లాక్ చేయాలి
User-agent: Googlebot
Disallow: / ఇది ఏమి చేస్తుంది
Google సెర్చ్ ఇండెక్స్లను తయారు చేయడానికి సమాచారాన్ని కనుగొనడానికి Googlebot ఉపయోగించబడుతుంది. Googlebot టోకెన్కు ఉద్దేశించిన క్రాలింగ్ ప్రాధాన్యతలు Google Searchను, Google Images, Video, Google News, Discover వంటి ప్రోడక్ట్లను ప్రభావితం చేస్తాయి. ఇది స్మార్ట్ఫోన్, డెస్క్టాప్ క్రాలర్గా నడుస్తుంది; రెండూ ఒకే Googlebot నియమాలను పాటిస్తాయి, తన సాధారణ క్రాలర్లు ఆటోమేటిక్గా క్రాల్ చేసేటప్పుడు ఎల్లప్పుడూ robots.txtను పాటిస్తాయని Google చెబుతుంది.
AI ఫీచర్లపై Google డాక్యుమెంటేషన్ AI Overviews, AI Modeతో సహా Search కోసం Googlebot నియమాలనే నియంత్రణగా వివరిస్తుంది, చూపించే దాన్ని పరిమితం చేయడానికి nosnippet, data-nosnippet, max-snippet, noindexను సూచిస్తుంది. Gemini ట్రైనింగ్ కోసం ఉపయోగం Google-Extended ద్వారా విడిగా నియంత్రించబడుతుంది.
మా 2026-11 అధ్యయనంలో, robots.txt ఉన్న ప్రముఖ సైట్లలో 2.7% దీన్ని బ్లాక్ చేశాయి. →
robots.txt టోకెన్
Googlebot
యూజర్ ఏజెంట్ స్ట్రింగ్
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి
యూజర్ ఏజెంట్ స్ట్రింగ్లను నకిలీ చేయవచ్చని Google చెబుతుంది, రెండు దశల DNS తనిఖీని సిఫార్సు చేస్తుంది. అభ్యర్థించే IPపై reverse DNS lookup నడపండి: hostname googlebot.com, google.com లేదా googleusercontent.comతో ముగియాలి. తర్వాత ఆ hostnameపై forward lookup నడిపి అదే IP వస్తోందని నిర్ధారించుకోండి. Google తన సాధారణ క్రాలర్ల IP పరిధులను JSONగా కూడా ప్రచురిస్తుంది, కాబట్టి చిరునామాలను ఆటోమేటిక్గా సరిపోల్చవచ్చు.