Googlebot

Google · เสิร์ชเอนจิน

Googlebot คือ crawler หลักของ Google สำหรับสร้างดัชนีการค้นหา Google ระบุว่ากฎ robots.txt สำหรับ Googlebot เป็นตัวควบคุมวิธีที่เว็บไซต์ถูกเก็บข้อมูลสำหรับ Search รวมถึงฟีเจอร์ AI เช่น AI Overviews และ AI Mode การบล็อกจะทำให้หน้าของคุณหายไปจาก Google Search และคำตอบ AI เหล่านั้น

ทำอะไร

Googlebot ใช้ค้นหาข้อมูลเพื่อสร้างดัชนีการค้นหาของ Google การตั้งค่าการเก็บข้อมูลที่ระบุถึงโทเค็น Googlebot มีผลต่อ Google Search และผลิตภัณฑ์อย่าง Google Images, Video, Google News และ Discover มันทำงานเป็น crawler แบบสมาร์ตโฟนและแบบเดสก์ท็อป ทั้งสองปฏิบัติตามกฎ Googlebot ชุดเดียวกัน และ Google ระบุว่า crawler ทั่วไปของบริษัทปฏิบัติตาม robots.txt เสมอเมื่อเก็บข้อมูลอัตโนมัติ

เอกสารของ Google เกี่ยวกับฟีเจอร์ AI อธิบายว่ากฎ Googlebot เป็นตัวควบคุมสำหรับ Search รวมถึง AI Overviews และ AI Mode และชี้ไปที่ nosnippet, data-nosnippet, max-snippet และ noindex สำหรับจำกัดสิ่งที่แสดง การใช้เพื่อเทรน Gemini ควบคุมแยกต่างหากโดย Google-Extended

ในการศึกษาของเราเมื่อ 2026-11 เว็บไซต์ยอดนิยมที่มี robots.txt จำนวน 2.7% บล็อกตัวนี้ →

โทเค็น robots.txt

Googlebot

สตริง user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

วิธีอนุญาต

User-agent: Googlebot
Allow: /

วิธีบล็อก

User-agent: Googlebot
Disallow: /

วิธีตรวจสอบการเข้าชมจริง

Google ระบุว่าสตริง user agent ปลอมได้ และแนะนำให้ตรวจสอบ DNS สองขั้นตอน ทำ reverse DNS lookup กับ IP ที่ส่งคำขอ ชื่อโฮสต์ควรลงท้ายด้วย googlebot.com, google.com หรือ googleusercontent.com จากนั้นทำ forward lookup กับชื่อโฮสต์นั้นและยืนยันว่าได้ IP เดิม Google ยังเผยแพร่ช่วง IP ของ crawler ทั่วไปเป็น JSON คุณจึงเทียบที่อยู่โดยอัตโนมัติได้

ตรวจสอบว่าเว็บไซต์ของคุณเปิดให้เข้าหรือไม่ →

AEO กับ SEO: อะไรเหมือนกัน และอะไรเปลี่ยนไปสำหรับคำตอบจาก AI →