Google-Extended
Google-Extended เป็นโทเค็น robots.txt ไม่ใช่ crawler แยกต่างหาก มันควบคุมว่าเนื้อหาที่ Google เก็บมาจะถูกใช้เทรนโมเดล Gemini รุ่นอนาคตและใช้ทำ grounding ใน Gemini Apps และ Vertex AI ได้หรือไม่ Google ระบุว่ามันไม่กระทบการรวมเว็บไซต์ใน Google Search
ทำอะไร
Google-Extended ไม่มี user agent ของตัวเอง การเก็บข้อมูลทำโดย user agent ที่มีอยู่แล้วของ Google และโทเค็น Google-Extended ใช้ในฐานะตัวควบคุม คือบอก Google ว่าเนื้อหาที่เก็บมาจะถูกใช้เทรนโมเดล Gemini รุ่นอนาคตและใช้ทำ grounding ใน Gemini Apps และ Vertex AI ได้หรือไม่
Google ระบุว่า Google-Extended ไม่กระทบการรวมเว็บไซต์ใน Google Search ฟีเจอร์ AI ของ Google ใน Search เช่น AI Overviews อยู่ภายใต้กฎของ Googlebot และการควบคุมสนิปเพ็ต ไม่ใช่โทเค็นนี้
ในการศึกษาของเราเมื่อ 2026-11 เว็บไซต์ยอดนิยมที่มี robots.txt จำนวน 18.1% บล็อกตัวนี้ →
โทเค็น robots.txt
Google-Extended
วิธีอนุญาต
User-agent: Google-Extended
Allow: /วิธีบล็อก
User-agent: Google-Extended
Disallow: /วิธีตรวจสอบการเข้าชมจริง
ไม่มีอะไรให้ตรวจสอบในล็อกของคุณ เพราะ Google-Extended ไม่เคยปรากฏเป็น user agent คำขอเบื้องหลังมาจาก crawler ปกติของ Google ซึ่งตรวจสอบได้ด้วยการทำ reverse DNS lookup (googlebot.com, google.com หรือ googleusercontent.com) ตามด้วย forward lookup หรือเทียบกับช่วง IP ที่ Google เผยแพร่
ตรวจสอบว่าเว็บไซต์ของคุณเปิดให้เข้าหรือไม่ →
robots.txt สำหรับโปรแกรมรวบรวมข้อมูลของ AI: อะไรควรอนุญาต อะไรควรบล็อก →