Gemini มองเห็นเว็บไซต์ของฉันไหม วิธีตรวจสอบ

เผยแพร่เมื่อ · อัปเดตเมื่อ

คำตอบสั้น ๆ

Gemini จะใช้หน้าของคุณในคำตอบแบบ grounding ได้ก็ต่อเมื่อหน้านั้นอยู่ในดัชนี Google Search และ robots.txt ไม่ได้ห้ามโทเค็น Google-Extended Google ระบุว่า grounding ในแอป Gemini ป้อนเนื้อหาจากดัชนี Google Search ให้โมเดล และ Google-Extended เป็นตัวควบคุมว่าเนื้อหาของคุณใช้เพื่อการนี้ได้หรือไม่ ดังนั้นให้ตรวจการจัดทำดัชนีใน Search Console ตรวจ robots.txt สำหรับ Googlebot และ Google-Extended แล้วถาม Gemini ด้วยคำถามของผู้ซื้อและเปิดดูแหล่งที่มา

Gemini ไม่มี crawler ของตัวเองที่คุณเฝ้าดูในล็อกได้แบบผู้ช่วยตัวอื่น Google รวบรวมข้อมูลด้วย crawler ที่มีอยู่แล้ว และโทเค็นใน robots.txt เป็นตัวกำหนดว่า Gemini ทำอะไรกับเนื้อหานั้นได้ การตรวจจึงต่างออกไป: ส่วนใหญ่ทำใน Google Search Console และใน robots.txt ส่วนขั้นสุดท้ายทำใน Gemini เอง

ในหน้านี้
  1. ตรวจใน 5 นาที ทีละขั้นตอน
  2. Gemini ได้ข้อมูลจากเว็บไซต์อย่างไร
  3. จะตรวจได้อย่างไรว่า Google จัดทำดัชนีหน้าของฉันแล้ว
  4. Google-Extended ทำให้ Gemini ใช้เว็บไซต์ของฉันไม่ได้หรือเปล่า
  5. ไฟร์วอลล์บล็อก Google ได้ไหม ขณะที่เบราว์เซอร์ผ่านได้
  6. จะดูได้อย่างไรว่า Gemini ใช้หรืออ้างอิงเว็บไซต์ของฉัน
  7. AI Overviews, AI Mode และกฎ snippet มีผลต่อ Gemini ไหม
  8. AISeeWhy ตรวจเรื่องนี้อย่างไร

ตรวจใน 5 นาที ทีละขั้นตอน

  1. ค้นหาใน Google ด้วย site: ตามด้วยที่อยู่หน้าของคุณ หรือใช้การตรวจสอบ URL ใน Search Console เพื่อยืนยันว่าหน้าอยู่ในดัชนีของ Google
  2. เปิด robots.txt ของคุณแล้วตรวจว่า Googlebot ดึงหน้านั้นได้ และ Google-Extended ไม่ถูกห้าม เว้นแต่คุณเลือกที่จะไม่เข้าร่วม
  3. เรียกใช้การตรวจฟรีของหน้านั้นบน AISeeWhy หรือส่งคำขอหนึ่งครั้งด้วย user agent Googlebot: ต้องได้สถานะ 200 และข้อความเดียวกับเบราว์เซอร์
  4. ถาม Gemini ด้วยคำถามที่หน้าของคุณตอบ แล้วเปิดแหล่งที่มาที่แสดงใต้คำตอบ

หากหน้าไม่อยู่ในดัชนี grounding ของ Gemini จะใช้หน้านั้นไม่ได้ จึงควรเริ่มจากขั้นตอนที่ 1 หัวข้อด้านล่างอธิบายแต่ละขั้นตอนและสิ่งที่ต้องทำเมื่อไม่ผ่าน

Gemini ได้ข้อมูลจากเว็บไซต์อย่างไร

Gemini Apps Privacy Hub ของ Google ระบุว่าคำตอบบางส่วนของ Gemini ทำ grounding จากผลการค้นหา เอกสารเรื่อง crawler ของ Google นิยาม grounding ว่าเป็นการป้อนเนื้อหาจากดัชนี Google Search ให้โมเดลในตอนที่รับพรอมต์ เพื่อให้ถูกต้องตามข้อเท็จจริงและตรงประเด็นขึ้น หน้าเดียวกันระบุว่า Google-Extended ควบคุมว่าเนื้อหาที่ Google รวบรวมจะใช้เทรนโมเดล Gemini และใช้ทำ grounding ใน Gemini Apps และใน Grounding with Google Search บน Vertex AI ได้หรือไม่

Google-Extended ไม่มีสตริง user agent ของตัวเอง Google ระบุว่าการรวบรวมข้อมูลทำด้วย user agent ที่มีอยู่แล้ว และโทเค็นนี้ทำงานเป็นตัวควบคุมใน robots.txt เท่านั้น ในทางปฏิบัติจึงมีเงื่อนไขสองข้อที่ Gemini จะใช้หน้าของคุณได้: Google ต้องมีหน้านั้นในดัชนี และ robots.txt ต้องไม่ห้าม Google-Extended สำหรับหน้านั้น

Google ไม่ได้ระบุว่า Gemini เลือกใช้หรืออ้างอิงหน้าที่อยู่ในดัชนีอย่างไร การผ่านทั้งสองเงื่อนไขทำให้หน้าของคุณพร้อมใช้ แต่ไม่ได้รับประกันว่า Gemini จะเลือก

จะตรวจได้อย่างไรว่า Google จัดทำดัชนีหน้าของฉันแล้ว

ใช้เครื่องมือ URL Inspection ใน Google Search Console สำหรับเวอร์ชันที่อยู่ในดัชนี เครื่องมือจะแสดง:

Test live URL ดึงหน้าแบบเรียลไทม์ และ View tested page แสดงภาพหน้าจอและ HTML ที่ Google ได้รับ ถ้าภาพหน้าจอเป็นหน้าตรวจสอบ หรือ HTML ไม่มีข้อความหลักของคุณ Google และ Gemini ด้วยจะไม่เห็นเนื้อหาของคุณ Request indexing ขอให้ Google รวบรวม URL นั้นอีกครั้ง Google ระบุว่าปกติใช้เวลาประมาณหนึ่งวัน และไม่รับประกันการจัดทำดัชนี

Google-Extended ทำให้ Gemini ใช้เว็บไซต์ของฉันไม่ได้หรือเปล่า

เปิด robots.txt แล้วหากลุ่มที่ระบุชื่อ Google-Extended ถ้ามี Disallow: / อยู่ในกลุ่มนั้น แปลว่าคุณบอก Google ไม่ให้ใช้หน้าของคุณเพื่อเทรน Gemini หรือทำ grounding ใน Gemini Apps Google ระบุว่าโทเค็นนี้ไม่มีผลต่อการแสดงใน Google Search และไม่ใช่สัญญาณการจัดอันดับ การบล็อกนี้จึงมองข้ามได้ง่าย: ทราฟฟิกจากการค้นหาดูปกติ แต่ Gemini ใช้หน้าของคุณเป็นฐานของคำตอบไม่ได้ บทความแยกของเราเรื่อง AI Overviews และ Google-Extended อธิบายว่าโทเค็นนี้ควบคุมอะไรและไม่ควบคุมอะไรใน Search

เนื่องจากโทเค็นนี้ไม่เคยปรากฏในคำขอ คุณจึงทดสอบด้วย curl หรือหาในล็อกไม่ได้ การอ่านไฟล์เป็นวิธีตรวจเดียว:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

การจับคู่ไม่สนตัวพิมพ์เล็กใหญ่ และถ้าไม่มีกลุ่มใดระบุชื่อ Google-Extended กลุ่ม * จะใช้กับโทเค็นนี้ หลายเว็บไซต์เพิ่มการบล็อกนี้ตอนที่เริ่มมีการพูดถึงการเทรน AI ในการศึกษาโดเมนยอดนิยม 1,000 อันดับแรกของเรา จาก 518 เว็บไซต์ที่มี robots.txt มี 114 แห่งที่ระบุชื่อ Google-Extended และ 94 แห่ง (18.1%) ห้ามโทเค็นนี้เข้าหน้าแรก ลองตัดสินใจว่ายังตรงกับที่คุณต้องการหรือไม่ เพราะมันครอบคลุม grounding ด้วย

ไฟร์วอลล์บล็อก Google ได้ไหม ขณะที่เบราว์เซอร์ผ่านได้

ได้ ถ้าระบบป้องกันบอทหรือการจำกัดอัตราตอบ crawler ของ Google ด้วย 403, 429 หรือหน้าตรวจสอบ Google จะรวบรวมหน้านั้นไม่ได้ และเมื่อเวลาผ่านไปหน้านั้นอาจหลุดจาก Search และหลุดจาก grounding ของ Gemini ไปด้วย URL Inspection เป็นการทดสอบที่ดีที่สุดในกรณีนี้ เพราะ Google ดึงหน้าจากที่อยู่ของตัวเอง การทดสอบด้วย curl จากคอมพิวเตอร์ของคุณแสดงได้เพียงว่ากฎของคุณปฏิบัติต่อ user agent อย่างไร

หากต้องการอนุญาต Google อย่างปลอดภัย ให้ยืนยันผู้เข้าชมแทนการเชื่อชื่อ Google ระบุวิธี reverse DNS lookup ตามด้วย forward lookup และเผยแพร่ช่วง IP ของ crawler ทั่วไปของตนใน common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

แทนที่อยู่ตัวอย่างด้วยที่อยู่จากล็อกของคุณ ถ้าผลสองครั้งไม่ตรงกัน คำขอนั้นแค่อ้างว่าเป็น Google

จะดูได้อย่างไรว่า Gemini ใช้หรืออ้างอิงเว็บไซต์ของฉัน

ถาม Gemini ด้วยคำถามที่ผู้ซื้อของคุณถาม โดยไม่เอ่ยชื่อเว็บไซต์ของคุณ แล้วเปิดดูแหล่งที่มา ศูนย์ช่วยเหลือของ Google ระบุว่าปุ่ม Sources ปรากฏที่ด้านล่างของคำตอบหรือแทรกในข้อความ และเปิดแผงลิงก์ที่เกี่ยวข้องซึ่งอาจมีเว็บไซต์สาธารณะ ถ้าไม่มีปุ่ม Sources แปลว่า Gemini ไม่ได้ให้ลิงก์สำหรับคำตอบนั้น และ Google ระบุว่าไม่ใช่ทุกคำตอบที่มีลิงก์ จดว่ามีโดเมนใดปรากฏ แล้วถามคำถามเดิมซ้ำตลอดสองสามสัปดาห์

นักพัฒนาทดสอบแบบเดียวกันได้ผ่าน Gemini API ด้วย Grounding with Google Search Google ระบุว่ามันเชื่อมโมเดลกับเนื้อหาเว็บแบบเรียลไทม์ และคำตอบแบบ grounding มีการอ้างอิงพร้อม URL และชื่อของแต่ละแหล่ง คุณจึงตรวจได้ว่าโดเมนของคุณปรากฏหรือไม่ คำตอบผ่าน API อาจต่างจากที่แอป Gemini แสดง

การดึงข้อมูลบางอย่างที่เกี่ยวกับ Gemini มาถึงเซิร์ฟเวอร์ของคุณจริง Google ระบุตัวดึงข้อมูลที่ผู้ใช้สั่ง เช่น Google-GeminiNotebook ซึ่งขอ URL ที่ผู้ใช้เพิ่มเป็นแหล่งข้อมูลในโปรเจกต์ Gemini Notebook และ Google-Agent ซึ่งเอเจนต์บนโครงสร้างพื้นฐานของ Google ใช้เมื่อทำงานตามคำขอของผู้ใช้ Google ระบุว่าตัวดึงข้อมูลเหล่านี้มักไม่สนใจ robots.txt เพราะผู้ใช้เป็นผู้สั่ง การเข้าชมของมันแสดงว่ามีคนเปิดหน้าของคุณผ่านผลิตภัณฑ์เหล่านั้น แต่ไม่ใช่เส้นทาง grounding ที่อธิบายไว้ข้างต้น

AI Overviews, AI Mode และกฎ snippet มีผลต่อ Gemini ไหม

AI Overviews และ AI Mode เป็นฟีเจอร์ของ Google Search ที่มีตัวควบคุมของตัวเอง Google ระบุ nosnippet, data-nosnippet, max-snippet และ noindex เป็นวิธีจำกัดสิ่งที่แสดงจากหน้าของคุณ เอกสารเรื่องแท็ก robots meta ระบุว่า nosnippet ยังป้องกันไม่ให้เนื้อหาถูกใช้เป็นอินพุตโดยตรงของ AI Overviews และ AI Mode และ max-snippet จำกัดปริมาณที่ใช้ได้ Search Console ยังมีการตั้งค่า Search generative AI ระดับทั้งเว็บไซต์ที่ตัดเว็บไซต์ออกจาก AI Overviews, AI Mode และฟีเจอร์ generative AI ใน Discover ได้

ไม่มีหน้าใดในนี้พูดถึงแอป Gemini อย่าสันนิษฐานว่ากฎ snippet หรือการตั้งค่าใน Search Console เปลี่ยน grounding ของ Gemini หรือว่า Google-Extended เปลี่ยน AI Overviews ข้อยกเว้นคือ noindex: ตามนิยาม grounding ของ Google หน้าที่อยู่นอกดัชนี Search ใช้ทำ grounding ไม่ได้ หากต้องการหากฎ snippet ที่คุณอาจลืมไปแล้ว ให้ตรวจ HTML และเฮดเดอร์:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy ตรวจเรื่องนี้อย่างไร

การตรวจฟรีของ AISeeWhy ดึงหน้าของคุณในฐานะ Googlebot และ crawler ของ AI และของการค้นหาตัวอื่น เทียบกับเบราว์เซอร์จริง ใช้ robots.txt ของคุณกับแต่ละตัว รวมถึงโทเค็น Google-Extended จดจำหน้าตรวจสอบ และแสดงว่ามีข้อความมาถึงเท่าไรโดยไม่ใช้ JavaScript การตรวจการมองเห็นใน AI ซึ่งมีในแพ็กเกจแบบชำระเงิน ถามคำถามของคุณผ่าน Gemini API ด้วย Google Search grounding โดยใช้คีย์ของคุณเอง และแสดงว่าแบรนด์หรือโดเมนของคุณถูกกล่าวถึงหรือถูกอ้างอิงหรือไม่ การตรวจนี้ไม่ได้สอบถาม AI Overviews หรือ AI Mode

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

ตรวจฟรีได้ไหมว่า Gemini มองเห็นเว็บไซต์ของฉันหรือไม่

ได้ Search Console การค้นหาด้วย site: robots.txt ของคุณ และการถามคำถามใน Gemini ไม่มีค่าใช้จ่าย การตรวจฟรีของ AISeeWhy ทดสอบ Googlebot กฎ Google-Extended และโปรแกรมรวบรวมข้อมูลอื่นอีก 14 ตัวได้วันละหนึ่งหน้า

Gemini มี crawler ของตัวเองไหม

ไม่มีสำหรับ grounding Google ระบุว่า Google-Extended ไม่มีสตริง user agent และการรวบรวมข้อมูลทำด้วย crawler ที่มีอยู่แล้ว ตัวดึงข้อมูลที่ผู้ใช้สั่งแยกต่างหาก เช่น Google-GeminiNotebook และ Google-Agent เข้าชมหน้าเมื่อผู้ใช้ขอ และ Google ระบุว่ามักไม่สนใจ robots.txt

ถ้าบล็อก Google-Extended แล้ว Gemini ยังกล่าวถึงแบรนด์ของฉันได้ไหม

Google ระบุว่าจะไม่ใช้เนื้อหาของคุณทำ grounding ใน Gemini Apps กฎนี้ครอบคลุมหน้าของคุณเอง Google ไม่ได้พูดถึงเนื้อหาบนเว็บไซต์อื่นที่เขียนถึงคุณ Gemini จึงอาจยังเอ่ยชื่อแบรนด์ของคุณจากแหล่งเหล่านั้นได้

การเปลี่ยน robots.txt ใช้เวลานานแค่ไหนกว่าจะถึง Gemini

Google ไม่ได้ระบุเวลาสำหรับ Gemini เอกสาร robots.txt ระบุว่าโดยทั่วไป Google แคชไฟล์ไว้ได้นานถึง 24 ชั่วโมง จึงควรรออย่างน้อยหนึ่งวันก่อนทดสอบใหม่ และนานกว่านั้นสำหรับหน้าที่ Google รวบรวมซ้ำไม่บ่อย

AI Overviews และ Gemini ใช้แหล่งที่มาเดียวกันไหม

Google ไม่ได้ระบุว่าทั้งสองเกี่ยวข้องกันอย่างไร ทั้งคู่อาศัยดัชนีของ Google แต่มีตัวควบคุมต่างกัน: กฎ snippet และการตั้งค่าใน Search Console สำหรับ AI Overviews และ AI Mode และ Google-Extended สำหรับ grounding ของ Gemini ควรตรวจแยกกัน

จะติดตามคำตอบของ Gemini ในระยะยาวได้อย่างไร

เก็บรายการคำถามของผู้ซื้อที่คงที่ไว้ ถาม Gemini ตามกำหนดเวลา และจดว่ามีโดเมนใดปรากฏในแหล่งที่มา การตรวจการมองเห็นใน AI ของ AISeeWhy ถามคำถามของคุณทุกสัปดาห์ผ่าน Gemini API ด้วย Google Search grounding และแสดงการกล่าวถึงเทียบกับคู่แข่งได้สูงสุดสี่ราย ผลจาก API อาจต่างจากแอป Gemini

แหล่งอ้างอิง

บทความอื่น ๆ