AISeeWhy
TH
เริ่มทดลองใช้ฟรี

ChatGPT มองเห็นเว็บไซต์ของฉันไหม วิธีตรวจสอบ

เผยแพร่เมื่อ

คำตอบสั้น ๆ

ChatGPT จะอ้างอิงหน้าเว็บของคุณได้ก็ต่อเมื่อโปรแกรมรวบรวมข้อมูลสำหรับการค้นหาของ OpenAI อย่าง OAI-SearchBot ดึงหน้านั้นได้ และได้รับ HTML เดียวกับที่เบราว์เซอร์ได้รับ ให้ตรวจสามอย่าง: robots.txt ไม่ได้ห้าม OAI-SearchBot ไฟร์วอลล์หรือ CDN ไม่ได้ตอบกลับด้วย 403 หรือหน้าตรวจสอบ และเนื้อหาหลักอยู่ใน HTML ตั้งต้น

เจ้าของเว็บไซต์หลายคนถาม ChatGPT เกี่ยวกับสินค้าของตัวเอง แต่กลับเห็นคู่แข่งถูกอ้างอิงแทน แล้วสงสัยว่า ChatGPT เข้าถึงเว็บไซต์ของตนได้หรือเปล่า คำถามนี้มีคำตอบที่ชัดเจนและทดสอบได้ OpenAI เปิดเผยชื่อโปรแกรมรวบรวมข้อมูลของตนและหน้าที่ของแต่ละตัว คุณจึงตรวจได้ทุกจุดในห่วงโซ่ ตั้งแต่กฎใน robots.txt คำตอบที่เซิร์ฟเวอร์ส่งกลับ ไปจนถึงเนื้อหาในคำตอบนั้น

ในหน้านี้
  1. โปรแกรมรวบรวมข้อมูลของ OpenAI ตัวไหนมีผลต่อคำตอบของ ChatGPT
  2. ตรวจ robots.txt สำหรับ ChatGPT ได้อย่างไร
  3. ไฟร์วอลล์บล็อก ChatGPT ได้ไหม แม้ robots.txt จะอนุญาต
  4. ทดสอบสิ่งที่ OAI-SearchBot ได้รับอย่างไร
  5. ถ้าหน้าเว็บโหลดได้ แต่ ChatGPT ยังไม่ให้คำตอบที่เป็นประโยชน์ล่ะ
  6. AISeeWhy ตรวจเรื่องนี้อย่างไร

โปรแกรมรวบรวมข้อมูลของ OpenAI ตัวไหนมีผลต่อคำตอบของ ChatGPT

OpenAI อธิบายเอเจนต์สามตัวที่เจ้าของเว็บไซต์มักพบ แต่ละตัวมีหน้าที่ต่างกัน และการบล็อกตัวหนึ่งไม่ได้บล็อกตัวอื่น OpenAI ระบุว่าการตั้งค่า robots.txt แต่ละรายการเป็นอิสระต่อกัน

สรุปสั้น ๆ: OAI-SearchBot ควบคุมการอ้างอิง GPTBot ควบคุมการฝึกโมเดล และ ChatGPT-User ดูแลการเข้าชมสดตามคำขอของผู้ใช้

ตรวจ robots.txt สำหรับ ChatGPT ได้อย่างไร

เปิด https://yourdomain.com/robots.txt ในเบราว์เซอร์ แล้วดูว่ามีกลุ่มที่ระบุชื่อ OAI-SearchBot หรือไม่ ถ้าไม่มี โปรแกรมรวบรวมข้อมูลจะใช้กลุ่ม User-agent: * หากกลุ่มที่ใช้บังคับมี Disallow: / ทั้งเว็บไซต์จะถูกบล็อก

ตรวจด้วยว่าไฟล์นี้ตอบกลับได้ตามปกติ ตาม RFC 9309 ถ้า robots.txt ตอบกลับด้วยข้อผิดพลาดของเซิร์ฟเวอร์ (5xx) หรือเข้าถึงไม่ได้ โปรแกรมรวบรวมข้อมูลต้องถือว่าทั้งเว็บไซต์ถูกห้าม ส่วน 404 ไม่เป็นไร เพราะหมายถึงไม่มีกฎใด ๆ ข้อผิดพลาดที่พบบ่อยคือ robots.txt ตอบเป็นหน้า HTML ด้วยสถานะ 200 ซึ่งทำให้โปรแกรมรวบรวมข้อมูลไม่พบกฎที่ใช้ได้ในนั้น

การตั้งค่าที่คงการค้นหาของ ChatGPT ไว้ แต่ไม่ยินยอมให้ใช้ฝึกโมเดลมีลักษณะดังนี้

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI ระบุว่าหลังจากอัปเดต robots.txt การเปลี่ยนแปลงด้านการค้นหาอาจใช้เวลาประมาณ 24 ชั่วโมงจึงมีผล

ไฟร์วอลล์บล็อก ChatGPT ได้ไหม แม้ robots.txt จะอนุญาต

ได้ และเป็นสาเหตุที่พบบ่อย robots.txt เป็นเพียงคำขอถึงโปรแกรมรวบรวมข้อมูลที่ทำตามกติกา ไม่ใช่การควบคุมการเข้าถึง สิ่งที่ถูกส่งกลับจริง ๆ ขึ้นอยู่กับไฟร์วอลล์ CDN หรือระบบป้องกันบอตของคุณ ถ้าระบบมองโปรแกรมรวบรวมข้อมูลของ AI เป็นบอตที่ไม่พึงประสงค์ โปรแกรมนั้นจะได้ 403, 429 หรือหน้าตรวจสอบ เช่น หน้า “Just a moment...” ของ Cloudflare ขณะที่คนที่เปิดด้วยเบราว์เซอร์เห็นหน้าเว็บตามปกติ

จากภายนอก เว็บไซต์ดูเปิดให้ทุกคนเข้าถึง มีเพียงคำขอที่ระบุตัวว่าเป็นโปรแกรมรวบรวมข้อมูลเท่านั้นที่เผยความต่าง กรณีนี้ robots.txt บอกว่าได้ เซิร์ฟเวอร์บอกว่าไม่ได้ และเซิร์ฟเวอร์เป็นฝ่ายชนะ

ทดสอบสิ่งที่ OAI-SearchBot ได้รับอย่างไร

ส่งคำขอสองครั้งไปยัง URL เดียวกัน ครั้งหนึ่งใช้ user agent ของเบราว์เซอร์ อีกครั้งใช้ user agent ของโปรแกรมรวบรวมข้อมูล แล้วเปรียบเทียบรหัสสถานะและขนาด OpenAI เผยแพร่ตัวอย่าง user agent ของโปรแกรมรวบรวมข้อมูลแต่ละตัว หมายเลขเวอร์ชันในนั้นอาจเปลี่ยนได้

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

ถ้าเบราว์เซอร์ได้ 200 พร้อมเนื้อหาขนาดใหญ่ ส่วนโปรแกรมรวบรวมข้อมูลได้ 403, 429, 503 หรือเนื้อหาเล็กกว่ามาก แสดงว่าไฟร์วอลล์ปฏิบัติต่อโปรแกรมนั้นต่างออกไป มีข้อจำกัดหนึ่งข้อ คือการทดสอบของคุณมาจากที่อยู่ IP ของคุณเอง ไม่ใช่ของ OpenAI ไฟร์วอลล์ที่ตรวจสอบโปรแกรมรวบรวมข้อมูลกับช่วง IP ที่เผยแพร่ไว้ (OpenAI แสดงไว้ที่ openai.com/searchbot.json) อาจปล่อยตัวจริงผ่าน ขณะที่บล็อกการทดสอบของคุณ แต่ถ้าการทดสอบนี้ถูกบล็อก ก็ยังบอกได้ว่าไฟร์วอลล์ปฏิบัติต่อ user agent นั้นอย่างไร ซึ่งควรแก้ไข

ถ้าหน้าเว็บโหลดได้ แต่ ChatGPT ยังไม่ให้คำตอบที่เป็นประโยชน์ล่ะ

การเข้าถึงเป็นเพียงขั้นแรก ถ้า HTML ที่ได้รับเป็นเปลือกว่างที่ JavaScript มาเติมทีหลัง โปรแกรมรวบรวมข้อมูลอาจได้ข้อความแทบไม่มีเลย ลองดู HTML ดิบด้วย curl หรือดูซอร์สของหน้าในเบราว์เซอร์ ถ้าเนื้อหาหลักไม่อยู่ในนั้น โปรแกรมรวบรวมข้อมูลก็น่าจะมองไม่เห็นเช่นกัน

ถัดมาคือสัญญาณด้านเนื้อหา ได้แก่ คำตอบสั้นที่ชัดเจนใกล้ส่วนบนของหน้า หัวข้อที่ตรงกับคำถามที่ผู้คนถาม ผู้เผยแพร่และผู้เขียนที่ระบุชื่อ และวันที่ที่มองเห็นได้ สิ่งเหล่านี้ไม่รับประกันว่าจะถูกอ้างอิง แต่ช่วยให้หน้าเว็บถูกยกไปอ้างได้ถูกต้องง่ายขึ้น

AISeeWhy ตรวจเรื่องนี้อย่างไร

AISeeWhy ดึงหน้าเว็บของคุณในฐานะ OAI-SearchBot, GPTBot, ChatGPT-User และโปรแกรมรวบรวมข้อมูลอื่นอีก 11 ตัว เทียบกับเบราว์เซอร์ปกติ อ่าน robots.txt ตามกฎ RFC 9309 และระบุชื่อไฟร์วอลล์เมื่อมีตัวใดตอบกลับด้วยการบล็อกหรือหน้าตรวจสอบ ทุกข้อค้นพบมาพร้อมวิธีแก้ที่นำไปวางได้ทันที และการตรวจฟรีจะแสดงคะแนนกับข้อค้นพบแรกของคุณ

คำถามที่พบบ่อย

การบล็อก GPTBot ทำให้เว็บไซต์ของฉันหายจากการค้นหาของ ChatGPT ไหม

ไม่ OpenAI ถือว่าการตั้งค่าของโปรแกรมรวบรวมข้อมูลแต่ละตัวเป็นอิสระต่อกัน GPTBot เกี่ยวกับการฝึกโมเดล ส่วน OAI-SearchBot เป็นตัวตัดสินว่าหน้าเว็บจะแสดงในคำตอบของการค้นหาใน ChatGPT ได้หรือไม่ คุณห้ามตัวหนึ่งและอนุญาตอีกตัวได้

ChatGPT-User ทำตาม robots.txt หรือไม่

OpenAI ระบุว่าเนื่องจากการเข้าชมเหล่านี้เริ่มโดยผู้ใช้ กฎของ robots.txt อาจไม่ใช้ ถ้าคุณต้องการหยุดการเข้าชมเหล่านั้น กฎใน robots.txt ไม่ใช่วิธีควบคุมที่เชื่อถือได้

การเปลี่ยนแปลง robots.txt ถึง ChatGPT ใช้เวลานานเท่าไร

OpenAI ระบุว่าระบบอาจใช้เวลาประมาณ 24 ชั่วโมงนับจากการอัปเดต robots.txt เพื่อปรับให้สอดคล้องสำหรับการค้นหา

เข้าถึงได้อย่างเดียวพอให้ถูกอ้างอิงไหม

ไม่พอ การเข้าถึงทำให้การอ้างอิงเป็นไปได้ แต่ไม่ได้รับประกัน สิ่งที่หน้าเว็บพูดและพูดได้ชัดเจนแค่ไหนยังเป็นตัวตัดสินว่าจะถูกใช้ในคำตอบหรือไม่

แหล่งอ้างอิง

บทความอื่น ๆ