AISeeWhy
TH
เริ่มทดลองใช้ฟรี

โปรแกรมรวบรวมข้อมูลของ Perplexity: PerplexityBot และ Perplexity-User

เผยแพร่เมื่อ

คำตอบสั้น ๆ

Perplexity ใช้ PerplexityBot เพื่อแสดงและลิงก์เว็บไซต์ในผลการค้นหา และใช้ Perplexity-User เข้าชมหน้าเว็บเมื่อคำถามของผู้ใช้ต้องการ Perplexity ระบุว่า PerplexityBot ทำตาม robots.txt และไม่ได้ใช้ฝึกโมเดลพื้นฐาน ส่วน Perplexity-User โดยทั่วไปไม่สนใจ robots.txt เพราะผู้ใช้เป็นผู้ขอให้ดึงหน้า

Perplexity สร้างขึ้นรอบการอ้างอิง คำตอบมาพร้อมลิงก์ที่มีหมายเลขไปยังหน้าเว็บที่ใช้เป็นแหล่งข้อมูล เอกสารเกี่ยวกับโปรแกรมรวบรวมข้อมูลของ Perplexity สั้น แต่ระบุชัดว่าเอเจนต์ตัวไหนทำตาม robots.txt และตัวไหนไม่ทำตาม ความต่างนี้ตัดสินว่าหากอยากควบคุมตัวใดตัวหนึ่ง คุณต้องใช้เครื่องมืออะไร

ในหน้านี้
  1. PerplexityBot ทำอะไร
  2. Perplexity-User ทำอะไร
  3. robots.txt ควบคุมอะไรได้ และอะไรไม่ได้
  4. Perplexity ต่างจาก ChatGPT และ Claude อย่างไร
  5. ควรใช้ robots.txt แบบไหนกับ Perplexity
  6. จะมั่นใจได้อย่างไรว่าไฟร์วอลล์ไม่บล็อก Perplexity

PerplexityBot ทำอะไร

PerplexityBot ออกแบบมาเพื่อแสดงและลิงก์เว็บไซต์ในผลการค้นหาของ Perplexity Perplexity ระบุว่าไม่ได้ใช้รวบรวมเนื้อหาสำหรับโมเดลพื้นฐานของ AI หากต้องการปรากฏในผลการค้นหาของ Perplexity ทางบริษัทแนะนำให้อนุญาต PerplexityBot ใน robots.txt

Perplexity ระบุ user agent นี้ไว้

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

หมายเลขเวอร์ชันอาจเปลี่ยน กฎไฟร์วอลล์จึงควรจับคู่กับโทเค็น PerplexityBot Perplexity เผยแพร่ช่วง IP ไว้ที่ perplexity.ai/perplexitybot.json

Perplexity-User ทำอะไร

Perplexity-User สนับสนุนการกระทำของผู้ใช้ เมื่อมีคนถามคำถามกับ Perplexity ระบบอาจเข้าชมหน้าเว็บเพื่อช่วยให้คำตอบถูกต้อง และใส่ลิงก์ไปยังหน้านั้นไว้ Perplexity ระบุว่าไม่ได้ใช้รวบรวมข้อมูลจากเว็บหรือเก็บข้อมูลสำหรับฝึกโมเดล

user agent ที่ระบุไว้คือ Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) และช่วง IP เผยแพร่ไว้ที่ perplexity.ai/perplexity-user.json

robots.txt ควบคุมอะไรได้ และอะไรไม่ได้

นี่คือประเด็นสำคัญ Perplexity ระบุว่าเพราะผู้ใช้เป็นผู้ขอให้ดึงหน้า Perplexity-User จึงโดยทั่วไปไม่สนใจกฎของ robots.txt กลุ่ม robots.txt สำหรับ PerplexityBot มีผลต่อการจัดทำดัชนีเพื่อการค้นหา แต่ไม่สามารถหยุดการดึงหน้าสดในนามของผู้ใช้ได้อย่างเชื่อถือได้

Perplexity ระบุว่าการตั้งค่า robots.txt แต่ละรายการทำงานเป็นอิสระต่อกัน และการเปลี่ยนแปลงอาจใช้เวลาถึง 24 ชั่วโมงจึงสะท้อนผล

Perplexity ต่างจาก ChatGPT และ Claude อย่างไร

ผู้ให้บริการทั้งสามแยกโปรแกรมค้นหาออกจากตัวดึงหน้าตามคำขอของผู้ใช้ ความต่างของ Perplexity มีสองข้อ ข้อแรก ไม่มีโปรแกรมรวบรวมข้อมูลสำหรับฝึกโมเดลแยกต่างหาก: Perplexity ระบุว่า PerplexityBot ไม่ได้ใช้รวบรวมเนื้อหาสำหรับโมเดลพื้นฐานของ AI จึงไม่มีโทเค็นสำหรับการฝึกโมเดลให้เลือก ข้อสอง ระบุตรง ๆ ว่าตัวดึงหน้าของผู้ใช้โดยทั่วไปไม่สนใจ robots.txt ขณะที่ OpenAI ระบุว่า robots.txt อาจไม่ใช้กับ ChatGPT-User และ Anthropic ระบุว่าบอตของตน รวมถึง Claude-User ทำตาม robots.txt

ในทางปฏิบัติ หมายความว่าใน robots.txt ตัดสินใจเรื่องเดียวสำหรับโปรแกรมค้นหาของ Perplexity และต้องตัดสินใจที่ระดับไฟร์วอลล์หากต้องการหยุดการดึงหน้าตามคำขอของผู้ใช้

ควรใช้ robots.txt แบบไหนกับ Perplexity

หากต้องการให้ถูกอ้างอิง ให้อนุญาตโปรแกรมค้นหาอย่างชัดเจน อย่าลืมว่ากลุ่มที่ระบุชื่อไม่ได้รับกฎต่อจาก * จึงต้องระบุเส้นทางส่วนตัวซ้ำ

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

เนื่องจาก PerplexityBot ไม่ใช่โปรแกรมสำหรับฝึกโมเดล การบล็อกเพื่อไม่ยินยอมให้ใช้ฝึกโมเดลจึงทำให้คุณเสียการมองเห็นในการค้นหา โดยไม่ได้ช่วยให้บรรลุเป้าหมายนั้น

หากคุณระบุ sitemap ใน robots.txt ให้วางบรรทัด Sitemap: ไว้นอกกลุ่มใด ๆ หรือท้ายไฟล์ ซึ่งมีผลกับโปรแกรมรวบรวมข้อมูลทุกตัว และตรวจให้แน่ใจด้วยว่า sitemap เองไม่ถูกไฟร์วอลล์บล็อก เพราะโปรแกรมที่ดึงมันไม่ได้ก็ใช้มันค้นหาหน้าใหม่หรือหน้าที่เปลี่ยนไม่ได้

จะมั่นใจได้อย่างไรว่าไฟร์วอลล์ไม่บล็อก Perplexity

ระบบป้องกันบอตมักมองคำขอที่ไม่ใช่จากเบราว์เซอร์ทุกรายการว่าน่าสงสัย ลองขอหน้าเว็บของคุณด้วย user agent ของ Perplexity แต่ละตัว แล้วเปรียบเทียบคำตอบกับคำขอจากเบราว์เซอร์ หากโปรแกรมรวบรวมข้อมูลได้ 403, 429 หรือหน้าตรวจสอบ ให้เพิ่มกฎอนุญาตที่จับคู่กับโทเค็น และถ้าเป็นไปได้ให้ใช้ช่วง IP ที่เผยแพร่ไว้ด้วย เพื่อให้เฉพาะทราฟฟิกจริงของ Perplexity ผ่านเข้ามา ใน Cloudflare นั้น AI Crawl Control แสดงรายการโปรแกรมรวบรวมข้อมูลของ AI พร้อมการดำเนินการ Allow หรือ Block สำหรับแต่ละตัว

ควรตรวจสอบ ไม่ใช่เชื่อ user agent เฉย ๆ ใครก็ส่งคำขอที่อ้างว่าเป็น PerplexityBot ได้ กฎอนุญาตที่อิงจาก user agent อย่างเดียวจึงปล่อยตัวปลอมผ่านไปด้วย และการบล็อกที่อิงจากมันก็หลบได้ การตรวจ IP ต้นทางกับรายการที่ Perplexity เผยแพร่ทำให้กฎทั้งสองแบบเชื่อถือได้

AISeeWhy ทดสอบ PerplexityBot และ Perplexity-User ควบคู่กับโปรแกรมรวบรวมข้อมูลอีก 12 ตัว เนื่องจากทั้งสองตัวตัดสินว่า Perplexity จะใช้หน้าเว็บของคุณในคำตอบได้หรือไม่ การบล็อกตัวใดตัวหนึ่งจึงรายงานเป็น P1 พร้อมกฎสำหรับแก้ไข

คำถามที่พบบ่อย

Perplexity ใช้เนื้อหาของฉันฝึกโมเดล AI ไหม

Perplexity ระบุว่าทั้ง PerplexityBot และ Perplexity-User ไม่ได้ใช้รวบรวมเนื้อหาเพื่อฝึกโมเดลพื้นฐานของ AI

ทำไม Perplexity-User จึงไม่สนใจ robots.txt

เหตุผลของ Perplexity คือผู้ใช้เป็นผู้ขอหน้านั้น การดึงหน้าจึงเป็นการทำในนามผู้ใช้คนนั้น ไม่ใช่การรวบรวมข้อมูลอัตโนมัติ เอกสารของบริษัทระบุว่าด้วยเหตุนี้ตัวดึงหน้าจึงโดยทั่วไปไม่สนใจ robots.txt

ถ้าจำเป็น จะบล็อก Perplexity-User ได้อย่างไร

ใช้ไฟร์วอลล์หรือ CDN โดยจับคู่โทเค็น user agent และช่วง IP ที่ Perplexity เผยแพร่ robots.txt ไม่ใช่การควบคุมที่พึ่งพาได้สำหรับเอเจนต์ตัวนี้

การเปลี่ยนแปลง robots.txt ใช้เวลานานเท่าไรจึงมีผล

Perplexity ระบุว่าระบบอาจใช้เวลาถึง 24 ชั่วโมงในการสะท้อนการเปลี่ยนแปลง

การบล็อก PerplexityBot จะหยุด Perplexity ไม่ให้ใช้เนื้อหาของฉันเลยหรือไม่

ไม่ แต่จะกันหน้าเว็บของคุณออกจากการรวบรวมข้อมูลสำหรับดัชนีการค้นหาของ Perplexity ส่วน Perplexity-User ยังดึงหน้าได้เมื่อผู้ใช้ถามถึง เพราะตัวดึงหน้านี้โดยทั่วไปไม่สนใจ robots.txt

แหล่งอ้างอิง

บทความอื่น ๆ