Content-Signal ใน robots.txt คืออะไร และมีใครทำตามไหม

เผยแพร่เมื่อ

คำตอบสั้น ๆ

Content-Signal เป็นบรรทัดเสริมใน robots.txt ที่ Cloudflare เผยแพร่ บอกว่าเนื้อหาของคุณนำไปใช้อย่างไรได้หลังถูกดึงไปแล้ว: search สำหรับผลการค้นหา ai-input สำหรับป้อนเข้าคำตอบของ AI และ ai-train สำหรับเทรนโมเดล แต่ละตัวตั้งเป็น yes หรือ no เช่น Content-Signal: search=yes, ai-input=yes, ai-train=no มันแสดงความต้องการ แต่ไม่ได้บล็อกอะไร ณ เดือนพฤศจิกายน 2026 ไม่มีหน้า crawler ของ OpenAI, Anthropic, Google หรือ Perplexity ที่บอกว่าอ่านบรรทัดนี้ ขณะที่บริษัท AI รายใหญ่หันไปสนับสนุนโทเค็นอีกแบบที่ใช้กับการเทรนเท่านั้น

robots.txt ถูกสร้างมาเพื่อบอกว่า crawler ไปที่ไหนได้ ไม่ใช่บอกว่าทำอะไรกับสิ่งที่อ่านได้ เมื่อการดึงครั้งเดียวกันป้อนได้ทั้งดัชนีการค้นหา คำตอบ AI แบบสด และชุดข้อมูลเทรน ช่องว่างนี้ก็เริ่มสำคัญ Cloudflare เผยแพร่ Content Signals Policy เมื่อวันที่ 24 กันยายน 2025 ภายใต้สัญญาอนุญาต CC0 เพื่อเติมช่องว่างนี้ และระบุในตอนนั้นว่าลูกค้าเปิด managed robots.txt ไว้แล้วกว่า 3.8 ล้านโดเมน ฟีเจอร์นี้ตอนนี้เพิ่มบรรทัดดังกล่าวให้โดยอัตโนมัติ

ในหน้านี้
  1. search, ai-input และ ai-train หมายถึงอะไร
  2. จะเขียนบรรทัด Content-Signal ใน robots.txt อย่างไร
  3. ข้อความนโยบายเหนือบรรทัดนี้บอกอะไร
  4. robots.txt ของฉันมี Content-Signal อยู่แล้วหรือเปล่า
  5. AI crawler ทำตาม Content-Signal ไหม
  6. ฉันควรเพิ่ม Content-Signal ใน robots.txt ไหม
  7. จะตรวจได้อย่างไรว่า robots.txt ของฉันบอกอะไรกับ crawler แต่ละตัว

search, ai-input และ ai-train หมายถึงอะไร

นโยบายนี้นิยามสัญญาณสามตัว ถ้อยคำด้านล่างอิงตาม contentsignals.org และข้อความนโยบายที่ Cloudflare เผยแพร่:

สัญญาณแต่ละตัวรับค่า yes หรือ no ตามถ้อยคำของนโยบาย yes หมายความว่าเก็บเนื้อหาไปใช้เพื่อการนั้นได้ no หมายความว่าไม่ได้ และสัญญาณที่คุณไม่ได้ใส่ไว้ไม่ได้อนุญาตหรือจำกัดการใช้งานนั้น ค่าเริ่มต้นของ Cloudflare ตั้ง search และ ai-train แต่ไม่ได้ตั้ง ai-input เพราะ Cloudflare บอกว่าไม่รู้ความต้องการของลูกค้าแต่ละรายสำหรับสัญญาณนี้และไม่อยากเดา

การแยก search กับ ai-input คือจุดที่คนส่วนใหญ่มองข้าม ถ้าคุณต้องการให้หน้าของคุณถูกใช้ในคำตอบของ AI การใส่ search=yes อย่างเดียวไม่ได้บอกเช่นนั้น ai-input=yes ต่างหากที่บอก

จะเขียนบรรทัด Content-Signal ใน robots.txt อย่างไร

Content-Signal อยู่ภายในกลุ่ม user agent ข้าง Allow และ Disallow โดยคั่นสัญญาณด้วยเครื่องหมายจุลภาค contentsignals.org ยังแสดงรูปแบบที่ขึ้นต้นด้วยพาธ ส่วนหนึ่งของเว็บไซต์จึงมีสัญญาณต่างจากส่วนที่เหลือได้:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow และ Disallow ยังทำงานเหมือนเดิมทุกประการ และ Content-Signal ไม่ได้มาแทนที่ RFC 9309 อนุญาตให้ crawler ตีความระเบียนที่ไม่ได้อยู่ในโปรโตคอลได้ ตราบที่ไม่รบกวนกฎที่นิยามไว้ ตัวแยกวิเคราะห์ที่ไม่รู้จักบรรทัดนี้จึงควรข้ามไป

มีสองรายละเอียดที่ควรรู้ ข้อแรก บรรทัดนี้เป็นของกลุ่ม ตาม RFC 9309 crawler ที่มีกลุ่มของตัวเองจะไม่สนใจกลุ่ม User-agent: * ทั้งหมด และหน้า Content Signals ไม่ได้อธิบายข้อยกเว้นใดสำหรับบรรทัดนี้ ถ้าคุณให้ Googlebot หรือ OAI-SearchBot มีกลุ่มของตัวเอง ให้ใส่บรรทัด Content-Signal ซ้ำที่นั่น อย่างที่ contentsignals.org ทำในตัวอย่างแยกตาม crawler ข้อที่สอง Google Search Console อาจรายงาน Syntax not understood สำหรับบรรทัดนี้ เอกสารของ Cloudflare กล่าวถึงเรื่องนี้และระบุว่าไม่พบผลกระทบต่อการรวบรวมข้อมูลหรือ SEO เอกสาร robots.txt ของ Google ระบุเฉพาะ user-agent, allow, disallow และ sitemap เป็นฟิลด์ที่รองรับ

ข้อความนโยบายเหนือบรรทัดนี้บอกอะไร

Content Signals Policy มีมากกว่าหนึ่งบรรทัด ทั้งตัวสร้างของ Cloudflare บน contentsignals.org และ managed robots.txt ใส่บล็อกความคิดเห็นไว้เหนือสัญญาณ บล็อกนี้เริ่มด้วยการบอกว่า การเข้าถึงเว็บไซต์มีเงื่อนไขว่าคุณตกลงปฏิบัติตาม content signals จากนั้นนิยามสัญญาณทั้งสามตัว และกรณี yes, no และกรณีที่ไม่ได้ระบุ

บล็อกจบด้วยประโยคตัวพิมพ์ใหญ่ที่ระบุว่าข้อจำกัดใด ๆ ที่แสดงผ่าน content signals เป็นการสงวนสิทธิ์อย่างชัดแจ้งตาม Article 4 ของ EU Directive 2019/790 ว่าด้วยลิขสิทธิ์ใน Digital Single Market ประกาศของ Cloudflare เสริมว่าสัญญาณอาจมีน้ำหนักทางกฎหมายในเขตอำนาจศาลต่าง ๆ

contentsignals.org เองเตือนว่าศาลและหน่วยงานกำกับดูแลอาจสรุปว่าไฟล์ robots.txt ไม่ได้สร้างภาระผูกพันทางกฎหมายที่บังคับใช้ได้ และแนะนำให้ปรึกษาทนายความ ให้ถือบล็อกความคิดเห็นเป็นคำแถลงจุดยืนของคุณเป็นลายลักษณ์อักษร ไม่ใช่สัญญา

robots.txt ของฉันมี Content-Signal อยู่แล้วหรือเปล่า

ถ้าเว็บไซต์ของคุณอยู่บน Cloudflare อาจมีอยู่แล้ว ได้สองทาง:

ส่วน use=reference เพิ่งมีไม่นาน Cloudflare อธิบาย use ว่าเป็นฟิลด์ที่สี่แบบเสริมที่กำลังทดสอบ มีสามค่า: immediate (โต้ตอบได้ แต่ไม่เก็บและไม่นำอะไรกลับมาใช้) reference (จัดทำดัชนี ยกข้อความ และลิงก์กลับ) และ full (สรุปและทำซ้ำ) ฟิลด์นี้ไม่ได้อยู่ในสัญญาณสามตัวแรก และไม่มีเอกสาร crawler ที่เราตรวจพูดถึง

เนื่องจาก Cloudflare เพิ่มบรรทัดเหล่านี้ที่ edge ไฟล์ใน repository อาจดูไม่เปลี่ยน ขณะที่ไฟล์ที่ crawler ได้รับต่างออกไป ดึง https://yourdomain.com/robots.txt ที่ใช้งานจริงก่อนเพิ่มบรรทัดของคุณเอง การตอบกลับจะได้ไม่ระบุสองนโยบายที่ขัดกัน

การใช้งานในเว็บไซต์ขนาดใหญ่ยังน้อย ในการศึกษาเดือนพฤศจิกายน 2026 ของเราเรื่องโดเมนยอดนิยม 1,000 อันดับแรก จาก 518 เว็บไซต์ที่มี robots.txt มี 18 แห่ง (3.5%) ที่ใช้ Content-Signal

AI crawler ทำตาม Content-Signal ไหม

ไม่ ตามเอกสารทั้งหมดที่เราหาได้ วันที่ 17 พฤศจิกายน 2026 เราตรวจหน้า crawler ของ OpenAI, Anthropic, Google และ Perplexity และไม่มีหน้าใดพูดถึง Content-Signal Cloudflare เองอธิบายสัญญาณเหล่านี้ว่าเป็นความต้องการ ไม่ใช่มาตรการทางเทคนิคป้องกันการ scrape และบอกว่าบางบริษัทอาจไม่สนใจเลย

สิ่งที่บริษัท AI ระบุไว้แทนคือกลไกอีกแบบที่อิงงานของคณะทำงาน AI Preferences ของ IETF: โทเค็นนโยบาย __usage_ai-training ที่เขียนเป็นกลุ่ม User-Agent ธรรมดา ครอบคลุมเฉพาะการเทรน และ Internet-Draft ที่นิยามโทเค็นนี้ระบุว่ากลุ่ม User-Agent: * ไม่นับเป็นการใช้โทเค็น:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

การรองรับยังไม่เท่ากันและบางส่วนยังมาไม่ถึง Anthropic ระบุว่ารับรู้สัญญาณการเทรนแบบอ่านได้ด้วยเครื่องทั่วไปตั้งแต่ 30 ตุลาคม 2026 กำลังทยอยเปิดใช้ และกฎที่ระบุชื่อ ClaudeBot มีลำดับความสำคัญเหนือกว่า Microsoft ระบุโทเค็น __usage_ai-training สำหรับ Bing โดยความต้องการใหม่จะมีผลเมื่อหน้าถูกรวบรวมตั้งแต่ 1 กุมภาพันธ์ 2027 Google ระบุว่าตั้งเป้ารองรับตัวควบคุมร่วมนี้ในปี 2027 และวางแผนถือการ opt-out จากการเทรนผ่านโทเค็นนี้เป็นการ disallow Google-Extended เมื่อไม่ได้ระบุชื่อโทเค็นนั้น OpenAI เผยแพร่ประกาศในวันเดียวกันว่าจะทำตามสัญญาณร่วม แต่ไม่ได้ระบุวันที่

ดังนั้น ai-train=no และ __usage_ai-training บอกสิ่งที่คล้ายกัน แต่มีเพียงตัวหลังที่บริษัท AI ระบุว่ารองรับ โทเค็นแยกตาม crawler อย่าง GPTBot และ ClaudeBot ยังเป็นตัวควบคุมที่ผู้ให้บริการแต่ละรายใช้อยู่ในวันนี้

ฉันควรเพิ่ม Content-Signal ใน robots.txt ไหม

เพิ่มได้ถ้าคุณต้องการเขียนนโยบายการใช้งานไว้ในที่เดียวที่ทั้งเครื่องและคนอ่านได้ มันยังระบุความต้องการ ai-input สำหรับ crawler ทุกตัวได้ในบรรทัดเดียว ซึ่งโทเค็นของผู้ให้บริการทำได้ทีละ crawler เท่านั้น ต้นทุนคือหนึ่งบรรทัด และตัวแยกวิเคราะห์ที่ไม่รู้จักจะข้ามไป

อย่าพึ่งมันอย่างเดียว หากต้องการกันเนื้อหาออกจากการเทรน ให้ห้ามโทเค็นการเทรนที่มีเอกสารระบุด้วย และพิจารณาโทเค็นการเทรนร่วม คู่มือของเราเรื่องการบล็อกการเทรน AI แต่ยังอยู่ในการค้นหาด้วย AI แสดงรายการโทเค็นแยกตามผู้ให้บริการ สำหรับสิ่งที่ไม่สนใจ robots.txt มีเพียงกฎไฟร์วอลล์ที่บังคับการบล็อกได้

สุดท้าย ตรวจว่าบรรทัดนี้สอดคล้องกับส่วนที่เหลือของไฟล์ ai-input=no ข้างกลุ่ม Allow สำหรับ OAI-SearchBot หรือ PerplexityBot ส่งสารที่ขัดกัน: คุณให้ AI search crawler เข้ามา แต่บอกว่าคำตอบของมันใช้สิ่งที่ดึงไปไม่ได้

จะตรวจได้อย่างไรว่า robots.txt ของฉันบอกอะไรกับ crawler แต่ละตัว

ตัวตรวจสอบ robots.txt ฟรีของ AISeeWhy รับที่อยู่หน้าเว็บหรือ robots.txt ที่วางไว้ แล้วแสดงว่า crawler ของ AI และของการค้นหาแต่ละตัวดึงหน้านั้นได้หรือไม่ คุณจึงยืนยันได้ว่าไฟล์ที่ใช้งานจริง รวมถึงสิ่งที่ Cloudflare เติมไว้ข้างหน้า บอกตามที่คุณตั้งใจ ตัวสร้าง robots.txt ฟรีเขียนไฟล์ตามตัวเลือกของคุณ

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

Content-Signal เป็นส่วนหนึ่งของมาตรฐาน robots.txt ไหม

ไม่ RFC 9309 นิยาม User-agent, Allow และ Disallow และให้ crawler ตีความระเบียนอื่นได้ Content-Signal มาจาก Content Signals Policy ของ Cloudflare ซึ่งเผยแพร่ภายใต้สัญญาอนุญาต CC0 แยกจากนั้น คณะทำงาน AI Preferences ของ IETF กำลังร่างกฎ Content-Usage ของตนเองสำหรับ robots.txt ซึ่งยังเป็น Internet-Draft ไม่ใช่มาตรฐาน

ai-train=no หยุด GPTBot หรือ ClaudeBot ได้ไหม

ไม่ได้ เท่าที่ผู้ให้บริการระบุไว้ OpenAI และ Anthropic อธิบายการควบคุมผ่านกฎ robots.txt ที่ระบุชื่อ GPTBot และ ClaudeBot และหน้า crawler ของทั้งสองไม่ได้พูดถึง Content-Signal หากต้องการไม่ให้นำไปเทรน ให้ห้ามโทเค็นนั้นโดยระบุชื่อ

Content-Signal กับ __usage_ai-training ต่างกันอย่างไร

Content-Signal เป็นบรรทัดภายในกลุ่ม ครอบคลุมการค้นหา อินพุตของ AI และการเทรน __usage_ai-training เป็นโทเค็นนโยบายที่ใช้เป็นกลุ่ม User-Agent ของตัวเอง ครอบคลุมเฉพาะการเทรน Anthropic, Microsoft, Google และ OpenAI เผยแพร่คำแถลงเกี่ยวกับสัญญาณการเทรนร่วม แต่ไม่มีรายใดระบุ Content-Signal

ทำไม Google Search Console ขึ้นว่า Syntax not understood

เอกสาร robots.txt ของ Google รองรับเฉพาะ user-agent, allow, disallow และ sitemap บรรทัดอื่นจึงอาจถูกแจ้งเตือน Cloudflare ระบุว่าไม่พบผลกระทบต่ออัตราการรวบรวมข้อมูลหรือ SEO จากรายงานเหล่านี้

use=reference หมายถึงอะไร

เป็นฟิลด์ที่สี่ที่ Cloudflare กำลังทดสอบ reference หมายถึงจัดทำดัชนี ยกข้อความ และลิงก์กลับ Cloudflare เพิ่มฟิลด์นี้ในไฟล์ managed robots.txt และไม่มีเอกสาร crawler ที่เราตรวจพูดถึง

แหล่งอ้างอิง

บทความอื่น ๆ