จะทดสอบกฎ robots.txt กับ URL และ crawler ตัวที่ต้องการได้อย่างไร

เผยแพร่เมื่อ

คำตอบสั้น ๆ

การทดสอบ URL กับโปรแกรมรวบรวมข้อมูลหนึ่งตัว ให้หากลุ่มที่ระบุโทเค็นของโปรแกรมนั้น (หรือ User-agent: * หากไม่มีกลุ่มใดระบุ) รวบรวมกฎ Allow และ Disallow ทุกข้อในกลุ่มนั้นที่ตรงกับพาธของ URL แล้วใช้กฎที่ยาวที่สุด หากยาวเท่ากัน Allow ชนะ คุณทำได้ด้วยมือ ด้วยตัวแยกวิเคราะห์แบบโอเพนซอร์สของ Google หรือด้วยตัวตรวจสอบที่แสดงผลแยกตาม crawler ตัวทดสอบ robots.txt เดิมใน Search Console ของ Google ถูกยกเลิกแล้ว และรายงาน robots.txt ที่มาแทนแสดงสิ่งที่ Google ดึงไป ไม่ใช่ผลตัดสินสำหรับ URL

ไฟล์ robots.txt ดูเรียบง่ายจนกว่าคุณจะต้องการคำตอบที่แน่นอน: GPTBot ดึงหน้านี้ได้ไหม แล้ว OAI-SearchBot ล่ะ คำตอบขึ้นกับว่าโปรแกรมรวบรวมข้อมูลเลือกกลุ่มไหน และกฎข้อใดในกลุ่มนั้นชนะ ซึ่งทั้งสองขั้นตอนพลาดได้ง่าย ต่อไปนี้คือวิธีจับคู่ตาม RFC 9309 ตัวอย่างสี่กรณี และสามวิธีทดสอบไฟล์ด้วยตัวเอง

ในหน้านี้
  1. ตัวทดสอบ robots.txt ใน Google Search Console หายไปไหน
  2. โปรแกรมรวบรวมข้อมูลตัดสินอย่างไรว่า URL ได้รับอนุญาตหรือไม่
  3. ขอดูตัวอย่างการทดสอบ robots.txt ทีละขั้นได้ไหม
  4. จะรันตัวแยกวิเคราะห์ robots.txt แบบโอเพนซอร์สของ Google ได้อย่างไร
  5. ทดสอบ robots.txt ด้วย urllib.robotparser ของ Python ได้ไหม
  6. ทำไมการทดสอบ robots.txt ผ่าน แต่โปรแกรมรวบรวมข้อมูลยังถูกบล็อก
  7. จะตรวจ robots.txt สำหรับโปรแกรมรวบรวมข้อมูลของ AI ทุกตัวพร้อมกันได้อย่างไร

ตัวทดสอบ robots.txt ใน Google Search Console หายไปไหน

ในเดือนพฤศจิกายน 2023 Google เพิ่มรายงาน robots.txt ใน Search Console และประกาศว่าจะเลิกใช้ตัวทดสอบ robots.txt รายงานนี้อยู่ใต้การตั้งค่า (Settings) และครอบคลุมเฉพาะโปรแกรมรวบรวมข้อมูลของ Google โดยแสดง:

รายงานนี้ไม่ได้รับ URL แล้วตอบว่าอนุญาตหรือถูกบล็อก หากต้องการตรวจ URL หนึ่งสำหรับ Googlebot นั้น Google แนะนำเครื่องมือตรวจสอบ URL และสำหรับการทดสอบในเครื่อง แนะนำไลบรารี robots.txt แบบโอเพนซอร์สของตน ทั้งสองอย่างไม่บอกอะไรเกี่ยวกับโปรแกรมรวบรวมข้อมูลของ AI เช่น GPTBot หรือ ClaudeBot

โปรแกรมรวบรวมข้อมูลตัดสินอย่างไรว่า URL ได้รับอนุญาตหรือไม่

RFC 9309 หรือ Robots Exclusion Protocol กำหนดวิธีจับคู่ไว้ Google อธิบายพฤติกรรมแบบเดียวกันสำหรับโปรแกรมรวบรวมข้อมูลของตน

รหัสสถานะของ robots.txt สำคัญพอ ๆ กับกฎในไฟล์ การตอบกลับ 4xx หมายความว่าโปรแกรมรวบรวมข้อมูลดึงได้ทุกอย่าง Google ถือว่าทุก 4xx ยกเว้น 429 เหมือนไม่มีไฟล์ การตอบกลับ 5xx หมายความว่าโปรแกรมต้องถือว่าทั้งเว็บไซต์ถูกห้าม Google หยุดรวบรวมข้อมูลใน 12 ชั่วโมงแรก แล้วใช้สำเนาที่ดีล่าสุดได้นานถึง 30 วัน RFC 9309 กำหนดให้โปรแกรมรวบรวมข้อมูลแยกวิเคราะห์อย่างน้อย 500 KiB และ Google ละเว้นทุกอย่างหลัง 500 KiB

ขอดูตัวอย่างการทดสอบ robots.txt ทีละขั้นได้ไหม

นี่คือ robots.txt ขนาดเล็กที่มีกลุ่มเริ่มต้นและโปรแกรมรวบรวมข้อมูลของ AI ที่ระบุชื่ออีกสองตัว:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

กรณีเสมอกันเกิดน้อยกว่าแต่ใช้ตรรกะเดียวกัน เอกสารของ Google ยกตัวอย่าง allow: /folder และ disallow: /folder สำหรับ URL /folder/page: ทั้งสองยาวเท่ากัน URL จึงได้รับอนุญาต

จะรันตัวแยกวิเคราะห์ robots.txt แบบโอเพนซอร์สของ Google ได้อย่างไร

Google เผยแพร่ไลบรารี C++ ที่ใช้งานจริงในการจับคู่กฎ robots.txt พร้อมโปรแกรมบรรทัดคำสั่งขนาดเล็กสำหรับทดสอบ URL หนึ่งรายการและ user agent หนึ่งตัวกับไฟล์ในเครื่อง เมื่อติดตั้ง Bazel แล้ว:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

ที่เก็บโค้ดนี้ยังอธิบายการบิลด์ด้วย CMake ซึ่งได้ไบนารีชื่อ robots ที่รับอาร์กิวเมนต์แบบเดียวกัน เครื่องมือนี้ทำแค่แยกวิเคราะห์และจับคู่ ไม่ได้ดาวน์โหลด robots.txt ให้ จึงต้องบันทึกไฟล์จริงไว้ก่อน README ยังระบุว่าพฤติกรรมเฉพาะของโปรแกรมรวบรวมข้อมูลที่อยู่นอกเหนือการแยกวิเคราะห์และจับคู่ไม่ได้เป็นส่วนหนึ่งของไลบรารี

ทดสอบ robots.txt ด้วย urllib.robotparser ของ Python ได้ไหม

ไลบรารีมาตรฐานของ Python มีตัวแยกวิเคราะห์ที่ตอบว่าอนุญาตหรือถูกบล็อกสำหรับ user agent และ URL สคริปต์นี้ทดสอบตัวอย่างข้างต้น:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

ตรวจเวอร์ชัน Python ก่อนเชื่อผลลัพธ์ การรองรับการจับคู่ตาม RFC 9309 ถูกเพิ่มใน CPython ในปี 2026 และออกครั้งแรกใน Python 3.13.14 และ 3.14.5 รุ่นที่เก่ากว่า รวมถึง 3.12 และก่อนหน้าทั้งหมด ใช้กฎแรกตามลำดับในไฟล์ที่ตรงกัน ไม่ใช่กฎที่ยาวที่สุด และไม่เข้าใจ * หรือ $ ภายในพาธ ในเวอร์ชันเหล่านั้นสคริปต์จะรายงานการทดสอบข้อแรกและข้อที่สี่กลับกัน: Googlebot ถูกบล็อกจาก /search/help/billing และ OAI-SearchBot ได้รับอนุญาตให้ดึง PDF

มีข้อแตกต่างอีกสองข้อที่ใช้กับทุกเวอร์ชัน RobotFileParser.read() ถือว่าการตอบกลับ 401 หรือ 403 สำหรับ robots.txt คือห้ามทั้งหมด ขณะที่ RFC 9309 ระบุว่า 4xx หมายถึงดึงได้ทุกอย่าง และ read() ดาวน์โหลดไฟล์ด้วย user agent ค่าเริ่มต้นของ Python ซึ่งไฟร์วอลล์บางแห่งบล็อก การทดสอบจึงอาจรายงานว่าถูกบล็อกด้วยเหตุผลที่ไม่เกี่ยวกับกฎของคุณ การดึงไฟล์เองแล้วส่งให้ parse() อย่างในตัวอย่างข้างต้นช่วยเลี่ยงได้ทั้งสองข้อ

ทำไมการทดสอบ robots.txt ผ่าน แต่โปรแกรมรวบรวมข้อมูลยังถูกบล็อก

ตัวทดสอบตอบคำถามเดียว: กฎอนุญาต URL นี้หรือไม่ มีหลายอย่างที่อยู่นอกเหนือคำตอบนั้น:

จะตรวจ robots.txt สำหรับโปรแกรมรวบรวมข้อมูลของ AI ทุกตัวพร้อมกันได้อย่างไร

ตัวตรวจสอบ robots.txt ฟรีของ AISeeWhy รับที่อยู่หน้าเว็บหรือ robots.txt ที่วางไว้ แล้วแสดงว่า crawler ของ AI และของการค้นหาแต่ละตัวดึงหน้านั้นได้หรือไม่ ตัวสร้าง robots.txt ฟรีเขียนไฟล์ตามตัวเลือกของคุณ และการตรวจฟรีดึงหน้าในฐานะ crawler 16 ตัว เพื่อแสดงว่าไฟร์วอลล์บล็อกสิ่งที่ robots.txt อนุญาตหรือไม่

วิธีแก้ปัญหานี้

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

ใน Google Search Console ยังมีตัวทดสอบ robots.txt อยู่ไหม

ไม่มีแล้ว Google แทนที่ด้วยรายงาน robots.txt ในเดือนพฤศจิกายน 2023 ซึ่งแสดงไฟล์ที่ Google ดึง สถานะ และข้อผิดพลาด หากต้องการตรวจว่า Googlebot รวบรวมข้อมูล URL หนึ่งได้หรือไม่ ให้ใช้เครื่องมือตรวจสอบ URL

Allow มีผลเหนือ Disallow ใน robots.txt ไหม

เฉพาะเมื่อกฎ Allow ยาวกว่า หรือยาวเท่ากันพอดี กฎที่มีพาธตรงกันยาวที่สุดชนะ ไม่ว่าจะเป็นประเภทใด และ Allow ชนะเมื่อเสมอกัน

robots.txt แยกตัวพิมพ์เล็กใหญ่ไหม

บางส่วน ค่า User-agent จับคู่โดยไม่แยกตัวพิมพ์ ดังนั้น gptbot และ GPTBot หมายถึงกลุ่มเดียวกัน แต่พาธแยกตัวพิมพ์ ดังนั้น Disallow: /Private/ ไม่บล็อก /private/

ตัวตรวจความถูกต้องของ robots.txt ตรวจอะไรบ้าง

ตัวตรวจความถูกต้อง (validator) ตรวจว่าไฟล์เข้าถึงได้ ส่งเป็นข้อความ และเขียนด้วยไวยากรณ์ที่ถูกต้อง ส่วนตัวทดสอบ (tester) ไปไกลกว่านั้นและให้ผลตัดสินสำหรับ URL และโปรแกรมรวบรวมข้อมูลที่ระบุ โดยทั่วไปคุณต้องใช้ทั้งสองอย่าง เพราะไฟล์ที่ถูกต้องก็ยังบล็อกหน้าที่คุณตั้งใจจะอนุญาตได้

ถ้าโปรแกรมรวบรวมข้อมูลมีกลุ่มของตัวเอง ยังทำตาม User-agent: * อยู่ไหม

ไม่ กลุ่มที่ระบุชื่อแทนที่กลุ่ม * ทั้งหมดสำหรับโปรแกรมนั้น กฎใดที่คุณต้องการให้ใช้กับทุกตัวต้องเขียนซ้ำในแต่ละกลุ่มที่ระบุชื่อ

แหล่งอ้างอิง

บทความอื่น ๆ