จะทดสอบกฎ robots.txt กับ URL และ crawler ตัวที่ต้องการได้อย่างไร
การทดสอบ URL กับโปรแกรมรวบรวมข้อมูลหนึ่งตัว ให้หากลุ่มที่ระบุโทเค็นของโปรแกรมนั้น (หรือ User-agent: * หากไม่มีกลุ่มใดระบุ) รวบรวมกฎ Allow และ Disallow ทุกข้อในกลุ่มนั้นที่ตรงกับพาธของ URL แล้วใช้กฎที่ยาวที่สุด หากยาวเท่ากัน Allow ชนะ คุณทำได้ด้วยมือ ด้วยตัวแยกวิเคราะห์แบบโอเพนซอร์สของ Google หรือด้วยตัวตรวจสอบที่แสดงผลแยกตาม crawler ตัวทดสอบ robots.txt เดิมใน Search Console ของ Google ถูกยกเลิกแล้ว และรายงาน robots.txt ที่มาแทนแสดงสิ่งที่ Google ดึงไป ไม่ใช่ผลตัดสินสำหรับ URL
ไฟล์ robots.txt ดูเรียบง่ายจนกว่าคุณจะต้องการคำตอบที่แน่นอน: GPTBot ดึงหน้านี้ได้ไหม แล้ว OAI-SearchBot ล่ะ คำตอบขึ้นกับว่าโปรแกรมรวบรวมข้อมูลเลือกกลุ่มไหน และกฎข้อใดในกลุ่มนั้นชนะ ซึ่งทั้งสองขั้นตอนพลาดได้ง่าย ต่อไปนี้คือวิธีจับคู่ตาม RFC 9309 ตัวอย่างสี่กรณี และสามวิธีทดสอบไฟล์ด้วยตัวเอง
ในหน้านี้
- ตัวทดสอบ robots.txt ใน Google Search Console หายไปไหน
- โปรแกรมรวบรวมข้อมูลตัดสินอย่างไรว่า URL ได้รับอนุญาตหรือไม่
- ขอดูตัวอย่างการทดสอบ robots.txt ทีละขั้นได้ไหม
- จะรันตัวแยกวิเคราะห์ robots.txt แบบโอเพนซอร์สของ Google ได้อย่างไร
- ทดสอบ robots.txt ด้วย urllib.robotparser ของ Python ได้ไหม
- ทำไมการทดสอบ robots.txt ผ่าน แต่โปรแกรมรวบรวมข้อมูลยังถูกบล็อก
- จะตรวจ robots.txt สำหรับโปรแกรมรวบรวมข้อมูลของ AI ทุกตัวพร้อมกันได้อย่างไร
ตัวทดสอบ robots.txt ใน Google Search Console หายไปไหน
ในเดือนพฤศจิกายน 2023 Google เพิ่มรายงาน robots.txt ใน Search Console และประกาศว่าจะเลิกใช้ตัวทดสอบ robots.txt รายงานนี้อยู่ใต้การตั้งค่า (Settings) และครอบคลุมเฉพาะโปรแกรมรวบรวมข้อมูลของ Google โดยแสดง:
- ไฟล์ robots.txt ที่ Google พบสำหรับโฮสต์ 20 อันดับแรกของพร็อพเพอร์ตีของคุณ
- สถานะการดึงของแต่ละไฟล์ (
Fetched,Not Fetched - Not found (404)หรือNot Fetched - Any other reason) เวลาที่ Google ตรวจล่าสุด และขนาดเป็นไบต์ - ปัญหาในไฟล์ Google ระบุว่าข้อผิดพลาด (error) ทำให้กฎใช้ไม่ได้ ส่วนคำเตือน (warning) ไม่ทำให้เป็นเช่นนั้น
- เวอร์ชันที่ Google ดึงในช่วง 30 วันที่ผ่านมา และปุ่มขอให้รวบรวมข้อมูลใหม่หลังแก้ไฟล์แล้ว
รายงานนี้ไม่ได้รับ URL แล้วตอบว่าอนุญาตหรือถูกบล็อก หากต้องการตรวจ URL หนึ่งสำหรับ Googlebot นั้น Google แนะนำเครื่องมือตรวจสอบ URL และสำหรับการทดสอบในเครื่อง แนะนำไลบรารี robots.txt แบบโอเพนซอร์สของตน ทั้งสองอย่างไม่บอกอะไรเกี่ยวกับโปรแกรมรวบรวมข้อมูลของ AI เช่น GPTBot หรือ ClaudeBot
โปรแกรมรวบรวมข้อมูลตัดสินอย่างไรว่า URL ได้รับอนุญาตหรือไม่
RFC 9309 หรือ Robots Exclusion Protocol กำหนดวิธีจับคู่ไว้ Google อธิบายพฤติกรรมแบบเดียวกันสำหรับโปรแกรมรวบรวมข้อมูลของตน
- เลือกกลุ่ม การจับคู่ User-agent ไม่แยกตัวพิมพ์เล็กใหญ่ หากมีกลุ่มหนึ่งกลุ่มหรือมากกว่าที่ระบุโทเค็นของโปรแกรมรวบรวมข้อมูล กฎของกลุ่มเหล่านั้นจะถูกรวมกัน และกลุ่ม
User-agent: *จะถูกละเว้นทั้งหมด เฉพาะโปรแกรมที่ไม่มีกลุ่มของตัวเองเท่านั้นที่ทำตาม* - เลือกกฎ ในบรรดากฎ
AllowและDisallowที่พาธตรงกับ URL กฎที่มีจำนวนอักขระมากที่สุดชนะ หากAllowและDisallowยาวเท่ากันAllowควรชนะ - อ่านรูปแบบ
*ตรงกับอักขระใด ๆ ต่อเนื่องกันกี่ตัวก็ได้ และ$หมายถึงจุดสิ้นสุดของ URL พาธแยกตัวพิมพ์เล็กใหญ่ ดังนั้น/Admin/ไม่ตรงกับ/admin/ - ไม่มีกฎที่ตรงกันหมายถึงอนุญาต ตัว
/robots.txtเองได้รับอนุญาตเสมอ
รหัสสถานะของ robots.txt สำคัญพอ ๆ กับกฎในไฟล์ การตอบกลับ 4xx หมายความว่าโปรแกรมรวบรวมข้อมูลดึงได้ทุกอย่าง Google ถือว่าทุก 4xx ยกเว้น 429 เหมือนไม่มีไฟล์ การตอบกลับ 5xx หมายความว่าโปรแกรมต้องถือว่าทั้งเว็บไซต์ถูกห้าม Google หยุดรวบรวมข้อมูลใน 12 ชั่วโมงแรก แล้วใช้สำเนาที่ดีล่าสุดได้นานถึง 30 วัน RFC 9309 กำหนดให้โปรแกรมรวบรวมข้อมูลแยกวิเคราะห์อย่างน้อย 500 KiB และ Google ละเว้นทุกอย่างหลัง 500 KiB
ขอดูตัวอย่างการทดสอบ robots.txt ทีละขั้นได้ไหม
นี่คือ robots.txt ขนาดเล็กที่มีกลุ่มเริ่มต้นและโปรแกรมรวบรวมข้อมูลของ AI ที่ระบุชื่ออีกสองตัว:
Googlebotกับ/search/help/billing: อนุญาต ไม่มีกลุ่มของ Googlebot จึงใช้กลุ่ม*ทั้งDisallow: /searchและAllow: /search/helpตรงกัน และกฎAllowยาวกว่าGPTBotกับ/blog/post: ถูกบล็อก GPTBot มีกลุ่มของตัวเอง และDisallow: /ตรงกับทุกพาธOAI-SearchBotกับ/admin/settings: อนุญาต OAI-SearchBot มีกลุ่มของตัวเอง ดังนั้นDisallow: /admin/ในกลุ่ม*จึงไม่มีผลกับมัน นี่คือเรื่องที่ทำให้แปลกใจบ่อยที่สุด ให้เขียนกฎที่ใช้ร่วมกันซ้ำในทุกกลุ่มที่ระบุชื่อOAI-SearchBotกับ/files/report.pdf: ถูกบล็อกAllow: /ตรงกันหนึ่งอักขระDisallow: /*.pdf$ตรงกันเจ็ดอักขระ และกฎที่ยาวกว่าชนะ
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ กรณีเสมอกันเกิดน้อยกว่าแต่ใช้ตรรกะเดียวกัน เอกสารของ Google ยกตัวอย่าง allow: /folder และ disallow: /folder สำหรับ URL /folder/page: ทั้งสองยาวเท่ากัน URL จึงได้รับอนุญาต
จะรันตัวแยกวิเคราะห์ robots.txt แบบโอเพนซอร์สของ Google ได้อย่างไร
Google เผยแพร่ไลบรารี C++ ที่ใช้งานจริงในการจับคู่กฎ robots.txt พร้อมโปรแกรมบรรทัดคำสั่งขนาดเล็กสำหรับทดสอบ URL หนึ่งรายการและ user agent หนึ่งตัวกับไฟล์ในเครื่อง เมื่อติดตั้ง Bazel แล้ว:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed ที่เก็บโค้ดนี้ยังอธิบายการบิลด์ด้วย CMake ซึ่งได้ไบนารีชื่อ robots ที่รับอาร์กิวเมนต์แบบเดียวกัน เครื่องมือนี้ทำแค่แยกวิเคราะห์และจับคู่ ไม่ได้ดาวน์โหลด robots.txt ให้ จึงต้องบันทึกไฟล์จริงไว้ก่อน README ยังระบุว่าพฤติกรรมเฉพาะของโปรแกรมรวบรวมข้อมูลที่อยู่นอกเหนือการแยกวิเคราะห์และจับคู่ไม่ได้เป็นส่วนหนึ่งของไลบรารี
ทดสอบ robots.txt ด้วย urllib.robotparser ของ Python ได้ไหม
ไลบรารีมาตรฐานของ Python มีตัวแยกวิเคราะห์ที่ตอบว่าอนุญาตหรือถูกบล็อกสำหรับ user agent และ URL สคริปต์นี้ทดสอบตัวอย่างข้างต้น:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") ตรวจเวอร์ชัน Python ก่อนเชื่อผลลัพธ์ การรองรับการจับคู่ตาม RFC 9309 ถูกเพิ่มใน CPython ในปี 2026 และออกครั้งแรกใน Python 3.13.14 และ 3.14.5 รุ่นที่เก่ากว่า รวมถึง 3.12 และก่อนหน้าทั้งหมด ใช้กฎแรกตามลำดับในไฟล์ที่ตรงกัน ไม่ใช่กฎที่ยาวที่สุด และไม่เข้าใจ * หรือ $ ภายในพาธ ในเวอร์ชันเหล่านั้นสคริปต์จะรายงานการทดสอบข้อแรกและข้อที่สี่กลับกัน: Googlebot ถูกบล็อกจาก /search/help/billing และ OAI-SearchBot ได้รับอนุญาตให้ดึง PDF
มีข้อแตกต่างอีกสองข้อที่ใช้กับทุกเวอร์ชัน RobotFileParser.read() ถือว่าการตอบกลับ 401 หรือ 403 สำหรับ robots.txt คือห้ามทั้งหมด ขณะที่ RFC 9309 ระบุว่า 4xx หมายถึงดึงได้ทุกอย่าง และ read() ดาวน์โหลดไฟล์ด้วย user agent ค่าเริ่มต้นของ Python ซึ่งไฟร์วอลล์บางแห่งบล็อก การทดสอบจึงอาจรายงานว่าถูกบล็อกด้วยเหตุผลที่ไม่เกี่ยวกับกฎของคุณ การดึงไฟล์เองแล้วส่งให้ parse() อย่างในตัวอย่างข้างต้นช่วยเลี่ยงได้ทั้งสองข้อ
ทำไมการทดสอบ robots.txt ผ่าน แต่โปรแกรมรวบรวมข้อมูลยังถูกบล็อก
ตัวทดสอบตอบคำถามเดียว: กฎอนุญาต URL นี้หรือไม่ มีหลายอย่างที่อยู่นอกเหนือคำตอบนั้น:
- ไฟล์จริงต่างจากไฟล์ที่คุณทดสอบ หรือโปรแกรมรวบรวมข้อมูลยังใช้สำเนาที่แคชไว้ RFC 9309 ระบุว่าโปรแกรมไม่ควรใช้สำเนาที่แคชไว้นานกว่า 24 ชั่วโมง และโดยทั่วไป Google แคชไว้นานถึง 24 ชั่วโมง
- URL ของ robots.txt ส่งกลับเป็นหน้า HTML หรือข้อผิดพลาด หน้า HTML ที่มีสถานะ 200 ไม่มีกฎที่ใช้ได้ และการตอบกลับ 5xx บล็อกทั้งเว็บไซต์
- robots.txt เป็นคำขอ ไม่ใช่การควบคุมการเข้าถึง ไฟร์วอลล์ CDN หรือระบบป้องกันบอทยังตอบโปรแกรมรวบรวมข้อมูลด้วย 403 หรือหน้าตรวจสอบได้
จะตรวจ robots.txt สำหรับโปรแกรมรวบรวมข้อมูลของ AI ทุกตัวพร้อมกันได้อย่างไร
ตัวตรวจสอบ robots.txt ฟรีของ AISeeWhy รับที่อยู่หน้าเว็บหรือ robots.txt ที่วางไว้ แล้วแสดงว่า crawler ของ AI และของการค้นหาแต่ละตัวดึงหน้านั้นได้หรือไม่ ตัวสร้าง robots.txt ฟรีเขียนไฟล์ตามตัวเลือกของคุณ และการตรวจฟรีดึงหน้าในฐานะ crawler 16 ตัว เพื่อแสดงว่าไฟร์วอลล์บล็อกสิ่งที่ robots.txt อนุญาตหรือไม่
วิธีแก้ปัญหานี้
- robots.txt อนุญาต GPTBot แต่เซิร์ฟเวอร์บล็อกไว้
- robots.txt ไม่อนุญาต OAI-SearchBot
- robots.txt เป็นหน้า HTML
- ดึง robots.txt ไม่ได้
ขั้นตอนถัดไป
- ตัวทดสอบและตัวตรวจสอบ robots.txt สำหรับ AI crawler
- ดูตัวอย่างรายงานฉบับเต็ม
- การติดตาม AI crawler
- แพ็กเกจและราคา
Crawler ในบทความนี้
คำถามที่พบบ่อย
ใน Google Search Console ยังมีตัวทดสอบ robots.txt อยู่ไหม
ไม่มีแล้ว Google แทนที่ด้วยรายงาน robots.txt ในเดือนพฤศจิกายน 2023 ซึ่งแสดงไฟล์ที่ Google ดึง สถานะ และข้อผิดพลาด หากต้องการตรวจว่า Googlebot รวบรวมข้อมูล URL หนึ่งได้หรือไม่ ให้ใช้เครื่องมือตรวจสอบ URL
Allow มีผลเหนือ Disallow ใน robots.txt ไหม
เฉพาะเมื่อกฎ Allow ยาวกว่า หรือยาวเท่ากันพอดี กฎที่มีพาธตรงกันยาวที่สุดชนะ ไม่ว่าจะเป็นประเภทใด และ Allow ชนะเมื่อเสมอกัน
robots.txt แยกตัวพิมพ์เล็กใหญ่ไหม
บางส่วน ค่า User-agent จับคู่โดยไม่แยกตัวพิมพ์ ดังนั้น gptbot และ GPTBot หมายถึงกลุ่มเดียวกัน แต่พาธแยกตัวพิมพ์ ดังนั้น Disallow: /Private/ ไม่บล็อก /private/
ตัวตรวจความถูกต้องของ robots.txt ตรวจอะไรบ้าง
ตัวตรวจความถูกต้อง (validator) ตรวจว่าไฟล์เข้าถึงได้ ส่งเป็นข้อความ และเขียนด้วยไวยากรณ์ที่ถูกต้อง ส่วนตัวทดสอบ (tester) ไปไกลกว่านั้นและให้ผลตัดสินสำหรับ URL และโปรแกรมรวบรวมข้อมูลที่ระบุ โดยทั่วไปคุณต้องใช้ทั้งสองอย่าง เพราะไฟล์ที่ถูกต้องก็ยังบล็อกหน้าที่คุณตั้งใจจะอนุญาตได้
ถ้าโปรแกรมรวบรวมข้อมูลมีกลุ่มของตัวเอง ยังทำตาม User-agent: * อยู่ไหม
ไม่ กลุ่มที่ระบุชื่อแทนที่กลุ่ม * ทั้งหมดสำหรับโปรแกรมนั้น กฎใดที่คุณต้องการให้ใช้กับทุกตัวต้องเขียนซ้ำในแต่ละกลุ่มที่ระบุชื่อ
แหล่งอ้างอิง
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py