Làm sao kiểm tra quy tắc robots.txt cho một URL và một trình thu thập dữ liệu cụ thể?
Để kiểm tra một URL cho một trình thu thập dữ liệu, hãy tìm nhóm có tên token của trình thu thập đó (hoặc User-agent: * nếu không có nhóm nào), gom mọi quy tắc Allow và Disallow trong nhóm khớp với đường dẫn URL, và áp dụng quy tắc dài nhất; nếu bằng nhau, Allow thắng. Bạn có thể làm bằng tay, bằng bộ phân tích mã nguồn mở của Google, hoặc bằng công cụ kiểm tra cho kết luận theo từng trình thu thập. Công cụ robots.txt Tester cũ trong Search Console đã bị gỡ bỏ, và báo cáo robots.txt thay thế nó chỉ cho thấy Google đã tải về gì, không đưa ra kết luận cho một URL.
Tệp robots.txt trông đơn giản cho đến khi bạn cần một câu trả lời chắc chắn: GPTBot có được tải trang này không, còn OAI-SearchBot thì sao? Câu trả lời phụ thuộc vào việc trình thu thập dữ liệu chọn nhóm nào và quy tắc nào trong nhóm đó thắng, và cả hai bước đều dễ hiểu sai. Dưới đây là cách so khớp hoạt động theo RFC 9309, bốn ví dụ cụ thể và ba cách tự kiểm tra một tệp.
Trong trang này
- Công cụ robots.txt Tester trong Google Search Console đã đi đâu?
- Trình thu thập dữ liệu quyết định một URL có được phép hay không như thế nào?
- Có thể xem qua một ví dụ kiểm tra robots.txt không?
- Làm sao chạy bộ phân tích robots.txt mã nguồn mở của Google?
- Tôi có thể kiểm tra robots.txt bằng urllib.robotparser của Python không?
- Vì sao kiểm tra robots.txt đạt mà trình thu thập dữ liệu vẫn bị chặn?
- Làm sao kiểm tra robots.txt cho mọi trình thu thập dữ liệu AI cùng lúc?
Công cụ robots.txt Tester trong Google Search Console đã đi đâu?
Vào tháng 11 năm 2023, Google thêm báo cáo robots.txt vào Search Console và cho biết sẽ ngừng công cụ robots.txt tester. Báo cáo nằm trong phần Cài đặt và chỉ áp dụng cho các trình thu thập dữ liệu của Google. Báo cáo hiển thị:
- Các tệp robots.txt mà Google tìm thấy cho 20 máy chủ hàng đầu trong tài sản của bạn.
- Trạng thái tải của từng tệp (
Fetched,Not Fetched - Not found (404)hoặcNot Fetched - Any other reason), lần cuối Google kiểm tra và kích thước tính bằng byte. - Các vấn đề trong tệp. Google cho biết lỗi khiến một quy tắc không được dùng, còn cảnh báo thì không.
- Các phiên bản Google đã tải trong 30 ngày qua, và nút yêu cầu thu thập lại sau khi bạn sửa tệp.
Báo cáo không nhận một URL để trả về được phép hay bị chặn. Để kiểm tra một URL cho Googlebot, Google hướng tới công cụ Kiểm tra URL, và để thử cục bộ thì tới thư viện robots.txt mã nguồn mở của họ. Không công cụ nào cho bạn biết gì về các trình thu thập dữ liệu AI như GPTBot hay ClaudeBot.
Trình thu thập dữ liệu quyết định một URL có được phép hay không như thế nào?
RFC 9309, Robots Exclusion Protocol, định nghĩa cách so khớp. Google mô tả cùng hành vi đó cho các trình thu thập dữ liệu của mình.
- Chọn nhóm. So khớp User-agent không phân biệt chữ hoa chữ thường. Nếu một hoặc nhiều nhóm nêu tên token của trình thu thập, các quy tắc của chúng được gộp lại và nhóm
User-agent: *bị bỏ qua hoàn toàn. Chỉ trình thu thập không có nhóm riêng mới theo*. - Chọn quy tắc. Trong các quy tắc
AllowvàDisallowcó đường dẫn khớp với URL, quy tắc có nhiều ký tự nhất thắng. Nếu mộtAllowvà mộtDisallowdài bằng nhau,Allownên thắng. - Đọc mẫu.
*khớp với một chuỗi ký tự bất kỳ và$đánh dấu cuối URL. Đường dẫn phân biệt chữ hoa chữ thường, nên/Admin/không khớp với/admin/. - Không có quy tắc nào khớp nghĩa là được phép. Bản thân
/robots.txtluôn được phép.
Mã phản hồi của robots.txt quan trọng không kém các quy tắc. Phản hồi 4xx nghĩa là trình thu thập được tải mọi thứ; Google coi mọi mã 4xx trừ 429 như thể không có tệp. Phản hồi 5xx nghĩa là trình thu thập phải coi toàn bộ website bị cấm. Google ngừng thu thập trong 12 giờ đầu, sau đó dùng bản tốt gần nhất trong tối đa 30 ngày. RFC 9309 yêu cầu trình thu thập phân tích ít nhất 500 KiB, và Google bỏ qua mọi thứ sau 500 KiB.
Có thể xem qua một ví dụ kiểm tra robots.txt không?
Đây là một robots.txt nhỏ với nhóm mặc định và hai trình thu thập dữ liệu AI có tên riêng:
Googlebotvà/search/help/billing: được phép. Không có nhóm Googlebot, nên nhóm*được áp dụng.Disallow: /searchvàAllow: /search/helpđều khớp, và quy tắcAllowdài hơn.GPTBotvà/blog/post: bị chặn. GPTBot có nhóm riêng, vàDisallow: /khớp với mọi đường dẫn.OAI-SearchBotvà/admin/settings: được phép. OAI-SearchBot có nhóm riêng, nênDisallow: /admin/trong nhóm*không áp dụng cho nó. Đây là điều gây bất ngờ phổ biến nhất; hãy lặp lại các quy tắc chung trong mọi nhóm có tên.OAI-SearchBotvà/files/report.pdf: bị chặn.Allow: /khớp với một ký tự,Disallow: /*.pdf$khớp với bảy ký tự, và quy tắc dài hơn thắng.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Trường hợp bằng nhau hiếm hơn nhưng theo cùng logic. Tài liệu của Google nêu ví dụ allow: /folder và disallow: /folder cho URL /folder/page: cả hai dài bằng nhau, nên URL được phép.
Làm sao chạy bộ phân tích robots.txt mã nguồn mở của Google?
Google công bố thư viện C++ mà họ dùng trong môi trường thực tế để so khớp quy tắc robots.txt, kèm một chương trình dòng lệnh nhỏ để kiểm tra một URL và một user agent với một tệp cục bộ. Khi đã cài Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Kho mã cũng mô tả cách build bằng CMake, tạo ra tệp thực thi tên robots với cùng tham số. Công cụ chỉ phân tích và so khớp; nó không tải robots.txt về, nên hãy lưu tệp đang chạy trên website trước. README của nó cũng lưu ý rằng hành vi riêng của từng trình thu thập ngoài việc phân tích và so khớp không thuộc thư viện.
Tôi có thể kiểm tra robots.txt bằng urllib.robotparser của Python không?
Thư viện chuẩn của Python có một bộ phân tích trả lời được phép hay bị chặn cho một user agent và một URL. Script này kiểm tra ví dụ ở trên:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Hãy kiểm tra phiên bản Python trước khi tin kết quả. Hỗ trợ so khớp theo RFC 9309 được thêm vào CPython năm 2026 và lần đầu có trong Python 3.13.14 và 3.14.5. Các bản cũ hơn, gồm toàn bộ 3.12 trở về trước, áp dụng quy tắc khớp đầu tiên theo thứ tự trong tệp chứ không phải quy tắc dài nhất, và không hiểu * hay $ trong đường dẫn. Trên các phiên bản đó, script cho kết quả ngược ở phép thử thứ nhất và thứ tư: Googlebot bị chặn khỏi /search/help/billing và OAI-SearchBot được phép tải tệp PDF.
Còn hai khác biệt áp dụng cho mọi phiên bản. RobotFileParser.read() coi phản hồi 401 hoặc 403 cho robots.txt là cấm toàn bộ, trong khi RFC 9309 nói 4xx nghĩa là được tải mọi thứ. Và read() tải tệp với user agent mặc định của Python, vốn bị một số tường lửa chặn, nên phép thử có thể báo bị chặn vì lý do không liên quan đến quy tắc của bạn. Tự tải tệp rồi truyền vào parse(), như ở trên, tránh được cả hai.
Vì sao kiểm tra robots.txt đạt mà trình thu thập dữ liệu vẫn bị chặn?
Công cụ kiểm tra trả lời một câu hỏi: các quy tắc có cho phép URL này không? Một số yếu tố nằm ngoài câu trả lời đó:
- Tệp trên website khác với tệp bạn đã thử, hoặc trình thu thập vẫn dùng bản lưu đệm. RFC 9309 nói trình thu thập không nên dùng bản lưu đệm quá 24 giờ, và Google nói chung lưu đệm tối đa 24 giờ.
- URL robots.txt trả về một trang HTML hoặc lỗi. Trang HTML với trạng thái 200 không chứa quy tắc hợp lệ nào, còn phản hồi 5xx chặn toàn bộ website.
- robots.txt là một yêu cầu, không phải cơ chế kiểm soát truy cập. Tường lửa, CDN hoặc lớp bảo vệ chống bot vẫn có thể trả về 403 hay trang thử thách cho trình thu thập.
Làm sao kiểm tra robots.txt cho mọi trình thu thập dữ liệu AI cùng lúc?
Trình kiểm tra robots.txt miễn phí của AISeeWhy nhận địa chỉ trang hoặc nội dung robots.txt được dán vào, và cho biết với từng trình thu thập dữ liệu AI và tìm kiếm, trang đó có được tải hay không. Trình tạo robots.txt miễn phí viết tệp theo lựa chọn của bạn, và bước kiểm tra miễn phí tải trang dưới danh nghĩa 16 trình thu thập để cho thấy tường lửa có chặn những gì robots.txt cho phép không.
Cách khắc phục vấn đề này
- robots.txt cho phép GPTBot nhưng máy chủ lại chặn
- robots.txt không cho phép OAI-SearchBot
- robots.txt là một trang HTML
- Không thể tải robots.txt
Bước tiếp theo
- Trình kiểm tra robots.txt cho trình thu thập AI
- Xem ví dụ báo cáo đầy đủ
- Giám sát trình thu thập AI
- Gói và giá
Các trình thu thập trong bài này
Câu hỏi thường gặp
Google Search Console còn công cụ kiểm tra robots.txt không?
Không. Tháng 11 năm 2023, Google thay nó bằng báo cáo robots.txt, hiển thị các tệp Google đã tải, trạng thái và mọi lỗi. Để kiểm tra Googlebot có được thu thập một URL cụ thể không, hãy dùng công cụ Kiểm tra URL.
Allow có ghi đè Disallow trong robots.txt không?
Chỉ khi quy tắc Allow dài hơn hoặc dài bằng. Quy tắc có đường dẫn khớp dài nhất thắng, dù là loại nào, và Allow thắng khi bằng nhau.
robots.txt có phân biệt chữ hoa chữ thường không?
Một phần. Giá trị User-agent được so khớp không phân biệt chữ hoa chữ thường, nên gptbot và GPTBot chỉ cùng một nhóm. Đường dẫn thì phân biệt, nên Disallow: /Private/ không chặn /private/.
Trình xác thực robots.txt kiểm tra những gì?
Trình xác thực kiểm tra tệp có truy cập được không, có được phục vụ dưới dạng văn bản không và cú pháp có hợp lệ không. Công cụ kiểm tra đi xa hơn và đưa ra kết luận cho một URL và trình thu thập cụ thể. Thường bạn cần cả hai, vì một tệp hợp lệ vẫn có thể chặn trang mà bạn định cho phép.
Nếu trình thu thập có nhóm riêng, nó có còn theo User-agent: * không?
Không. Nhóm có tên thay thế hoàn toàn nhóm * đối với trình thu thập đó. Mọi quy tắc bạn muốn áp dụng cho tất cả phải được lặp lại trong từng nhóm có tên.
Nguồn tham khảo
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py