Claude có thấy website của tôi không? Cách kiểm tra
Claude chỉ đọc được trang của bạn nếu robots.txt cho phép các tác nhân của Anthropic và máy chủ gửi cho chúng cùng HTML mà trình duyệt nhận được. Hãy kiểm tra robots.txt không cấm Claude-SearchBot hay Claude-User, tường lửa không trả lời chúng bằng mã 403 hoặc trang thử thách, và văn bản chính nằm trong HTML ban đầu. Sau đó thử với chính Claude: dán URL của bạn vào một cuộc trò chuyện và hỏi những câu khách hàng của bạn hay hỏi khi đã bật tìm kiếm web.
Nếu bạn hỏi Claude về sản phẩm của mình mà nó lại trích dẫn các website khác, câu hỏi đầu tiên là liệu nó có vào được website của bạn hay không. Câu hỏi này có đáp án kiểm tra được. Anthropic công bố token robots.txt của các tác nhân và địa chỉ IP mà chúng dùng, còn Claude cho thấy những nguồn nó đã dùng. Vì vậy bạn có thể kiểm tra lần lượt từng bước: robots.txt nói gì, máy chủ gửi gì, nhật ký ghi lại gì, và Claude làm gì với một trang khi bạn đưa nó cho Claude.
Trong trang này
- Kiểm tra trong 5 phút, từng bước một
- Claude đọc website như thế nào?
- Làm sao kiểm tra Claude có truy cập được website của tôi qua robots.txt?
- Làm sao kiểm tra các tác nhân của Claude nhận được gì từ máy chủ của tôi?
- Làm sao biết Claude có thực sự truy cập website của tôi không?
- Làm sao thử trang của tôi với chính Claude?
- Nếu Claude đọc được trang nhưng vẫn không trích dẫn thì sao?
- AISeeWhy kiểm tra việc này như thế nào?
Kiểm tra trong 5 phút, từng bước một
- Mở robots.txt và bảo đảm không có nhóm nào cho
Claude-SearchBot,Claude-UserhayUser-agent: *chặn trang.ClaudeBotchỉ liên quan đến huấn luyện. - Chạy kiểm tra miễn phí cho trang trên AISeeWhy hoặc gửi một yêu cầu với user agent
Claude-User: yêu cầu phải nhận mã trạng thái 200 và cùng văn bản mà trình duyệt nhận được. - Tìm
Claude-SearchBotvàClaude-Usertrong nhật ký truy cập và xem các mã trạng thái chúng nhận được. - Dán URL của bạn vào Claude khi đã bật tìm kiếm web, yêu cầu tóm tắt trang, rồi hỏi một câu khách hàng của bạn hay hỏi và kiểm tra các trích dẫn.
Nếu bước 1 hoặc 2 không đạt, hãy sửa quyền truy cập trước; các phần bên dưới chỉ cách làm. Nếu Claude đọc được trang nhưng không trích dẫn, hãy cải thiện nội dung.
Claude đọc website như thế nào?
Claude tiếp cận web theo hai cách. Với tìm kiếm web, Claude tìm kiếm khi câu hỏi cần thông tin mới, xem xét nhiều nguồn và trả lời kèm trích dẫn. Trung tâm trợ giúp của Anthropic cho biết mọi câu trả lời có dùng tìm kiếm web đều kèm trích dẫn. Khi ai đó đưa cho Claude một liên kết cụ thể, Claude có thể mở trực tiếp trang đó.
Anthropic mô tả ba tác nhân cho việc này, mỗi tác nhân có token robots.txt riêng. Claude-SearchBot thu thập dữ liệu để cải thiện kết quả tìm kiếm của Claude, Claude-User tải trang khi câu hỏi của người dùng cần đến, còn ClaudeBot thu thập nội dung có thể được dùng để huấn luyện. Bài hướng dẫn riêng của chúng tôi về ba trình thu thập dữ liệu của Anthropic giải thích chi tiết từng tác nhân. Để được đọc và trích dẫn, hai tác nhân đầu là những tác nhân cần kiểm tra.
Một giới hạn cần nói rõ: Anthropic không công bố tìm kiếm web của Claude dùng chỉ mục tìm kiếm nào hay chọn nguồn ra sao. Anthropic cho biết chặn Claude-SearchBot có thể làm giảm khả năng hiển thị của bạn trong kết quả tìm kiếm, còn chặn Claude-User sẽ ngăn việc truy xuất trang cho câu hỏi của người dùng. Cho phép cả hai giúp việc được trích dẫn trở nên khả thi, nhưng không đảm bảo điều đó.
Làm sao kiểm tra Claude có truy cập được website của tôi qua robots.txt?
Mở https://yourdomain.com/robots.txt và tìm các nhóm có nêu tên Claude-SearchBot hoặc Claude-User. Nếu không có tên nào, cả hai sẽ theo nhóm User-agent: *. Theo RFC 9309, việc so khớp token không phân biệt chữ hoa chữ thường, và một dòng Disallow: / trong nhóm áp dụng sẽ đóng toàn bộ website với tác nhân đó.
Hãy kiểm tra cả phản hồi. Nếu robots.txt trả về lỗi máy chủ, trình thu thập dữ liệu sẽ coi như mọi thứ đều bị cấm. Mã 404 có nghĩa là không có quy tắc nào. Hai lệnh sau cho thấy mã trạng thái và mọi nhóm trong tệp:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic cho biết quy tắc phải nằm trong robots.txt ở cấp cao nhất của từng tên miền phụ, nên blog.example.com cần tệp riêng. Những lệnh chặn này không hiếm. Trong nghiên cứu của chúng tôi về 1.000 tên miền phổ biến nhất, trong số 518 website có robots.txt, 67 website (12,9%) cấm trang chủ đối với Claude-SearchBot và 68 website (13,1%) đối với Claude-User, trong khi 110 website (21,2%) cấm trình thu thập dữ liệu huấn luyện ClaudeBot.
Làm sao kiểm tra các tác nhân của Claude nhận được gì từ máy chủ của tôi?
robots.txt là một lời đề nghị, không phải cơ chế kiểm soát truy cập. Tường lửa, CDN hoặc lớp chống bot có thể trả lời các tác nhân của Anthropic bằng mã 403, 429 hoặc một trang thử thách, trong khi trình duyệt của bạn vẫn thấy trang bình thường. Anthropic cho biết bot của họ sẽ không tìm cách vượt qua CAPTCHA, nên một trang thử thách sẽ kết thúc lượt truy cập.
Yêu cầu cùng một URL với user agent của trình duyệt và với từng token của Anthropic, rồi so sánh mã trạng thái và kích thước:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Trang trợ giúp của Anthropic nêu tên các token nhưng không công bố chuỗi user agent đầy đủ, nên đây là chuỗi thử nghiệm, không phải chuỗi thật của Anthropic. Chúng cho thấy các quy tắc so khớp theo tên xử lý yêu cầu ra sao. Mã 403, 429 hoặc 503 chỉ ở các dòng Claude, hoặc mã 200 nhưng nhỏ hơn nhiều so với của trình duyệt, cho thấy vấn đề nằm ở tường lửa.
Bài kiểm tra của bạn đến từ địa chỉ IP của chính bạn. Anthropic cho biết các yêu cầu từ địa chỉ nằm trong danh sách tại claude.com/crawling/bots.json là của Anthropic. Nếu tường lửa cho phép trình thu thập dữ liệu đã xác minh theo IP, các tác nhân thật có thể đi qua trong khi bài kiểm tra của bạn bị chặn, và điều ngược lại cũng có thể xảy ra. Hãy dùng danh sách này để cho phép Anthropic, không phải để chặn: Anthropic khuyên không nên chặn theo IP vì làm vậy cũng khiến bot của họ không đọc được robots.txt của bạn.
Làm sao biết Claude có thực sự truy cập website của tôi không?
Nhật ký truy cập trả lời trực tiếp câu hỏi này. Tìm ba token trong nhật ký, rồi kiểm tra địa chỉ nguồn có nằm trong các dải IP mà Anthropic công bố hay không, vì ai cũng có thể sao chép tên user agent:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Lệnh đầu tiên giả định định dạng nhật ký combined phổ biến, trong đó trường 1 là địa chỉ máy khách và trường 9 là mã trạng thái. Nhiều mã 403 hoặc 429 bên cạnh các tác nhân của Anthropic xác nhận vấn đề tường lửa. Hoàn toàn không có lượt truy cập nào từ Claude-SearchBot chỉ có nghĩa là nó chưa thu thập những trang đó, hoặc có thứ gì đó chặn nó từ trước.
Làm sao thử trang của tôi với chính Claude?
Mở một cuộc trò chuyện và dán URL của một trang trên website kèm yêu cầu như “Tóm tắt trang này”. Trung tâm trợ giúp của Anthropic cho biết khi bật tìm kiếm web, Claude có thể mở các liên kết bạn cung cấp. Nếu tìm kiếm web đang tắt, hãy bật nó trong menu +; trong trải nghiệm Claude mới hơn của Anthropic không có nút bật tắt và Claude tự tìm kiếm khi cần. Với gói Team và Enterprise, chủ sở hữu phải bật tìm kiếm web cho tổ chức trước. Nếu Claude không mở được trang trong khi trình duyệt mở được, hãy quay lại bài kiểm tra tường lửa.
Sau đó hỏi những câu khách hàng của bạn hay hỏi, không nêu tên website của bạn, và mở các nguồn được trích dẫn. Anthropic cho biết Claude có thể dùng vị trí suy ra từ địa chỉ IP của bạn để đưa ra kết quả theo khu vực, nên câu trả lời có thể khác nhau theo nơi và giữa các lần chạy.
Nhà phát triển có thể lặp lại việc này qua Claude API. Công cụ tìm kiếm web nhận danh sách allowed_domains, nên một yêu cầu giới hạn trong tên miền của bạn sẽ cho thấy tìm kiếm của Claude có trả về trang nào của bạn cho một câu hỏi hay không:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Kết quả tìm kiếm trống nghĩa là tìm kiếm của Claude không tìm thấy gì trên tên miền đó cho câu hỏi này. Anthropic tính phí cho mỗi lượt tìm kiếm web qua API, ngoài phí token. Công cụ web fetch của API cũng cho biết lý do không đọc được một trang: url_not_allowed bao gồm các lệnh chặn như robots.txt, còn url_not_accessible nghĩa là có lỗi HTTP. Câu trả lời qua API có thể khác với những gì ứng dụng Claude hiển thị.
Nếu Claude đọc được trang nhưng vẫn không trích dẫn thì sao?
Trước hết hãy chắc chắn văn bản cần thiết nằm trong HTML mà máy chủ gửi đi. Tài liệu API của Anthropic cho biết công cụ web fetch không hỗ trợ website được hiển thị bằng JavaScript, và Anthropic không nói rằng trình thu thập dữ liệu của họ chạy script. Tải trang bằng curl và tìm trong kết quả một câu từ nội dung chính. Nếu không có, kết xuất phía máy chủ (SSR) hoặc prerender sẽ khắc phục điều này cho Claude và cho hầu hết các trình thu thập dữ liệu AI khác.
Sau đó, chính trang của bạn là yếu tố quyết định. Đặt câu trả lời cho câu hỏi chính của trang trong những câu đầu tiên, dùng tiêu đề khớp với câu hỏi mọi người hay hỏi, nêu tên nhà xuất bản và hiển thị ngày tháng. Rồi so sánh trang của bạn với trang Claude trích dẫn cho cùng câu hỏi: trang được trích dẫn thường trả lời đúng câu hỏi đó trực tiếp hơn.
AISeeWhy kiểm tra việc này như thế nào?
Bước kiểm tra miễn phí của AISeeWhy tải trang của bạn dưới danh nghĩa Claude-SearchBot, Claude-User, ClaudeBot cùng các trình thu thập dữ liệu AI và tìm kiếm khác, bên cạnh một trình duyệt thật, áp dụng robots.txt cho từng trình, nhận diện trang thử thách và cho thấy bao nhiêu văn bản đến được khi không có JavaScript. Tính năng kiểm tra mức độ hiển thị trong AI, có trong các gói trả phí, đặt câu hỏi của bạn qua Claude có bật tìm kiếm web bằng khóa API của chính bạn và cho thấy thương hiệu hoặc tên miền của bạn có được nhắc đến hay trích dẫn không.
Bước tiếp theo
- Trình kiểm tra robots.txt cho trình thu thập AI
- Kiểm tra IP của trình thu thập AI
- Xem ví dụ báo cáo đầy đủ
- Giám sát trình thu thập AI
- Gói và giá
Các trình thu thập trong bài này
Câu hỏi thường gặp
Tôi có thể kiểm tra miễn phí xem Claude có thấy website của tôi không?
Có. robots.txt, một yêu cầu curl, nhật ký máy chủ và một câu hỏi trong Claude đều miễn phí. Bản kiểm tra miễn phí của AISeeWhy thử các agent của Anthropic và 13 trình thu thập dữ liệu khác cho một trang mỗi ngày, không cần tài khoản.
Vì sao Claude không mở được website của tôi khi tôi dán liên kết?
Nguyên nhân thường gặp là tường lửa hoặc lớp chống bot trả lời các tác nhân của Anthropic bằng mã 403 hay trang thử thách, một quy tắc robots.txt cấm Claude-User, hoặc trang có văn bản chỉ xuất hiện sau khi JavaScript chạy. Hãy thử URL bằng curl với tư cách trình duyệt và với các token của Claude, rồi xem nhật ký để tìm các yêu cầu bị chặn.
Anthropic có công bố chuỗi user agent để tôi thử nghiệm không?
Trang trợ giúp về trình thu thập dữ liệu của Anthropic liệt kê các token ClaudeBot, Claude-SearchBot và Claude-User nhưng không có chuỗi user agent đầy đủ. Để phân biệt lưu lượng thật của Anthropic với kẻ giả mạo, hãy so sánh IP nguồn với danh sách tại claude.com/crawling/bots.json.
Thay đổi robots.txt mất bao lâu để đến được Claude?
Anthropic không đưa ra thời gian. RFC 9309 nói trình thu thập dữ liệu không nên dùng bản robots.txt lưu trong bộ nhớ đệm quá 24 giờ, nên hãy chờ ít nhất một ngày trước khi đánh giá kết quả trong nhật ký hoặc trong câu trả lời của Claude.
Claude API có cho câu trả lời giống ứng dụng Claude không?
Không nhất thiết. Ứng dụng có thể dùng vị trí gần đúng của bạn và các thiết lập riêng, còn yêu cầu API dùng các công cụ và tham số bạn gửi. Hãy coi kết quả API là một bài kiểm tra lặp lại được, không phải bản sao những gì mỗi người dùng thấy.
Làm sao biết Claude có nhắc đến thương hiệu của tôi không?
Hãy hỏi Claude, khi đã bật tìm kiếm web, những câu khách hàng của bạn hay hỏi, và ghi lại nó có nêu tên hay trích dẫn website của bạn không và những đối thủ nào xuất hiện thay vào đó. Lặp lại mỗi câu hỏi trong vài tuần vì câu trả lời thay đổi. Tính năng kiểm tra mức độ hiển thị trong AI của AISeeWhy làm việc này hằng tuần qua Claude API bằng khóa của bạn, bên cạnh tối đa bốn đối thủ.
Nguồn tham khảo
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: danh sách địa chỉ IP của trình thu thập dữ liệu (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: Báo cáo quyền truy cập của trình thu thập dữ liệu AI, 2026-11