Claude มองเห็นเว็บไซต์ของฉันไหม วิธีตรวจสอบ

เผยแพร่เมื่อ · อัปเดตเมื่อ

คำตอบสั้น ๆ

Claude จะอ่านหน้าเว็บของคุณได้ก็ต่อเมื่อ robots.txt อนุญาตเอเจนต์ของ Anthropic และเซิร์ฟเวอร์ส่ง HTML ชุดเดียวกับที่เบราว์เซอร์ได้รับให้เอเจนต์เหล่านั้น ตรวจว่า robots.txt ไม่ได้ห้าม Claude-SearchBot หรือ Claude-User ไฟร์วอลล์ไม่ได้ตอบกลับด้วย 403 หรือหน้าตรวจสอบ และข้อความหลักอยู่ใน HTML ตั้งต้น จากนั้นทดสอบกับ Claude โดยตรง: เปิดการค้นหาเว็บ วาง URL ของคุณในแชต แล้วถามคำถามที่ผู้ซื้อของคุณถาม

ถ้าคุณถาม Claude เกี่ยวกับผลิตภัณฑ์ของคุณแล้วมันอ้างอิงเว็บไซต์อื่น คำถามแรกคือมันเข้าถึงเว็บไซต์ของคุณได้หรือเปล่า คำถามนี้มีคำตอบที่ทดสอบได้ Anthropic เผยแพร่โทเค็น robots.txt ของเอเจนต์และที่อยู่ IP ที่เอเจนต์ใช้ และ Claude แสดงแหล่งที่มาที่ใช้ คุณจึงตรวจได้ทีละขั้น: robots.txt บอกอะไร เซิร์ฟเวอร์ส่งอะไร ล็อกบันทึกอะไร และ Claude ทำอะไรกับหน้าเว็บเมื่อคุณให้หน้านั้นไป

ในหน้านี้
  1. ตรวจใน 5 นาที ทีละขั้นตอน
  2. Claude อ่านเว็บไซต์อย่างไร
  3. จะตรวจผ่าน robots.txt ได้อย่างไรว่า Claude เข้าถึงเว็บไซต์ของฉันได้
  4. จะทดสอบได้อย่างไรว่าเอเจนต์ของ Claude ได้รับอะไรจากเซิร์ฟเวอร์ของฉัน
  5. จะดูได้อย่างไรว่า Claude เข้ามาที่เว็บไซต์ของฉันจริงหรือไม่
  6. จะทดสอบ Claude กับหน้าเว็บของฉันโดยตรงได้อย่างไร
  7. ถ้า Claude อ่านหน้าของฉันได้แต่ยังไม่อ้างอิงล่ะ
  8. AISeeWhy ตรวจเรื่องนี้อย่างไร

ตรวจใน 5 นาที ทีละขั้นตอน

  1. เปิด robots.txt ของคุณแล้วตรวจว่าไม่มีกลุ่มสำหรับ Claude-SearchBot, Claude-User หรือ User-agent: * ที่ห้ามหน้านั้น ClaudeBot มีผลเฉพาะกับการเทรน
  2. เรียกใช้การตรวจฟรีของหน้านั้นบน AISeeWhy หรือส่งคำขอหนึ่งครั้งด้วย user agent Claude-User: ต้องได้สถานะ 200 และข้อความเดียวกับที่เบราว์เซอร์ได้รับ
  3. ค้นหา Claude-SearchBot และ Claude-User ใน access log ของคุณ แล้วดูรหัสสถานะที่ทั้งสองได้รับ
  4. วาง URL ของคุณใน Claude โดยเปิดการค้นหาเว็บ ขอให้สรุปหน้านั้น จากนั้นถามคำถามที่ผู้ซื้อของคุณถามและตรวจการอ้างอิง

หากขั้นตอนที่ 1 หรือ 2 ไม่ผ่าน ให้แก้การเข้าถึงก่อน หัวข้อด้านล่างอธิบายวิธีแก้ หาก Claude อ่านหน้าได้แต่ไม่อ้างอิง ให้ปรับปรุงเนื้อหา

Claude อ่านเว็บไซต์อย่างไร

Claude เข้าถึงเว็บได้สองทาง เมื่อเปิดการค้นหาเว็บ มันจะค้นหาเมื่อคำถามต้องใช้ข้อมูลล่าสุด ดูแหล่งที่มาหลายแห่ง และตอบพร้อมการอ้างอิง ศูนย์ช่วยเหลือของ Anthropic ระบุว่าทุกคำตอบที่ใช้การค้นหาเว็บมีการอ้างอิง และเมื่อมีคนให้ลิงก์เฉพาะแก่ Claude มันเปิดหน้านั้นได้โดยตรง

Anthropic ระบุเอเจนต์สามตัวสำหรับงานนี้ แต่ละตัวมีโทเค็น robots.txt ของตัวเอง Claude-SearchBot รวบรวมข้อมูลเพื่อปรับปรุงผลการค้นหาของ Claude Claude-User ดึงหน้าเมื่อคำถามของผู้ใช้ต้องการ และ ClaudeBot เก็บเนื้อหาที่อาจนำไปใช้เทรน คู่มือแยกของเราเรื่อง crawler สามตัวของ Anthropic อธิบายรายละเอียดของแต่ละตัว สำหรับการถูกอ่านและถูกอ้างอิง ให้ตรวจสองตัวแรก

ข้อจำกัดที่ต้องบอกตรง ๆ: Anthropic ไม่ได้ระบุว่าการค้นหาเว็บของ Claude ใช้ดัชนีการค้นหาใดหรือเลือกแหล่งที่มาอย่างไร แต่ระบุว่าการบล็อก Claude-SearchBot อาจลดการมองเห็นของคุณในผลการค้นหา และการบล็อก Claude-User ทำให้ดึงหน้าเพื่อตอบคำถามผู้ใช้ไม่ได้ การอนุญาตทั้งสองตัวทำให้การอ้างอิงเป็นไปได้ แต่ไม่ได้รับประกัน

จะตรวจผ่าน robots.txt ได้อย่างไรว่า Claude เข้าถึงเว็บไซต์ของฉันได้

เปิด https://yourdomain.com/robots.txt แล้วหากลุ่มที่ระบุชื่อ Claude-SearchBot หรือ Claude-User ถ้าไม่มีชื่อใดเลย ทั้งสองตัวจะทำตามกลุ่ม User-agent: * ตาม RFC 9309 การจับคู่โทเค็นไม่สนตัวพิมพ์เล็กใหญ่ และ Disallow: / ในกลุ่มที่ใช้บังคับจะปิดทั้งเว็บไซต์สำหรับเอเจนต์นั้น

ตรวจการตอบกลับด้วย robots.txt ที่ตอบกลับเป็นข้อผิดพลาดของเซิร์ฟเวอร์จะทำให้ crawler ถือว่าห้ามทุกอย่าง ส่วน 404 หมายถึงไม่มีกฎ คำสั่งสองคำสั่งนี้แสดงสถานะและทุกกลุ่มในไฟล์:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic ระบุว่ากฎต้องอยู่ใน robots.txt ที่ระดับบนสุดของแต่ละซับโดเมน ดังนั้น blog.example.com ต้องมีไฟล์ของตัวเอง การบล็อกแบบนี้ไม่ได้หายาก ในการศึกษาโดเมนยอดนิยม 1,000 อันดับแรกของเรา จาก 518 เว็บไซต์ที่มี robots.txt มี 67 แห่ง (12.9%) ที่ห้าม Claude-SearchBot เข้าหน้าแรก 68 แห่ง (13.1%) ห้าม Claude-User และ 110 แห่ง (21.2%) ห้าม crawler สำหรับการเทรน ClaudeBot

จะทดสอบได้อย่างไรว่าเอเจนต์ของ Claude ได้รับอะไรจากเซิร์ฟเวอร์ของฉัน

robots.txt เป็นคำขอ ไม่ใช่การควบคุมการเข้าถึง ไฟร์วอลล์ CDN หรือระบบป้องกันบอทอาจตอบเอเจนต์ของ Anthropic ด้วย 403, 429 หรือหน้าตรวจสอบ ขณะที่เบราว์เซอร์ของคุณเห็นหน้าเว็บตามปกติ Anthropic ระบุว่าบอทของตนจะไม่พยายามผ่าน CAPTCHA หน้าตรวจสอบจึงทำให้การเข้าชมจบลงตรงนั้น

ขอ URL เดียวกันด้วย user agent ของเบราว์เซอร์และด้วยโทเค็นของ Anthropic แต่ละตัว แล้วเทียบสถานะและขนาด:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

หน้าช่วยเหลือของ Anthropic ระบุชื่อโทเค็นแต่ไม่ได้เผยแพร่สตริง user agent เต็ม สตริงเหล่านี้จึงเป็นสตริงทดสอบ ไม่ใช่ของจริงของ Anthropic สตริงเหล่านี้แสดงว่ากฎที่จับคู่จากชื่อปฏิบัติต่อคำขออย่างไร ถ้าได้ 403, 429 หรือ 503 เฉพาะบรรทัดของ Claude หรือได้ 200 ที่เล็กกว่าของเบราว์เซอร์มาก แสดงว่าปัญหาอยู่ที่ไฟร์วอลล์

การทดสอบของคุณมาจาก IP ของคุณเอง Anthropic ระบุว่าคำขอจากที่อยู่ในรายการที่ claude.com/crawling/bots.json มาจาก Anthropic ถ้าไฟร์วอลล์อนุญาต crawler ที่ยืนยันแล้วตาม IP เอเจนต์จริงอาจผ่านได้ขณะที่การทดสอบของคุณถูกบล็อก และกลับกันก็เป็นไปได้ ใช้รายการนี้เพื่ออนุญาต Anthropic ไม่ใช่เพื่อบล็อก: Anthropic ไม่แนะนำการบล็อกตาม IP เพราะจะทำให้บอทของตนอ่าน robots.txt ของคุณไม่ได้ด้วย

จะดูได้อย่างไรว่า Claude เข้ามาที่เว็บไซต์ของฉันจริงหรือไม่

ล็อกการเข้าถึงตอบคำถามนี้ได้โดยตรง ค้นหาโทเค็นทั้งสามตัว แล้วตรวจว่าที่อยู่ต้นทางอยู่ในช่วงที่ Anthropic เผยแพร่ เพราะใครก็คัดลอกชื่อ user agent ได้:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

คำสั่งแรกสมมติว่าใช้รูปแบบล็อก combined ทั่วไป ซึ่งฟิลด์ 1 คือที่อยู่ไคลเอนต์และฟิลด์ 9 คือรหัสสถานะ ถ้ามีรหัส 403 หรือ 429 จำนวนมากข้างเอเจนต์ของ Anthropic แสดงว่าเป็นปัญหาไฟร์วอลล์ ส่วนการไม่มีการเข้าชมจาก Claude-SearchBot เลย หมายความเพียงว่ามันยังไม่ได้รวบรวมหน้าเหล่านั้น หรือมีบางอย่างหยุดมันไว้ก่อนหน้านั้น

จะทดสอบ Claude กับหน้าเว็บของฉันโดยตรงได้อย่างไร

เปิดแชตแล้ววาง URL ของหน้าหนึ่งพร้อมคำขอ เช่น "สรุปหน้านี้" ศูนย์ช่วยเหลือของ Anthropic ระบุว่าเมื่อเปิดการค้นหาเว็บ Claude เปิดลิงก์ที่คุณให้ได้ ถ้าการค้นหาเว็บปิดอยู่ ให้เปิดจากเมนู + ส่วนใน Claude รุ่นใหม่ของ Anthropic ไม่มีสวิตช์ และ Claude จะค้นหาเมื่อเป็นประโยชน์ ในแพ็กเกจ Team และ Enterprise เจ้าของต้องเปิดการค้นหาเว็บให้องค์กรก่อน ถ้า Claude เปิดหน้าของคุณไม่ได้ขณะที่เบราว์เซอร์เปิดได้ ให้กลับไปที่การทดสอบไฟร์วอลล์

จากนั้นถามคำถามที่ผู้ซื้อของคุณถาม โดยไม่เอ่ยชื่อเว็บไซต์ของคุณ แล้วเปิดแหล่งที่มาที่ถูกอ้างอิง Anthropic ระบุว่า Claude อาจใช้ตำแหน่งที่อนุมานจากที่อยู่ IP ของคุณเพื่อให้ผลลัพธ์ตามท้องถิ่น คำตอบจึงอาจต่างกันตามสถานที่และในแต่ละครั้ง

นักพัฒนาทำซ้ำได้ผ่าน Claude API เครื่องมือค้นหาเว็บรับรายการ allowed_domains คำขอที่จำกัดไว้ที่โดเมนของคุณจึงแสดงว่าการค้นหาของ Claude คืนหน้าใดของคุณสำหรับคำถามนั้นหรือไม่:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

ผลการค้นหาที่ว่างเปล่าหมายความว่าการค้นหาของ Claude ไม่พบอะไรบนโดเมนนั้นสำหรับคำถามนั้น Anthropic คิดค่าการค้นหาเว็บผ่าน API เพิ่มจากค่าโทเค็น เครื่องมือ web fetch ของ API ยังบอกด้วยว่าทำไมอ่านหน้าไม่ได้: url_not_allowed ครอบคลุมการบล็อกอย่าง robots.txt และ url_not_accessible หมายถึงข้อผิดพลาด HTTP คำตอบผ่าน API อาจต่างจากที่แอป Claude แสดง

ถ้า Claude อ่านหน้าของฉันได้แต่ยังไม่อ้างอิงล่ะ

ก่อนอื่นตรวจให้แน่ใจว่าข้อความที่ต้องใช้อยู่ใน HTML ที่เซิร์ฟเวอร์ส่ง เอกสาร API ของ Anthropic ระบุว่าเครื่องมือ web fetch ไม่รองรับเว็บไซต์ที่เรนเดอร์ด้วย JavaScript และ Anthropic ไม่ได้บอกว่า crawler ของตนเรนเดอร์สคริปต์ ดึงหน้าของคุณด้วย curl แล้วค้นหาประโยคหนึ่งจากเนื้อหาหลักในผลลัพธ์ ถ้าไม่พบ การเรนเดอร์ฝั่งเซิร์ฟเวอร์หรือ prerendering จะแก้ปัญหานี้ได้ทั้งสำหรับ Claude และ AI crawler ส่วนใหญ่

หลังจากนั้น ตัวหน้าเว็บเป็นตัวตัดสิน ใส่คำตอบของคำถามหลักของหน้าไว้ในประโยคแรก ๆ ใช้หัวข้อที่ตรงกับคำถามที่คนถาม ระบุชื่อผู้เผยแพร่และแสดงวันที่ จากนั้นเทียบหน้าของคุณกับหน้าที่ Claude อ้างอิงสำหรับคำถามเดียวกัน: หน้าที่ถูกอ้างอิงมักตอบคำถามนั้นตรงกว่า

AISeeWhy ตรวจเรื่องนี้อย่างไร

การตรวจฟรีของ AISeeWhy ดึงหน้าของคุณในฐานะ Claude-SearchBot, Claude-User, ClaudeBot และ crawler ของ AI และของการค้นหาตัวอื่น เทียบกับเบราว์เซอร์จริง ใช้ robots.txt ของคุณกับแต่ละตัว จดจำหน้าตรวจสอบ และแสดงว่ามีข้อความมาถึงเท่าไรโดยไม่ใช้ JavaScript การตรวจการมองเห็นใน AI ซึ่งมีในแพ็กเกจแบบชำระเงิน ถามคำถามของคุณผ่าน Claude โดยเปิดการค้นหาเว็บด้วยคีย์ API ของคุณเอง และแสดงว่าแบรนด์หรือโดเมนของคุณถูกกล่าวถึงหรือถูกอ้างอิงหรือไม่

เครื่องมือฟรี

ขั้นตอนถัดไป

Crawler ในบทความนี้

คำถามที่พบบ่อย

ตรวจฟรีได้ไหมว่า Claude มองเห็นเว็บไซต์ของฉันหรือไม่

ได้ robots.txt ของคุณ คำขอ curl ล็อกเซิร์ฟเวอร์ และการถามคำถามใน Claude ไม่มีค่าใช้จ่าย การตรวจฟรีของ AISeeWhy ทดสอบเอเจนต์ของ Anthropic และโปรแกรมรวบรวมข้อมูลอื่นอีก 13 ตัวได้วันละหนึ่งหน้าโดยไม่ต้องมีบัญชี

ทำไม Claude เปิดเว็บไซต์ของฉันไม่ได้เมื่อวางลิงก์

สาเหตุที่พบบ่อยคือไฟร์วอลล์หรือระบบป้องกันบอทที่ตอบเอเจนต์ของ Anthropic ด้วย 403 หรือหน้าตรวจสอบ กฎใน robots.txt ที่ห้าม Claude-User หรือหน้าที่ข้อความปรากฏหลัง JavaScript ทำงานเท่านั้น ทดสอบ URL ด้วย curl ในฐานะเบราว์เซอร์และด้วยโทเค็นของ Claude แล้วตรวจล็อกหาคำขอที่ถูกบล็อก

Anthropic เผยแพร่สตริง user agent ที่ใช้ทดสอบได้ไหม

หน้าช่วยเหลือเรื่อง crawler ของ Anthropic แสดงโทเค็น ClaudeBot, Claude-SearchBot และ Claude-User แต่ไม่มีสตริง user agent เต็ม หากต้องการแยกทราฟฟิกจริงของ Anthropic จากตัวปลอม ให้เทียบ IP ต้นทางกับรายการที่ claude.com/crawling/bots.json

การเปลี่ยน robots.txt ใช้เวลานานแค่ไหนกว่าจะถึง Claude

Anthropic ไม่ได้ระบุเวลา RFC 9309 ระบุว่า crawler ไม่ควรใช้ robots.txt ที่แคชไว้นานเกิน 24 ชั่วโมง จึงควรรออย่างน้อยหนึ่งวันก่อนประเมินผลในล็อกหรือในคำตอบของ Claude

Claude API ให้คำตอบเหมือนแอป Claude ไหม

ไม่จำเป็น แอปอาจใช้ตำแหน่งโดยประมาณของคุณและการตั้งค่าของแอปเอง ส่วนคำขอ API ใช้เครื่องมือและพารามิเตอร์ที่คุณส่ง ให้ถือผลจาก API เป็นการทดสอบที่ทำซ้ำได้ ไม่ใช่สำเนาของสิ่งที่ผู้ใช้แต่ละคนเห็น

จะรู้ได้อย่างไรว่า Claude กล่าวถึงแบรนด์ของฉันหรือไม่

ถาม Claude โดยเปิดการค้นหาเว็บไว้ ด้วยคำถามที่ผู้ซื้อของคุณถาม แล้วจดว่ามันเอ่ยชื่อหรืออ้างอิงเว็บไซต์ของคุณหรือไม่ และมีคู่แข่งรายใดปรากฏแทน ถามแต่ละคำถามซ้ำตลอดหลายสัปดาห์ เพราะคำตอบเปลี่ยนไปได้ การตรวจการมองเห็นใน AI ของ AISeeWhy ทำเช่นนี้ทุกสัปดาห์ผ่าน Claude API ด้วยคีย์ของคุณ เทียบกับคู่แข่งได้สูงสุดสี่ราย

แหล่งอ้างอิง

บทความอื่น ๆ