user agent และช่วง IP ของ AI crawler: GPTBot, ClaudeBot, PerplexityBot และอื่น ๆ
GPTBot ระบุตัวเองด้วย user agent ที่มี GPTBot/1.4; +https://openai.com/gptbot และ OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple และ Common Crawl ต่างเผยแพร่รายการช่วง IP ที่โปรแกรมรวบรวมข้อมูลของตนใช้เป็นไฟล์ JSON คำขอจะเป็นของจริงก็ต่อเมื่อตรงทั้งสองอย่าง: user agent ระบุชื่อโปรแกรมรวบรวมข้อมูล และ IP ต้นทางอยู่ในรายการของผู้ให้บริการรายนั้น หรือสำหรับ Googlebot, bingbot, Applebot และ CCBot ผ่านการตรวจ reverse DNS และ forward DNS ได้ user agent เพียงอย่างเดียวพิสูจน์อะไรไม่ได้ เพราะใครก็ส่งได้
เมื่อคุณเห็น GPTBot หรือ ClaudeBot ในล็อก หรือต้องการกฎไฟร์วอลล์ที่ให้โปรแกรมรวบรวมข้อมูลสำหรับการค้นหาด้วย AI ผ่านเข้ามา คุณต้องมีสองอย่าง คือสตริงที่โปรแกรมแต่ละตัวส่งมาอย่างแม่นยำ และวิธีพิสูจน์ว่าคำขอมาจากบริษัทที่ระบุชื่อจริง ด้านล่างคือสตริงตามที่ผู้ให้บริการแต่ละรายเผยแพร่ในปัจจุบัน รายการ IP อย่างเป็นทางการหรือวิธี DNS ของแต่ละราย และสคริปต์สองตัวที่คุณรันเพื่อตรวจที่อยู่ IP ได้
ในหน้านี้
- สตริง user agent ของ GPTBot, ClaudeBot, PerplexityBot และ AI crawler อื่น ๆ คืออะไร
- โปรแกรมรวบรวมข้อมูลตัวไหนทำอะไร และชื่อไหนเป็นแค่โทเค็นของ robots.txt
- ผู้ให้บริการ AI crawler เผยแพร่ช่วง IP ไว้ที่ไหน
- จะตรวจที่อยู่ IP กับรายการโปรแกรมรวบรวมข้อมูลอย่างเป็นทางการได้อย่างไร
- จะยืนยัน Googlebot, bingbot หรือ Applebot ด้วย reverse DNS ได้อย่างไร
- ทำไมการตรวจ user agent อย่างเดียวไม่พอสำหรับตรวจจับ GPTBot
- AISeeWhy ช่วยยืนยันทราฟฟิกจาก AI crawler ได้อย่างไร
สตริง user agent ของ GPTBot, ClaudeBot, PerplexityBot และ AI crawler อื่น ๆ คืออะไร
สตริงเหล่านี้คัดลอกมาจากเอกสารของผู้ให้บริการเอง OpenAI และ Perplexity ระบุว่าหมายเลขเวอร์ชันอาจเปลี่ยน Google และ Microsoft ใส่เวอร์ชันเบราว์เซอร์ปัจจุบันในตำแหน่ง W.X.Y.Z และ Apple ระบุว่าอัปเดตส่วนของเบราว์เซอร์เป็นครั้งคราว ให้จับคู่ด้วยโทเค็นของโปรแกรมรวบรวมข้อมูล เช่น GPTBot หรือ bingbot ไม่ใช่ทั้งสตริง
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 บทความช่วยเหลือของ Anthropic ระบุชื่อ ClaudeBot, Claude-SearchBot และ Claude-User แต่ไม่ได้พิมพ์สตริง user agent แบบเต็ม จึงให้จับคู่ด้วยโทเค็นเหล่านั้น หน้าโปรแกรมรวบรวมข้อมูลของ Meta แสดงสตริงที่ขึ้นต้นด้วยโทเค็นที่แสดงไว้ ตามด้วยลิงก์ไปยังเอกสารของ Meta และระบุว่าสตริงที่ปรากฏในล็อกของคุณอาจต่างไปเล็กน้อย
โปรแกรมรวบรวมข้อมูลตัวไหนทำอะไร และชื่อไหนเป็นแค่โทเค็นของ robots.txt
GPTBotรวบรวมเนื้อหาที่อาจใช้ฝึกโมเดลพื้นฐานของ OpenAIOAI-SearchBotทำให้เว็บไซต์ปรากฏในการค้นหาของ ChatGPTChatGPT-Userดึงหน้าสำหรับการกระทำที่ผู้ใช้เริ่ม และ OpenAI ระบุว่ากฎ robots.txt อาจไม่มีผลกับตัวนี้OAI-AdsBotตรวจหน้าที่ส่งมาเป็นโฆษณาใน ChatGPTClaudeBotรวบรวมข้อมูลสำหรับโมเดลของ AnthropicClaude-SearchBotปรับปรุงผลการค้นหา และClaude-Userดึงหน้าเมื่อมีคนถามคำถาม ClaudePerplexityBotทำให้เว็บไซต์ปรากฏและมีลิงก์ในการค้นหาของ Perplexity และไม่ได้ใช้ฝึกโมเดลพื้นฐานPerplexity-Userดึงหน้าเมื่อผู้ใช้ถามคำถามmeta-externalagentรวบรวมข้อมูลเพื่อฝึกโมเดล AI หรือจัดทำดัชนีเนื้อหาmeta-webindexerจัดทำดัชนีเนื้อหาสำหรับการค้นหาของ Meta AI และmeta-externalfetcherดึงลิงก์ตามคำขอของผู้ใช้CCBotคือโปรแกรมรวบรวมข้อมูลของ Common Crawl ซึ่งเป็นคลังเว็บสาธารณะ
มีสองชื่อที่ไม่มีวันปรากฏในล็อกของคุณ Google-Extended เป็นโทเค็นของ robots.txt ที่ควบคุมว่าเนื้อหาที่ Google รวบรวมจะใช้กับโมเดล Gemini และการอ้างอิงคำตอบ (grounding) ได้หรือไม่ Google ระบุว่าไม่มีผลต่อการแสดงใน Google Search ส่วน Applebot-Extended ตามคำของ Apple เป็น user agent รองที่ไม่ได้รวบรวมข้อมูลหน้าเว็บ มีหน้าที่เพียงตัดสินว่า Apple ใช้ข้อมูลที่ Applebot รวบรวมมาได้อย่างไร คำขอที่อ้างว่าเป็นตัวใดตัวหนึ่งในสองตัวนี้จึงไม่ใช่ของจริง
ผู้ให้บริการ AI crawler เผยแพร่ช่วง IP ไว้ที่ไหน
ผู้ให้บริการส่วนใหญ่เผยแพร่ไฟล์ JSON รูปแบบเดียวกัน: อาร์เรย์ prefixes ของออบเจกต์ที่มี ipv4Prefix หรือ ipv6Prefix พร้อม creationTime ที่บอกว่าไฟล์ใหม่แค่ไหน
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonและhttps://openai.com/adsbot.jsonหนึ่งไฟล์ต่อเอเจนต์ - Anthropic:
https://claude.com/crawling/bots.jsonรายการเดียวสำหรับโปรแกรมรวบรวมข้อมูลทั้งหมด Anthropic ระบุว่าที่อยู่ในรายการนี้แสดงว่าโปรแกรมมาจาก Anthropic และระบุด้วยว่าการบล็อกด้วย IP อาจไม่รับประกันการไม่ยินยอม (opt-out) ได้อย่างแน่นอน - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonและhttps://www.perplexity.ai/perplexity-user.json - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonสำหรับ Googlebot โดยมีไฟล์แยกสำหรับโปรแกรมรวบรวมข้อมูลกรณีพิเศษและตัวดึงข้อมูลที่ผู้ใช้เป็นผู้เรียก ใช้ reverse DNS ได้เช่นกัน - Apple:
https://search.developer.apple.com/applebot.jsonหรือ reverse DNS ในapplebot.apple.com - Common Crawl:
https://index.commoncrawl.org/ccbot.jsonสำหรับ IPv4 ยังแนะนำ reverse DNS ที่ยืนยันด้วย forward DNS ภายใต้crawl.commoncrawl.orgส่วนที่อยู่ IPv6 ไม่มี reverse DNS - Microsoft:
https://www.bing.com/toolbox/bingbot.jsonซึ่ง Bing ขอให้รีเฟรชทุกวันเพราะเปลี่ยนได้ตลอดเวลา หรือ reverse DNS ที่ลงท้ายด้วยsearch.msn.comBing ยังมีเครื่องมือ Verify Bingbot สาธารณะ - Meta: หน้าโปรแกรมรวบรวมข้อมูลของ Meta ไม่ได้เผยแพร่รายการ IP
จะตรวจที่อยู่ IP กับรายการโปรแกรมรวบรวมข้อมูลอย่างเป็นทางการได้อย่างไร
สคริปต์นี้โหลดแต่ละรายการแล้วรายงานว่ารายการใดมีที่อยู่นั้น ใช้แค่ Python 3 และรองรับทั้ง IPv4 และ IPv6
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF รายการเหล่านี้เปลี่ยนได้ แต่ละไฟล์มี creationTime ของตัวเอง Perplexity แนะนำให้อัปเดตกฎไฟร์วอลล์โดยอัตโนมัติ และ Bing ขอให้รีเฟรชรายการทุกวัน หากใช้รายการในไฟร์วอลล์ ให้ดึงตามกำหนดเวลาแทนการคัดลอกครั้งเดียว
จะยืนยัน Googlebot, bingbot หรือ Applebot ด้วย reverse DNS ได้อย่างไร
Google, Microsoft, Apple และ Common Crawl อธิบายการตรวจสองขั้นแบบเดียวกัน: ค้นชื่อของที่อยู่ IP ยืนยันว่าลงท้ายด้วยโดเมนของผู้ให้บริการ แล้วค้นชื่อนั้นและยืนยันว่าได้ IP เดิมกลับมา ทั้งสองขั้นสำคัญ เพราะผู้ที่ควบคุมช่วง IP ตั้งชื่อ reverse DNS อะไรก็ได้ แต่ทำให้โดเมนของผู้ให้บริการชี้กลับมาที่ IP นั้นไม่ได้
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google ยอมรับ googlebot.com, google.com และ googleusercontent.com สำหรับโปรแกรมรวบรวมข้อมูลประเภทต่าง ๆ ฟังก์ชันข้างต้นยอมรับเฉพาะ googlebot.com ซึ่งเป็นโดเมนที่ Googlebot ใช้ในตัวอย่างของ Google สำหรับโปรแกรมรวบรวมข้อมูลและตัวดึงข้อมูลอื่นของ Google ให้ใช้รายการ JSON การค้น DNS ใช้เวลา จึงควรรันตอนตรวจล็อกหรือแคชผลไว้ แทนการรันกับทุกคำขอสด
ทำไมการตรวจ user agent อย่างเดียวไม่พอสำหรับตรวจจับ GPTBot
user agent เป็นส่วนหัวที่ไคลเอนต์เลือกเอง ใครก็ส่ง GPTBot หรือ Googlebot ได้ Common Crawl เตือนว่ามีโปรแกรมรวบรวมข้อมูลบางตัวอ้างเท็จว่าเป็น CCBot และ Bing เผยแพร่คู่มือตรวจว่าทราฟฟิกที่อ้างว่าเป็น bingbot มาจาก Bing จริงหรือไม่ การตรวจจับ GPTBot ได้อย่างเชื่อถือได้หมายถึงตรวจทั้งสองอย่าง: โทเค็นใน user agent และ IP ต้นทางใน gptbot.json คำขอที่มีโทเค็นแต่มาจากที่อยู่ที่ไม่อยู่ในรายการคือตัวปลอม และการบล็อกคำขอนั้นไม่กระทบ OpenAI
กรณีกลับกันก็เกิดขึ้นได้ หากไฟร์วอลล์อนุญาตด้วย user agent อย่างเดียว ตัวปลอมก็เข้ามาได้ หากอนุญาตด้วยช่วง IP อย่างเดียว เอเจนต์ใดก็ตามจากเครือข่ายของผู้ให้บริการรายนั้นจะได้รับการปฏิบัติเหมือนกัน แม้แต่ตัวที่คุณตั้งใจจะบล็อก การจับคู่ทั้งสองอย่างคือกฎที่ไว้ใจได้
AISeeWhy ช่วยยืนยันทราฟฟิกจาก AI crawler ได้อย่างไร
เครื่องมือตรวจ IP ของ AI crawler ฟรีของ AISeeWhy บอกคุณโดยไม่ต้องมีบัญชีว่าที่อยู่ IP เป็นของ GPTBot หรือ AI crawler ตัวอื่นหรือไม่ จากนั้นการตรวจเว็บไซต์ฟรีจะขอหน้าของคุณในฐานะ crawler ของ AI และของการค้นหา 16 ตัวเทียบกับเบราว์เซอร์จริง คุณจึงเห็นว่าโปรแกรมรวบรวมข้อมูลตัวจริงจะได้รับอะไร
ขั้นตอนถัดไป
- ตัวทดสอบและตัวตรวจสอบ robots.txt สำหรับ AI crawler
- ตรวจ IP ของ AI crawler
- ดูตัวอย่างรายงานฉบับเต็ม
- การติดตาม AI crawler
- แพ็กเกจและราคา
Crawler ในบทความนี้
คำถามที่พบบ่อย
user agent ของ GPTBot คืออะไร
OpenAI เผยแพร่ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot และระบุว่าเวอร์ชันอาจเปลี่ยน ให้จับคู่ด้วย GPTBot และยืนยัน IP กับ https://openai.com/gptbot.json
user agent ของ OAI-SearchBot คืออะไร
สตริงแบบ Chrome ที่ลงท้ายด้วย compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ที่อยู่ IP อยู่ใน https://openai.com/searchbot.json OpenAI ใช้ตัวนี้ทำให้เว็บไซต์ปรากฏในการค้นหาของ ChatGPT ซึ่งเป็นงานต่างจาก GPTBot
Anthropic เผยแพร่ที่อยู่ IP ของ ClaudeBot ไหม
เผยแพร่ Anthropic ลิงก์ไปยัง https://claude.com/crawling/bots.json และระบุว่า IP ต้นทางที่อยู่ในรายการนั้นแสดงว่าโปรแกรมรวบรวมข้อมูลมาจาก Anthropic บทความช่วยเหลือระบุโทเค็นของบอท แต่ไม่มีสตริง user agent แบบเต็ม
จะเห็น Google-Extended หรือ Applebot-Extended ในล็อกได้ไหม
ไม่ได้ ทั้งสองเป็นโทเค็นของ robots.txt ไม่ใช่โปรแกรมรวบรวมข้อมูล Google และ Apple ดึงหน้าด้วย Googlebot และ Applebot และใช้โทเค็นเหล่านี้เพียงเพื่อตัดสินว่าเนื้อหาจะใช้กับ AI ได้อย่างไร
รายการที่อยู่ IP ของ bingbot อยู่ที่ไหน
Bing เผยแพร่ไว้ที่ https://www.bing.com/toolbox/bingbot.json และขอให้รีเฟรชทุกวัน คู่มือของ Bing เองแนะนำการตรวจ reverse DNS และ forward DNS โดยชื่อต้องลงท้ายด้วย search.msn.com
แหล่งอ้างอิง
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot