user agents וטווחי IP של סורקי AI: GPTBot, ClaudeBot, PerplexityBot ועוד
GPTBot מזדהה עם user agent שמכיל GPTBot/1.4; +https://openai.com/gptbot, ו-OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ו-Common Crawl מפרסמות כל אחת רשימת JSON של טווחי ה-IP שהסורקים שלהן משתמשים בהם. בקשה אמיתית רק כששניהם תואמים: ה-user agent מציין את הסורק וכתובת המקור נמצאת ברשימה של הספק, או, עבור Googlebot, bingbot, Applebot ו-CCBot, עוברת בדיקת DNS הפוך וקדמי. user agent לבדו לא מוכיח דבר, כי כל אחד יכול לשלוח אותו.
כשאתם רואים GPTBot או ClaudeBot בלוגים, או רוצים כלל חומת אש שמעביר סורקי חיפוש של AI, אתם צריכים שני דברים: את המחרוזת המדויקת שכל סורק שולח, ודרך להוכיח שבקשה הגיעה מהחברה שהיא מציינת. למטה המחרוזות כפי שכל ספק מפרסם אותן היום, רשימת ה-IP הרשמית או שיטת ה-DNS של כל אחד, ושני סקריפטים שאפשר להריץ כדי לבדוק כתובת.
בעמוד זה
- מהן מחרוזות ה-user agent של GPTBot, ClaudeBot, PerplexityBot וסורקי AI אחרים?
- איזה סורק עושה מה, ואילו שמות הם רק טוקנים של robots.txt?
- איפה ספקי סורקי ה-AI מפרסמים את טווחי ה-IP שלהם?
- איך בודקים כתובת IP מול רשימות הסורקים הרשמיות?
- איך מאמתים את Googlebot, bingbot או Applebot עם DNS הפוך?
- למה בדיקת user agent לא מספיקה כדי לזהות את GPTBot?
- איך AISeeWhy יכול לעזור לאמת תנועה של סורקי AI?
מהן מחרוזות ה-user agent של GPTBot, ClaudeBot, PerplexityBot וסורקי AI אחרים?
הן הועתקו מהתיעוד של הספקים עצמם. OpenAI ו-Perplexity מציינות שמספרי הגרסה יכולים להשתנות, Google ו-Microsoft שמות את גרסת הדפדפן הנוכחית במקום שבו מופיע W.X.Y.Z, ו-Apple אומרת שהיא מעדכנת מדי פעם את חלק הדפדפן. התאימו לפי הטוקן של הסורק, כמו GPTBot או bingbot, ולא לפי המחרוזת כולה.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 מאמר העזרה של Anthropic מציין את ClaudeBot, Claude-SearchBot ו-Claude-User אבל לא מדפיס מחרוזות user agent מלאות, אז התאימו לפי הטוקנים האלה. עמוד הסורקים של Meta מפרט מחרוזות שמתחילות בטוקנים שמוצגים, ואחריהם קישור לתיעוד שלה, ואומר שהמחרוזות שהלוגים שלכם מציגים עשויות להשתנות מעט.
איזה סורק עושה מה, ואילו שמות הם רק טוקנים של robots.txt?
GPTBotאוסף תוכן שעשוי לשמש לאימון מודלי היסוד של OpenAI.OAI-SearchBotמציג אתרים בחיפוש של ChatGPT.ChatGPT-Userמביא עמודים עבור פעולות שמשתמש יוזם, ו-OpenAI אומרת שכללי robots.txt עשויים לא לחול עליו.OAI-AdsBotבודק עמודים שהוגשו כפרסומות ב-ChatGPT.ClaudeBotאוסף נתונים עבור המודלים של Anthropic,Claude-SearchBotמשפר תוצאות חיפוש, ו-Claude-Userמביא עמודים כשאדם שואל את Claude שאלה.PerplexityBotמציג אתרים ומקשר אליהם בחיפוש של Perplexity ואינו משמש לאימון מודלי יסוד.Perplexity-Userמביא עמודים כשמשתמש שואל שאלה.meta-externalagentסורק לאימון מודלי AI או לאינדוקס תוכן,meta-webindexerמאנדקס תוכן לחיפוש של Meta AI, ו-meta-externalfetcherמביא קישורים לבקשת משתמש.CCBotהוא הסורק של Common Crawl, ארכיון רשת ציבורי.
שני שמות לעולם לא מופיעים בלוגים. Google-Extended הוא טוקן של robots.txt שקובע אם תוכן ש-Google סורקת יכול לשמש למודלי Gemini ול-grounding; Google אומרת שהוא לא משפיע על ההכללה ב-Google Search. Applebot-Extended הוא, במילים של Apple, user agent משני שאינו סורק עמודי אינטרנט; הוא רק קובע איך Apple רשאית להשתמש בנתונים ש-Applebot אסף. בקשה שמתיימרת להיות אחד מהם אינה אמיתית.
איפה ספקי סורקי ה-AI מפרסמים את טווחי ה-IP שלהם?
רוב הספקים מפרסמים קובץ JSON באותו מבנה: מערך prefixes של אובייקטים עם ipv4Prefix או ipv6Prefix, ועוד creationTime שמראה עד כמה הוא עדכני.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonו-https://openai.com/adsbot.json, אחד לכל סוכן. - Anthropic:
https://claude.com/crawling/bots.json, רשימה אחת לכל הסורקים שלה. Anthropic אומרת שכתובת ברשימה הזאת מראה שהסורק מגיע מ-Anthropic, וגם שחסימת IP עשויה לא להבטיח באופן אמין יציאה. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonו-https://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonעבור Googlebot, עם קבצים נפרדים לסורקים למקרים מיוחדים ולמביאים שמופעלים על ידי משתמשים. גם DNS הפוך עובד. - Apple:
https://search.developer.apple.com/applebot.json, או DNS הפוך ב-applebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. עבור IPv4 היא ממליצה גם על DNS הפוך עם אישור קדמי תחתcrawl.commoncrawl.org; לכתובות IPv6 אין DNS הפוך. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, ש-Bing מבקשת לרענן מדי יום כי הוא יכול להשתנות בכל רגע, או DNS הפוך שמסתיים ב-search.msn.com. Bing מציעה גם כלי ציבורי בשם Verify Bingbot. - Meta: עמוד הסורקים שלה לא מפרסם רשימת IP.
איך בודקים כתובת IP מול רשימות הסורקים הרשמיות?
הסקריפט הזה טוען כל רשימה ומדווח איזו מהן מכילה את הכתובת. הוא צריך רק Python 3, ומטפל ב-IPv4 וב-IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF הרשימות משתנות. לכל קובץ יש creationTime משלו, Perplexity ממליצה להפוך את עדכון כללי חומת האש לאוטומטי, ו-Bing מבקשת לרענן את הרשימה שלה מדי יום. אם אתם משתמשים ברשימות בחומת אש, הביאו אותן לפי לוח זמנים במקום להעתיק אותן פעם אחת.
איך מאמתים את Googlebot, bingbot או Applebot עם DNS הפוך?
Google, Microsoft, Apple ו-Common Crawl מתעדות את אותה בדיקה בשני שלבים: מחפשים את השם של כתובת ה-IP, מוודאים שהוא מסתיים בדומיין של הספק, ואז מחפשים את השם הזה ומוודאים שהוא מחזיר את אותה כתובת IP. שני השלבים חשובים, כי מי ששולט בטווח IP יכול להגדיר כל שם DNS הפוך שירצה, אבל לא יכול לגרום לדומיין של הספק להצביע בחזרה אליו.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google מקבלת את googlebot.com, google.com ו-googleusercontent.com בכל סוגי הסורקים שלה; הפונקציה שלמעלה מקבלת רק את googlebot.com, שבו Googlebot עצמו משתמש בדוגמאות של Google. עבור שאר הסורקים והמביאים של Google, השתמשו ברשימות ה-JSON שלה. חיפושי DNS לוקחים זמן, אז הריצו אותם כשאתם עוברים על לוגים או שמרו את התוצאה במטמון, ולא בכל בקשה חיה.
למה בדיקת user agent לא מספיקה כדי לזהות את GPTBot?
ה-user agent הוא כותרת שהלקוח בוחר, כך שכל אחד יכול לשלוח GPTBot או Googlebot. Common Crawl מזהירה שחלק מהסורקים מתחזים בכזב ל-CCBot, ו-Bing מפרסמת מדריך לבדיקה אם תנועה שמתיימרת להיות bingbot באמת מגיעה מ-Bing. זיהוי אמין של GPTBot פירושו לבדוק את שניהם: את הטוקן ב-user agent ואת כתובת המקור ב-gptbot.json. בקשה עם הטוקן מכתובת שאינה ברשימה היא מתחזה, וחסימתה לא משפיעה על OpenAI.
גם ההפך קורה. אם חומת האש שלכם מתירה רק לפי user agent, מתחזים נכנסים; אם היא מתירה רק לפי טווח IP, כל סוכן מהרשת של הספק הזה מקבל את אותו יחס, גם כזה שהתכוונתם לחסום. התאמה של שניהם היא הכלל האמין.
איך AISeeWhy יכול לעזור לאמת תנועה של סורקי AI?
בדיקת ה-IP החינמית של AISeeWhy לסורקי AI אומרת לכם, בלי חשבון, אם כתובת IP שייכת ל-GPTBot או לסורק AI אחר. הבדיקה החינמית של האתר מבקשת אחר כך את העמוד שלכם בתור 16 סורקי AI וחיפוש לצד דפדפן אמיתי, כך שאפשר לראות מה הסורקים האמיתיים היו מקבלים.
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
מה ה-user agent של GPTBot?
OpenAI מפרסמת את Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ומציינת שהגרסה עשויה להשתנות. התאימו לפי GPTBot ואמתו את ה-IP מול https://openai.com/gptbot.json.
מה ה-user agent של OAI-SearchBot?
מחרוזת בסגנון Chrome שמסתיימת ב-compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. הכתובות שלו מפורטות ב-https://openai.com/searchbot.json. OpenAI משתמשת בו כדי להציג אתרים בחיפוש של ChatGPT, וזה תפקיד שונה מזה של GPTBot.
האם Anthropic מפרסמת את כתובות ה-IP של ClaudeBot?
כן. Anthropic מקשרת ל-https://claude.com/crawling/bots.json ואומרת שכתובת מקור ברשימה הזאת מראה שהסורק מגיע מ-Anthropic. מאמר העזרה שלה מציין את טוקני הבוטים אבל לא מחרוזות user agent מלאות.
אפשר לראות את Google-Extended או את Applebot-Extended בלוגים שלי?
לא. שניהם טוקנים של robots.txt, לא סורקים. Google ו-Apple מביאות עמודים עם Googlebot ו-Applebot ומשתמשות בטוקנים האלה רק כדי להחליט איך מותר להשתמש בתוכן עבור AI.
איפה רשימת כתובות ה-IP של bingbot?
Bing מפרסמת אותה ב-https://www.bing.com/toolbox/bingbot.json ומבקשת לרענן אותה מדי יום. המדריך שלה ממליץ על בדיקת DNS הפוך וקדמי, שבה השם חייב להסתיים ב-search.msn.com.
מקורות
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot