وكلاء المستخدم ونطاقات IP لزواحف الذكاء الاصطناعي: GPTBot وClaudeBot وPerplexityBot وغيرها
يعرّف GPTBot نفسه بوكيل مستخدم يحتوي على GPTBot/1.4; +https://openai.com/gptbot، وتنشر كل من OpenAI وAnthropic وPerplexity وGoogle وMicrosoft وApple وCommon Crawl قائمة JSON بنطاقات IP التي تستخدمها زواحفها. لا يكون الطلب حقيقياً إلا إذا تطابق الأمران: وكيل المستخدم يسمّي الزاحف، وعنوان IP المصدر موجود في قائمة الجهة المالكة، أو، في حالة Googlebot وbingbot وApplebot وCCBot، يجتاز فحص DNS العكسي ثم الأمامي. وكيل المستخدم وحده لا يثبت شيئاً، لأن أي أحد يستطيع إرساله.
حين ترى GPTBot أو ClaudeBot في سجلاتك، أو تريد قاعدة جدار حماية تسمح بمرور زواحف بحث الذكاء الاصطناعي، تحتاج إلى أمرين: السلسلة الدقيقة التي يرسلها كل زاحف، وطريقة لإثبات أن الطلب جاء فعلاً من الشركة التي يسمّيها. فيما يلي السلاسل كما تنشرها كل جهة اليوم، وقائمة IP الرسمية أو طريقة DNS لكل منها، وسكربتان تشغّلهما لفحص عنوان.
في هذه الصفحة
- ما سلاسل وكيل المستخدم لـ GPTBot وClaudeBot وPerplexityBot وغيرها من زواحف الذكاء الاصطناعي؟
- أي زاحف يفعل ماذا، وأي الأسماء مجرد رموز في robots.txt؟
- أين تنشر الجهات المالكة لزواحف الذكاء الاصطناعي نطاقات IP الخاصة بها؟
- كيف أفحص عنوان IP مقابل قوائم الزواحف الرسمية؟
- كيف أتحقق من Googlebot أو bingbot أو Applebot عبر DNS العكسي؟
- لماذا لا يكفي فحص وكيل المستخدم لاكتشاف GPTBot؟
- كيف يساعد AISeeWhy في التحقق من زيارات زواحف الذكاء الاصطناعي؟
ما سلاسل وكيل المستخدم لـ GPTBot وClaudeBot وPerplexityBot وغيرها من زواحف الذكاء الاصطناعي؟
هذه منسوخة من وثائق الجهات نفسها. تنبّه OpenAI وPerplexity إلى أن أرقام الإصدارات قد تتغير، وتضع Google وMicrosoft إصدار المتصفح الحالي في موضع W.X.Y.Z، وتقول Apple إنها تحدّث جزء المتصفح أحياناً. طابِق على رمز الزاحف، مثل GPTBot أو bingbot، لا على السلسلة كاملة.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 تسمّي مقالة المساعدة من Anthropic الرموز ClaudeBot وClaude-SearchBot وClaude-User لكنها لا تطبع سلاسل وكيل المستخدم الكاملة، فطابِق على هذه الرموز. وتسرد صفحة زواحف Meta سلاسل تبدأ بالرموز المعروضة يليها رابط إلى وثائقها، وتقول إن السلاسل التي تظهر في سجلاتك قد تختلف قليلاً.
أي زاحف يفعل ماذا، وأي الأسماء مجرد رموز في robots.txt؟
- يجمع
GPTBotمحتوى قد يُستخدم لتدريب النماذج الأساسية لدى OpenAI. ويُظهرOAI-SearchBotالمواقع في بحث ChatGPT. ويجلبChatGPT-Userالصفحات لإجراءات يبدؤها المستخدم، وتقول OpenAI إن قواعد robots.txt قد لا تنطبق عليه. ويفحصOAI-AdsBotالصفحات المقدّمة كإعلانات في ChatGPT. - يجمع
ClaudeBotالبيانات لنماذج Anthropic، ويحسّنClaude-SearchBotنتائج البحث، ويجلبClaude-Userالصفحات حين يطرح شخص سؤالاً على Claude. - يُظهر
PerplexityBotالمواقع ويربط بها في بحث Perplexity ولا يُستخدم لتدريب النماذج الأساسية. ويجلبPerplexity-Userالصفحات حين يطرح مستخدم سؤالاً. - يزحف
meta-externalagentلتدريب نماذج الذكاء الاصطناعي أو فهرسة المحتوى، ويفهرسmeta-webindexerالمحتوى لبحث Meta AI، ويجلبmeta-externalfetcherالروابط بطلب من المستخدم. CCBotهو زاحف Common Crawl، وهو أرشيف عام للويب.
اسمان لا يظهران في سجلاتك أبداً. Google-Extended رمز في robots.txt يتحكم في ما إذا كان المحتوى الذي تزحف إليه Google يمكن استخدامه لنماذج Gemini وللإسناد (grounding)؛ وتقول Google إنه لا يؤثر في الظهور في بحث Google. وApplebot-Extended، بتعبير Apple، وكيل مستخدم ثانوي لا يزحف إلى صفحات الويب؛ بل يحدد فقط كيف يجوز لـ Apple استخدام البيانات التي جمعها Applebot. وأي طلب يدّعي أنه أحدهما ليس حقيقياً.
أين تنشر الجهات المالكة لزواحف الذكاء الاصطناعي نطاقات IP الخاصة بها؟
تنشر معظم الجهات ملف JSON بالشكل نفسه: مصفوفة prefixes من كائنات فيها ipv4Prefix أو ipv6Prefix، إضافة إلى creationTime يخبرك بمدى حداثة الملف.
- OpenAI:
https://openai.com/gptbot.jsonوhttps://openai.com/searchbot.jsonوhttps://openai.com/chatgpt-user.jsonوhttps://openai.com/adsbot.json، ملف لكل وكيل. - Anthropic:
https://claude.com/crawling/bots.json، قائمة واحدة لزواحفها. تقول Anthropic إن العنوان الموجود في هذه القائمة يدل على أن الزاحف من Anthropic، وتقول أيضاً إن حظر IP قد لا يضمن رفضاً موثوقاً. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonوhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonلـ Googlebot، مع ملفات منفصلة للزواحف ذات الأغراض الخاصة ولأدوات الجلب التي يطلقها المستخدم. ويعمل DNS العكسي أيضاً. - Apple:
https://search.developer.apple.com/applebot.json، أو DNS العكسي ضمنapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. وبالنسبة إلى IPv4 توصي أيضاً بـ DNS عكسي مؤكَّد أمامياً ضمنcrawl.commoncrawl.org؛ أما عناوين IPv6 فليس لها DNS عكسي. - Microsoft:
https://www.bing.com/toolbox/bingbot.json، ويطلب Bing تحديثه يومياً لأنه قد يتغير في أي وقت، أو DNS عكسي ينتهي بـsearch.msn.com. ويقدّم Bing أيضاً أداة عامة اسمها Verify Bingbot. - Meta: لا تنشر صفحة زواحفها قائمة IP.
كيف أفحص عنوان IP مقابل قوائم الزواحف الرسمية؟
يحمّل هذا السكربت كل قائمة ويخبرك أيها تحتوي العنوان. لا يحتاج إلا إلى Python 3، ويتعامل مع IPv4 وIPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF القوائم تتغير. يحمل كل ملف creationTime خاصاً به، وتوصي Perplexity بأتمتة تحديث قواعد جدار الحماية، ويطلب Bing تحديث قائمته يومياً. إذا استخدمت القوائم في جدار حماية، فاجلبها وفق جدول زمني بدلاً من نسخها مرة واحدة.
كيف أتحقق من Googlebot أو bingbot أو Applebot عبر DNS العكسي؟
توثّق Google وMicrosoft وApple وCommon Crawl الفحص نفسه على خطوتين: ابحث عن الاسم المرتبط بعنوان IP، وتأكد من أنه ينتهي بنطاق الجهة المالكة، ثم ابحث عن ذلك الاسم وتأكد من أنه يعيد عنوان IP نفسه. الخطوتان مهمتان، لأن من يتحكم في نطاق IP يستطيع أن يضع له أي اسم DNS عكسي يشاء، لكنه لا يستطيع أن يجعل نطاق الجهة المالكة يشير إليه.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified تقبل Google النطاقات googlebot.com وgoogle.com وgoogleusercontent.com بحسب نوع الزاحف؛ والدالة أعلاه لا تقبل إلا googlebot.com، وهو ما يستخدمه Googlebot نفسه في أمثلة Google. أما زواحف Google الأخرى وأدوات الجلب فاستخدم لها قوائم JSON. وعمليات بحث DNS تستغرق وقتاً، فشغّلها عند مراجعة السجلات أو خزّن النتيجة، بدلاً من تشغيلها مع كل طلب مباشر.
لماذا لا يكفي فحص وكيل المستخدم لاكتشاف GPTBot؟
وكيل المستخدم ترويسة يختارها العميل، فأي أحد يستطيع إرسال GPTBot أو Googlebot. تحذّر Common Crawl من أن بعض الزواحف تدّعي زوراً أنها CCBot، وينشر Bing دليلاً للتحقق مما إذا كانت الزيارات التي تدّعي أنها bingbot تأتي فعلاً من Bing. واكتشاف GPTBot بشكل موثوق يعني فحص الأمرين: الرمز في وكيل المستخدم وعنوان IP المصدر في gptbot.json. والطلب الذي يحمل الرمز من عنوان غير مدرج منتحِل، وحظره لا يؤثر في OpenAI.
والعكس يحدث أيضاً. إذا سمح جدار الحماية بوكيل مستخدم فقط، دخل المنتحلون؛ وإذا سمح بنطاق IP فقط، عومل أي وكيل من شبكة تلك الجهة المعاملة نفسها، حتى الوكيل الذي أردت حظره. ومطابقة الاثنين هي القاعدة الموثوقة.
كيف يساعد AISeeWhy في التحقق من زيارات زواحف الذكاء الاصطناعي؟
يخبرك فحص IP المجاني لزواحف الذكاء الاصطناعي في AISeeWhy، دون حساب، ما إذا كان عنوان IP يعود إلى GPTBot أو زاحف ذكاء اصطناعي آخر. ثم يطلب فحص الموقع المجاني صفحتك بصفتها 16 زاحف ذكاء اصطناعي وبحث إلى جانب متصفح حقيقي، فترى ما ستتلقاه الزواحف الحقيقية.
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فحص عناوين IP لزواحف الذكاء الاصطناعي
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
الأسئلة الشائعة
ما وكيل المستخدم لـ GPTBot؟
تنشر OpenAI السلسلة Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot وتنبّه إلى أن الإصدار قد يتغير. طابِق على GPTBot وتحقق من عنوان IP في https://openai.com/gptbot.json.
ما وكيل المستخدم لـ OAI-SearchBot؟
سلسلة على نمط Chrome تنتهي بـ compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. وعناوينه مدرجة في https://openai.com/searchbot.json. تستخدمه OpenAI لإظهار المواقع في بحث ChatGPT، وهي مهمة مختلفة عن مهمة GPTBot.
هل تنشر Anthropic عناوين IP الخاصة بـ ClaudeBot؟
نعم. تربط Anthropic بالملف https://claude.com/crawling/bots.json وتقول إن عنوان IP المصدر الموجود في تلك القائمة يدل على أن الزاحف من Anthropic. وتسمّي مقالة المساعدة لديها رموز البوتات دون سلاسل وكيل المستخدم الكاملة.
هل يمكن أن أرى Google-Extended أو Applebot-Extended في سجلاتي؟
لا. كلاهما رمز في robots.txt وليس زاحفاً. تجلب Google وApple الصفحات بـ Googlebot وApplebot، ولا تستخدمان هذين الرمزين إلا لتحديد كيف يجوز استخدام المحتوى في الذكاء الاصطناعي.
أين قائمة عناوين IP الخاصة بـ bingbot؟
ينشرها Bing في https://www.bing.com/toolbox/bingbot.json ويطلب تحديثها يومياً. ويوصي دليله بفحص DNS العكسي ثم الأمامي، حيث يجب أن ينتهي الاسم بـ search.msn.com.
المصادر
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot