user agent و بازههای IP خزندههای هوش مصنوعی: GPTBot، ClaudeBot، PerplexityBot و بیشتر
GPTBot خود را با user agent حاوی GPTBot/1.4; +https://openai.com/gptbot معرفی میکند، و OpenAI، Anthropic، Perplexity، Google، Microsoft، Apple و Common Crawl هر کدام فهرستی JSON از بازههای IP خزندههایشان منتشر میکنند. یک درخواست فقط وقتی واقعی است که هر دو جور باشند: user agent نام خزنده را ببرد و IP مبدأ در فهرست همان شرکت باشد، یا برای Googlebot، bingbot، Applebot و CCBot از بررسی DNS معکوس و مستقیم بگذرد. user agent بهتنهایی چیزی را ثابت نمیکند، چون هر کسی میتواند آن را بفرستد.
وقتی GPTBot یا ClaudeBot را در لاگهایتان میبینید، یا قانون فایروالی میخواهید که خزندههای جستجوی هوش مصنوعی را راه بدهد، به دو چیز نیاز دارید: رشته دقیقی که هر خزنده میفرستد، و راهی برای اثبات اینکه درخواست واقعاً از شرکتی آمده که نامش را میبرد. در ادامه رشتهها همانطور که هر شرکت امروز منتشر کرده، فهرست رسمی IP یا روش DNS برای هر کدام، و دو اسکریپت برای بررسی یک نشانی آمده است.
در این صفحه
- رشتههای user agent رباتهای GPTBot، ClaudeBot، PerplexityBot و دیگر خزندههای هوش مصنوعی چیست؟
- کدام خزنده چه کاری میکند و کدام نامها فقط توکن robots.txt هستند؟
- شرکتهای سازنده خزندههای هوش مصنوعی بازههای IP خود را کجا منتشر میکنند؟
- چطور یک نشانی IP را با فهرستهای رسمی خزندهها مقایسه کنم؟
- چطور Googlebot، bingbot یا Applebot را با DNS معکوس تأیید کنم؟
- چرا بررسی user agent برای تشخیص GPTBot کافی نیست؟
- AISeeWhy چطور به تأیید ترافیک خزندههای هوش مصنوعی کمک میکند؟
رشتههای user agent رباتهای GPTBot، ClaudeBot، PerplexityBot و دیگر خزندههای هوش مصنوعی چیست؟
اینها از مستندات خود شرکتها کپی شدهاند. OpenAI و Perplexity یادآوری میکنند که شماره نسخهها ممکن است تغییر کند، Google و Microsoft نسخه فعلی مرورگر را جای W.X.Y.Z میگذارند، و Apple میگوید گاهی بخش مرورگر را بهروز میکند. روی توکن خزنده، مثل GPTBot یا bingbot، تطبیق دهید، نه روی کل رشته.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 مقاله راهنمای Anthropic از ClaudeBot، Claude-SearchBot و Claude-User نام میبرد اما رشته کامل user agent را نمیآورد، پس روی همین توکنها تطبیق دهید. صفحه خزندههای Meta رشتههایی را فهرست میکند که با توکنهای نشاندادهشده شروع میشوند و پس از آن لینکی به مستنداتش میآید، و میگوید رشتههایی که در لاگهای شما دیده میشوند ممکن است کمی متفاوت باشند.
کدام خزنده چه کاری میکند و کدام نامها فقط توکن robots.txt هستند؟
GPTBotمحتوایی را جمع میکند که ممکن است برای آموزش مدلهای پایه OpenAI استفاده شود.OAI-SearchBotسایتها را در جستجوی ChatGPT نمایش میدهد.ChatGPT-Userصفحهها را برای کارهایی که کاربر شروع میکند دریافت میکند و OpenAI میگوید قوانین robots.txt ممکن است روی آن اعمال نشوند.OAI-AdsBotصفحههایی را که بهعنوان تبلیغ ChatGPT ارسال شدهاند بررسی میکند.ClaudeBotداده برای مدلهای Anthropic جمع میکند،Claude-SearchBotنتایج جستجو را بهبود میدهد وClaude-Userوقتی کسی از Claude پرسشی میپرسد صفحهها را دریافت میکند.PerplexityBotسایتها را در جستجوی Perplexity نمایش میدهد و به آنها لینک میدهد و برای آموزش مدلهای پایه استفاده نمیشود.Perplexity-Userوقتی کاربری پرسشی میپرسد صفحهها را دریافت میکند.meta-externalagentبرای آموزش مدلهای هوش مصنوعی یا ایندکس کردن محتوا میخزد،meta-webindexerمحتوا را برای جستجوی Meta AI ایندکس میکند وmeta-externalfetcherلینکها را به درخواست کاربر دریافت میکند.CCBotخزنده Common Crawl است، یک بایگانی عمومی وب.
دو نام هرگز در لاگهای شما دیده نمیشوند. Google-Extended یک توکن robots.txt است که کنترل میکند آیا محتوایی که Google میخزد میتواند برای مدلهای Gemini و پشتوانه پاسخها (grounding) استفاده شود؛ Google میگوید روی حضور در Google Search اثری ندارد. Applebot-Extended به گفته Apple یک user agent ثانویه است که صفحههای وب را نمیخزد؛ فقط تعیین میکند Apple چطور میتواند از دادههایی که Applebot جمع کرده استفاده کند. درخواستی که ادعا کند یکی از این دو است، واقعی نیست.
شرکتهای سازنده خزندههای هوش مصنوعی بازههای IP خود را کجا منتشر میکنند؟
بیشتر شرکتها یک فایل JSON با ساختار یکسان منتشر میکنند: آرایه prefixes از اشیایی با ipv4Prefix یا ipv6Prefix، بهعلاوه creationTime که نشان میدهد فایل چقدر تازه است.
- OpenAI:
https://openai.com/gptbot.json،https://openai.com/searchbot.json،https://openai.com/chatgpt-user.jsonوhttps://openai.com/adsbot.json، یکی برای هر عامل. - Anthropic:
https://claude.com/crawling/bots.json، یک فهرست برای همه خزندههایش. Anthropic میگوید نشانیای که در این فهرست باشد نشان میدهد خزنده از Anthropic است، و همچنین میگوید مسدود کردن IP ممکن است بهطور قابل اعتماد خروج شما را تضمین نکند. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonوhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonبرای Googlebot، با فایلهای جداگانه برای خزندههای ویژه و دریافتکنندههایی که کاربر آنها را فعال میکند. DNS معکوس هم کار میکند. - Apple:
https://search.developer.apple.com/applebot.json، یا DNS معکوس درapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. برای IPv4 همچنین DNS معکوس تأییدشده با جستجوی مستقیم را زیرcrawl.commoncrawl.orgتوصیه میکند؛ نشانیهای IPv6 DNS معکوس ندارند. - Microsoft:
https://www.bing.com/toolbox/bingbot.jsonکه Bing از شما میخواهد هر روز دوباره دریافتش کنید چون ممکن است هر زمان تغییر کند، یا DNS معکوسی که بهsearch.msn.comختم شود. Bing ابزار عمومی Verify Bingbot را هم ارائه میکند. - Meta: صفحه خزندههایش فهرست IP منتشر نمیکند.
چطور یک نشانی IP را با فهرستهای رسمی خزندهها مقایسه کنم؟
این اسکریپت هر فهرست را بارگذاری میکند و گزارش میدهد کدامیک شامل نشانی است. فقط به Python 3 نیاز دارد و IPv4 و IPv6 را پشتیبانی میکند.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF فهرستها تغییر میکنند. هر فایل creationTime خودش را دارد، Perplexity توصیه میکند بهروزرسانی قوانین فایروال را خودکار کنید و Bing از شما میخواهد فهرستش را هر روز دوباره دریافت کنید. اگر از فهرستها در فایروال استفاده میکنید، آنها را طبق برنامه دریافت کنید، نه اینکه یک بار کپی کنید.
چطور Googlebot، bingbot یا Applebot را با DNS معکوس تأیید کنم؟
Google، Microsoft، Apple و Common Crawl همان بررسی دومرحلهای را مستند کردهاند: نام نشانی IP را جستجو کنید، تأیید کنید که به دامنه آن شرکت ختم میشود، سپس همان نام را جستجو کنید و تأیید کنید که همان IP را برمیگرداند. هر دو مرحله لازم است، چون هر کسی که یک بازه IP را در اختیار دارد میتواند هر نام DNS معکوسی را تنظیم کند، اما نمیتواند دامنه آن شرکت را وادار کند به آن برگردد.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google برای انواع خزندههایش googlebot.com، google.com و googleusercontent.com را میپذیرد؛ تابع بالا فقط googlebot.com را میپذیرد که در مثالهای Google خود Googlebot از آن استفاده میکند. برای خزندهها و دریافتکنندههای دیگر Google از فهرستهای JSON آن استفاده کنید. جستجوهای DNS زمان میبرند، پس آنها را هنگام بررسی لاگها اجرا کنید یا نتیجه را کش کنید، نه روی هر درخواست زنده.
چرا بررسی user agent برای تشخیص GPTBot کافی نیست؟
user agent هدری است که کلاینت انتخاب میکند، پس هر کسی میتواند GPTBot یا Googlebot بفرستد. Common Crawl هشدار میدهد که برخی خزندهها به دروغ خود را CCBot معرفی میکنند، و Bing راهنمایی منتشر کرده تا بررسی کنید ترافیکی که ادعا میکند bingbot است واقعاً از Bing میآید یا نه. تشخیص قابل اعتماد GPTBot یعنی بررسی هر دو: توکن در user agent و IP مبدأ در gptbot.json. درخواستی با این توکن از نشانیای خارج از فهرست، جعلی است و مسدود کردنش روی OpenAI اثری ندارد.
عکس آن هم پیش میآید. اگر فایروال شما فقط user agent را مجاز کند، جعلکنندگان وارد میشوند؛ اگر فقط بازه IP را مجاز کند، هر عاملی از شبکه آن شرکت همان رفتار را میگیرد، حتی عاملی که میخواستید مسدود شود. تطبیق هر دو قانون قابل اعتماد است.
AISeeWhy چطور به تأیید ترافیک خزندههای هوش مصنوعی کمک میکند؟
بررسی رایگان IP خزندههای هوش مصنوعی در AISeeWhy بدون نیاز به حساب به شما میگوید یک نشانی IP متعلق به GPTBot یا خزنده هوش مصنوعی دیگری هست یا نه. سپس بررسی رایگان سایت صفحه شما را در نقش 16 خزنده هوش مصنوعی و جستجو در کنار یک مرورگر واقعی درخواست میکند تا ببینید خزندههای واقعی چه چیزی دریافت میکنند.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
user agent ربات GPTBot چیست؟
OpenAI رشته Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot را منتشر کرده و یادآوری میکند که نسخه ممکن است تغییر کند. روی GPTBot تطبیق دهید و IP را با https://openai.com/gptbot.json تأیید کنید.
user agent ربات OAI-SearchBot چیست؟
رشتهای به سبک Chrome که به compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ختم میشود. نشانیهایش در https://openai.com/searchbot.json فهرست شدهاند. OpenAI از آن برای نمایش سایتها در جستجوی ChatGPT استفاده میکند که کاری متفاوت از کار GPTBot است.
آیا Anthropic نشانیهای IP ربات ClaudeBot را منتشر میکند؟
بله. Anthropic به https://claude.com/crawling/bots.json لینک میدهد و میگوید IP مبدأیی که در این فهرست باشد نشان میدهد خزنده از Anthropic است. مقاله راهنمای آن توکنهای ربات را نام میبرد اما رشته کامل user agent را نه.
آیا میتوانم Google-Extended یا Applebot-Extended را در لاگهایم ببینم؟
نه. هر دو توکن robots.txt هستند، نه خزنده. Google و Apple صفحهها را با Googlebot و Applebot دریافت میکنند و از این توکنها فقط برای تعیین نحوه استفاده از محتوا برای هوش مصنوعی استفاده میکنند.
فهرست نشانیهای IP ربات bingbot کجاست؟
Bing آن را در https://www.bing.com/toolbox/bingbot.json منتشر میکند و از شما میخواهد هر روز دوباره دریافتش کنید. راهنمای خود Bing بررسی DNS معکوس و مستقیم را توصیه میکند که در آن نام باید به search.msn.com ختم شود.
منابع
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot