بررسی IP خزنده‌های هوش مصنوعی

یک نشانی IP از لاگ‌های سرور خود را بچسبانید تا ببینید آیا در بازه‌های IP رسمی منتشرشده یک خزنده هست یا نه. درخواستی که خود را GPTBot یا PerplexityBot معرفی می‌کند اما از نشانی دیگری می‌آید آن خزنده نیست و می‌توانید بدون از دست دادن دیده شدن در پاسخ‌های هوش مصنوعی مسدودش کنید.

کدام خزنده‌ها نشانی‌های IP خود را منتشر می‌کنند؟

OpenAI، Perplexity، Google، Microsoft و Apple بازه‌های IP خزنده‌های خود را به‌صورت فایل‌های JSON منتشر می‌کنند که ما هر روز آن‌ها را می‌خوانیم. برخی دیگر از شرکت‌های هوش مصنوعی بازه‌ای منتشر نمی‌کنند؛ برای آن‌ها DNS معکوس یا مستندات سازنده تنها راه بررسی است. برای دیدن همه بازدیدهای خزنده‌های هوش مصنوعی در یک لاگ به‌یک‌باره، لاگ را در حساب AISeeWhy خود بارگذاری کنید.

اجرای بررسی کامل ←

راهنما

نحوه استفاده از بررسی IP خزنده‌های هوش مصنوعی

این متن با ترجمه ماشینی از انگلیسی تهیه شده است.

این بررسی IP چه می‌کند

یک نشانی IPv4 یا IPv6 را از لاگ‌های سرور یا فایروال خود بچسبانید. بررسی آن را در بازه‌های IP که خود گردانندگان خزنده‌ها منتشر می‌کنند جستجو می‌کند: OpenAI برای GPTBot، OAI-SearchBot و ChatGPT-User، Perplexity برای PerplexityBot و Perplexity-User، Google برای Googlebot، Microsoft برای Bingbot و Apple برای Applebot. این فهرست‌های منتشرشده را روزانه می‌خوانیم. پاسخ هر خزنده‌ای را که بازه‌هایش شامل این نشانی است نام می‌برد، یا می‌گوید هیچ‌کدام نیست.

نتیجه را چطور بخوانید

چرا هر کسی می‌تواند ادعا کند GPTBot است

user agent یک خط متن است که کلاینت می‌فرستد و هر کسی می‌تواند GPTBot یا Googlebot را در آن بنویسد. اسکرپرها این کار را می‌کنند تا از فیلترهای ساده رد شوند. به همین دلیل فایروال‌هایی که فقط به user agent نگاه می‌کنند از هر دو طرف فریب می‌خورند: خزنده‌های جعلی را راه می‌دهند، یا قانونی که علیه یک خزنده جعلی نوشته شده خزنده واقعی را هم مسدود می‌کند. تطبیق نشانی IP با فهرست منتشرشده گرداننده راه تشخیص آن‌ها از هم است.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

تأیید خزنده‌هایی که در فهرست نیستند

برای خزنده‌هایی که گرداننده‌شان بازه‌ای منتشر نمی‌کند که ما بخوانیم، از مستندات خود گرداننده استفاده کنید. Google، Microsoft و Apple از بررسی DNS هم پشتیبانی می‌کنند: نام host نشانی را جستجو کنید، بررسی کنید که به دامنه گرداننده ختم شود، مثل googlebot.com، google.com، search.msn.com یا applebot.apple.com، سپس آن نام host را دوباره جستجو کنید و مطمئن شوید همان نشانی را برمی‌گرداند.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

اشتباه‌های رایج

از یک نشانی تا کل لاگ

این بررسی هر بار برای یک نشانی پاسخ می‌دهد. در حساب AISeeWhy شما، بررسی لاگ سرور در پلن‌های پولی کل یک لاگ دسترسی را می‌خواند، بازدیدهای هر خزنده هوش مصنوعی را می‌شمارد، خزنده‌های واقعی را با همین بازه‌های منتشرشده از جعلی‌ها جدا می‌کند و نشان می‌دهد سرور شما چطور به آن‌ها پاسخ داده است.

پرسش‌های متداول

آیا ClaudeBot در این بررسی ظاهر می‌شود؟

فعلاً نه: بررسی خزنده‌هایی را پوشش می‌دهد که فایل‌های بازه منتشرشده‌شان را می‌خوانیم و زیر نتیجه فهرست شده‌اند. برای خزنده‌های دیگر، مستندات گرداننده را دنبال کنید.

یک نشانی در بازه Googlebot است اما user agent چیز دیگری می‌گوید. این یعنی چه؟

درخواست از شبکه Google آمده است. Google چند خزنده و دریافت‌کننده دارد؛ user agent می‌گوید کدام بوده است. شخص ثالثی نبوده که خود را Google جا بزند.

آیا می‌توانم چند نشانی را یک‌جا بررسی کنم؟

با این ابزار رایگان نه. لاگ را در حساب خود بارگذاری کنید تا همه بازدیدهای آن بررسی شود.

آیا نشانی‌ای که وارد می‌کنم ذخیره می‌شود؟

برای پاسخ به بررسی استفاده می‌شود و همراه درخواست شما ذخیره نمی‌شود.

ابزارها و راهنماهای مرتبط