یک نشانی IP از لاگهای سرور خود را بچسبانید تا ببینید آیا در بازههای IP رسمی منتشرشده یک خزنده هست یا نه. درخواستی که خود را GPTBot یا PerplexityBot معرفی میکند اما از نشانی دیگری میآید آن خزنده نیست و میتوانید بدون از دست دادن دیده شدن در پاسخهای هوش مصنوعی مسدودش کنید.
کدام خزندهها نشانیهای IP خود را منتشر میکنند؟
OpenAI، Perplexity، Google، Microsoft و Apple بازههای IP خزندههای خود را بهصورت فایلهای JSON منتشر میکنند که ما هر روز آنها را میخوانیم. برخی دیگر از شرکتهای هوش مصنوعی بازهای منتشر نمیکنند؛ برای آنها DNS معکوس یا مستندات سازنده تنها راه بررسی است. برای دیدن همه بازدیدهای خزندههای هوش مصنوعی در یک لاگ بهیکباره، لاگ را در حساب AISeeWhy خود بارگذاری کنید.
یک نشانی IPv4 یا IPv6 را از لاگهای سرور یا فایروال خود بچسبانید. بررسی آن را در بازههای IP که خود گردانندگان خزندهها منتشر میکنند جستجو میکند: OpenAI برای GPTBot، OAI-SearchBot و ChatGPT-User، Perplexity برای PerplexityBot و Perplexity-User، Google برای Googlebot، Microsoft برای Bingbot و Apple برای Applebot. این فهرستهای منتشرشده را روزانه میخوانیم. پاسخ هر خزندهای را که بازههایش شامل این نشانی است نام میبرد، یا میگوید هیچکدام نیست.
نتیجه را چطور بخوانید
در بازههای منتشرشده یک خزنده: درخواست از شبکه آن گرداننده آمده است. همراه با user agent منطبق، این شاهد محکمی است که خزنده واقعی بوده است.
در هیچ بازه منتشرشدهای نیست: اگر درخواست ادعا میکرد یکی از خزندههای فهرست است، نبوده است. کس دیگری از این نام استفاده کرده و میتوانید آن نشانی را بدون از دست دادن دیده شدن در پاسخهای هوش مصنوعی مسدود کنید.
مقایسهشده با: فهرست خزندههایی که بازههایشان مقایسه شد. خزندهای که در این فهرست نیست اینجا نه تأیید میشود و نه رد.
چرا هر کسی میتواند ادعا کند GPTBot است
user agent یک خط متن است که کلاینت میفرستد و هر کسی میتواند GPTBot یا Googlebot را در آن بنویسد. اسکرپرها این کار را میکنند تا از فیلترهای ساده رد شوند. به همین دلیل فایروالهایی که فقط به user agent نگاه میکنند از هر دو طرف فریب میخورند: خزندههای جعلی را راه میدهند، یا قانونی که علیه یک خزنده جعلی نوشته شده خزنده واقعی را هم مسدود میکند. تطبیق نشانی IP با فهرست منتشرشده گرداننده راه تشخیص آنها از هم است.
برای خزندههایی که گردانندهشان بازهای منتشر نمیکند که ما بخوانیم، از مستندات خود گرداننده استفاده کنید. Google، Microsoft و Apple از بررسی DNS هم پشتیبانی میکنند: نام host نشانی را جستجو کنید، بررسی کنید که به دامنه گرداننده ختم شود، مثل googlebot.com، google.com، search.msn.com یا applebot.apple.com، سپس آن نام host را دوباره جستجو کنید و مطمئن شوید همان نشانی را برمیگرداند.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
اشتباههای رایج
مسدود کردن یک خزنده با نامش پس از دیدن سوءاستفاده از یک نسخه جعلی. به جای آن نشانیهای سوءاستفادهگر را مسدود کنید، وگرنه خزنده واقعی را هم از دست میدهید.
مجاز کردن هر درخواستی که user agent آن GPTBot میگوید. در قانون فایروال خود user agent را با بازههای منتشرشده ترکیب کنید.
بررسی نشانی یک پروکسی. پشت CDN یا load balancer، سرور شما ممکن است پروکسی را ثبت کند نه بازدیدکننده را؛ از هدری استفاده کنید که نشانی کلاینت را حمل میکند.
نگه داشتن نسخه قدیمی بازهها. گردانندگان آنها را تغییر میدهند؛ قوانینی که از فهرستی چندماهه ساخته شدهاند میتوانند خزندههای واقعی را مسدود کنند.
از یک نشانی تا کل لاگ
این بررسی هر بار برای یک نشانی پاسخ میدهد. در حساب AISeeWhy شما، بررسی لاگ سرور در پلنهای پولی کل یک لاگ دسترسی را میخواند، بازدیدهای هر خزنده هوش مصنوعی را میشمارد، خزندههای واقعی را با همین بازههای منتشرشده از جعلیها جدا میکند و نشان میدهد سرور شما چطور به آنها پاسخ داده است.
پرسشهای متداول
آیا ClaudeBot در این بررسی ظاهر میشود؟
فعلاً نه: بررسی خزندههایی را پوشش میدهد که فایلهای بازه منتشرشدهشان را میخوانیم و زیر نتیجه فهرست شدهاند. برای خزندههای دیگر، مستندات گرداننده را دنبال کنید.
یک نشانی در بازه Googlebot است اما user agent چیز دیگری میگوید. این یعنی چه؟
درخواست از شبکه Google آمده است. Google چند خزنده و دریافتکننده دارد؛ user agent میگوید کدام بوده است. شخص ثالثی نبوده که خود را Google جا بزند.
آیا میتوانم چند نشانی را یکجا بررسی کنم؟
با این ابزار رایگان نه. لاگ را در حساب خود بارگذاری کنید تا همه بازدیدهای آن بررسی شود.
آیا نشانیای که وارد میکنم ذخیره میشود؟
برای پاسخ به بررسی استفاده میشود و همراه درخواست شما ذخیره نمیشود.