آیا Claude سایت من را میبیند؟ روش بررسی
Claude فقط وقتی میتواند صفحه شما را بخواند که robots.txt شما به عاملهای Anthropic اجازه دهد و سرورتان همان HTML را که مرورگر میگیرد برای آنها بفرستد. بررسی کنید که robots.txt عامل Claude-SearchBot یا Claude-User را ممنوع نکرده باشد، فایروال به آنها خطای 403 یا صفحه چالش ندهد و متن اصلی در HTML اولیه باشد. سپس خود Claude را آزمایش کنید: نشانی صفحه را در گفتگو بچسبانید و با جستجوی وب روشن، پرسشهای خریدارانتان را بپرسید.
اگر از Claude درباره محصولتان بپرسید و به سایتهای دیگر استناد کند، اولین سؤال این است که آیا اصلاً به سایت شما دسترسی دارد. این سؤال پاسخی قابل آزمایش دارد. Anthropic توکنهای robots.txt عاملهایش و نشانیهای IP آنها را منتشر میکند و Claude منابعی را که استفاده کرده نشان میدهد. پس میتوانید هر مرحله را به ترتیب بررسی کنید: robots.txt شما چه میگوید، سرورتان چه میفرستد، لاگهایتان چه ثبت میکنند و Claude با صفحهای که به آن میدهید چه میکند.
در این صفحه
- بررسی 5 دقیقهای، قدم به قدم
- Claude وبسایتها را چطور میخواند؟
- چطور از روی robots.txt بفهمم Claude به سایتم دسترسی دارد؟
- چطور آزمایش کنم عاملهای Claude از سرور من چه دریافت میکنند؟
- چطور ببینم Claude واقعاً به سایتم سر میزند یا نه؟
- چطور خود Claude را با صفحهام آزمایش کنم؟
- اگر Claude صفحهام را بخواند ولی باز هم به آن استناد نکند چه؟
- AISeeWhy این را چطور بررسی میکند؟
بررسی 5 دقیقهای، قدم به قدم
- robots.txt خود را باز کنید و مطمئن شوید هیچ گروهی برای
Claude-SearchBot،Claude-UserیاUser-agent: *صفحه را ممنوع نکرده است.ClaudeBotفقط برای آموزش اهمیت دارد. - صفحه را در AISeeWhy بهصورت رایگان بررسی کنید یا یک درخواست با user agent
Claude-Userبفرستید: باید کد وضعیت 200 و همان متنی را بگیرد که یک مرورگر میگیرد. - در لاگ دسترسی خود دنبال
Claude-SearchBotوClaude-Userبگردید و کدهای وضعیتی را که دریافت کردهاند ببینید. - نشانی صفحه را با جستجوی وب روشن در Claude بچسبانید، از آن بخواهید صفحه را خلاصه کند، سپس پرسشی را که خریدارانتان میپرسند مطرح کنید و استنادها را بررسی کنید.
اگر قدم 1 یا 2 رد شد، اول دسترسی را درست کنید؛ بخشهای زیر روش آن را نشان میدهند. اگر Claude صفحه را میخواند اما به آن استناد نمیکند، روی محتوا کار کنید.
Claude وبسایتها را چطور میخواند؟
Claude از دو راه به وب دسترسی دارد. با جستجوی وب، وقتی پرسشی به اطلاعات بهروز نیاز دارد جستجو میکند، چند منبع را مرور میکند و با ذکر منبع پاسخ میدهد. مرکز راهنمای Anthropic میگوید هر پاسخی که از جستجوی وب استفاده کند منابعش را ذکر میکند. وقتی کسی پیوند مشخصی به Claude بدهد، Claude میتواند همان صفحه را مستقیم باز کند.
Anthropic برای این کار سه عامل را مستند کرده که هر کدام توکن robots.txt خودش را دارد. Claude-SearchBot برای بهتر کردن نتایج جستجوی Claude میخزد، Claude-User وقتی پرسش کاربر لازم داشته باشد صفحهها را دریافت میکند و ClaudeBot محتوایی جمع میکند که ممکن است برای آموزش استفاده شود. راهنمای جداگانه ما درباره سه خزنده Anthropic کار هر کدام را با جزئیات توضیح میدهد. برای خوانده شدن و مورد استناد قرار گرفتن، باید دو عامل اول را بررسی کرد.
یک محدودیت را صادقانه بگوییم: Anthropic مستند نکرده که جستجوی وب Claude از کدام ایندکس جستجو استفاده میکند یا منابع را چطور انتخاب میکند. میگوید مسدود کردن Claude-SearchBot ممکن است دیدهشدن شما را در نتایج جستجو کم کند و مسدود کردن Claude-User جلوی دریافت صفحه برای پرسشهای کاربران را میگیرد. اجازه دادن به هر دو استناد را ممکن میکند، اما تضمینش نمیکند.
چطور از روی robots.txt بفهمم Claude به سایتم دسترسی دارد؟
https://yourdomain.com/robots.txt را باز کنید و دنبال گروههایی بگردید که نام Claude-SearchBot یا Claude-User را آوردهاند. اگر هیچکدام نیامده باشد، هر دو از گروه User-agent: * پیروی میکنند. طبق RFC 9309 تطبیق توکن به بزرگی و کوچکی حروف حساس نیست و یک Disallow: / در گروهی که اعمال میشود کل سایت را به روی آن عامل میبندد.
خود پاسخ را هم بررسی کنید. robots.txt که خطای سرور برگرداند به خزندهها میگوید فرض کنند همهچیز ممنوع است. خطای 404 یعنی هیچ قانونی وجود ندارد. دو فرمان زیر کد وضعیت و همه گروههای فایل را نشان میدهند:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic میگوید قوانین باید در robots.txt سطح بالای هر زیردامنه باشند، پس blog.example.com فایل خودش را لازم دارد. این مسدودسازیها نادر نیستند. در بررسی ما روی 1000 دامنه پربازدید، از 518 سایتی که robots.txt داشتند، 67 سایت (12.9%) صفحه اصلی را برای Claude-SearchBot و 68 سایت (13.1%) برای Claude-User ممنوع کرده بودند، در حالی که 110 سایت (21.2%) این کار را برای خزنده آموزشی ClaudeBot کرده بودند.
چطور آزمایش کنم عاملهای Claude از سرور من چه دریافت میکنند؟
robots.txt یک درخواست است، نه کنترل دسترسی. فایروال، CDN یا محافظ ربات ممکن است به عاملهای Anthropic خطای 403، 429 یا صفحه چالش بدهد، در حالی که مرورگر خودتان صفحه را عادی میبیند. Anthropic میگوید رباتهایش برای دور زدن CAPTCHA تلاش نمیکنند، پس صفحه چالش به بازدید پایان میدهد.
همان نشانی را یک بار با user agent مرورگر و یک بار با هر توکن Anthropic درخواست کنید و کد وضعیت و حجم پاسخ را مقایسه کنید:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done صفحه راهنمای Anthropic توکنها را نام میبرد اما رشته کامل user agent را منتشر نمیکند، پس اینها رشتههای آزمایشیاند، نه رشتههای واقعی Anthropic. نشان میدهند قوانینی که روی نام تطبیق میدهند با درخواست چه میکنند. خطای 403، 429 یا 503 فقط برای خطوط Claude، یا پاسخ 200 که خیلی کوچکتر از پاسخ مرورگر است، نشان میدهد مشکل از فایروال شماست.
آزمایش شما از نشانی IP خودتان انجام میشود. Anthropic میگوید درخواستهایی که از نشانیهای فهرست claude.com/crawling/bots.json میآیند از Anthropic هستند. اگر فایروال شما خزندههای تأییدشده را بر اساس IP مجاز کند، ممکن است عاملهای واقعی عبور کنند در حالی که آزمایش شما مسدود میشود، و برعکسش هم ممکن است. از این فهرست برای مجاز کردن Anthropic استفاده کنید، نه برای مسدود کردنش: Anthropic مسدود کردن بر اساس IP را توصیه نمیکند، چون رباتهایش دیگر نمیتوانند robots.txt شما را هم بخوانند.
چطور ببینم Claude واقعاً به سایتم سر میزند یا نه؟
لاگهای دسترسی شما مستقیم به این سؤال پاسخ میدهند. در آنها دنبال این سه توکن بگردید و سپس بررسی کنید نشانیهای مبدأ در محدودههای منتشرشده Anthropic باشند، چون هر کسی میتواند نام یک user agent را کپی کند:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' فرمان اول قالب رایج combined log را فرض میگیرد که در آن فیلد 1 نشانی کلاینت و فیلد 9 کد وضعیت است. تعداد زیاد کد 403 یا 429 کنار عاملهای Anthropic مشکل فایروال را تأیید میکند. نبودن هیچ بازدیدی از Claude-SearchBot فقط یعنی هنوز آن صفحهها را نخزیده، یا چیزی در مرحلهای زودتر جلویش را میگیرد.
چطور خود Claude را با صفحهام آزمایش کنم؟
یک گفتگو باز کنید و نشانی یکی از صفحههایتان را با درخواستی مثل «این صفحه را خلاصه کن» بچسبانید. مرکز راهنمای Anthropic میگوید با روشن بودن جستجوی وب، Claude میتواند پیوندهایی را که میدهید باز کند. اگر جستجوی وب خاموش است، آن را از منوی + روشن کنید؛ در تجربه جدیدتر Claude کلیدی برای این کار وجود ندارد و Claude هر وقت مفید باشد جستجو میکند. در طرحهای Team و Enterprise ابتدا مالک سازمان باید جستجوی وب را فعال کند. اگر Claude نتواند صفحهتان را باز کند ولی مرورگر بتواند، به آزمایش فایروال برگردید.
سپس پرسشهایی را که خریدارانتان میپرسند، بدون نام بردن از سایتتان، بپرسید و منابع ذکرشده را باز کنید. Anthropic میگوید Claude ممکن است برای نتایج محلی از موقعیتی استفاده کند که از نشانی IP شما برآورد میشود، پس پاسخها بسته به مکان و از یک اجرا تا اجرای دیگر فرق میکنند.
توسعهدهندگان میتوانند همین کار را از طریق Claude API تکرار کنند. ابزار جستجوی وب فهرست allowed_domains را میپذیرد، پس درخواستی که به دامنه شما محدود شده نشان میدهد آیا جستجوی Claude برای یک پرسش صفحهای از سایت شما برمیگرداند یا نه:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' نتایج خالی جستجو یعنی جستجوی Claude برای آن پرسش چیزی در آن دامنه پیدا نکرده است. Anthropic برای جستجوهای وب در API علاوه بر توکنها هزینه جداگانه میگیرد. ابزار web fetch در API هم دلیل خوانده نشدن صفحه را گزارش میدهد: url_not_allowed شامل مسدودسازیهایی مثل robots.txt است و url_not_accessible یعنی خطای HTTP. پاسخهای API ممکن است با آنچه اپهای Claude نشان میدهند فرق داشته باشند.
اگر Claude صفحهام را بخواند ولی باز هم به آن استناد نکند چه؟
اول مطمئن شوید متنی که لازم دارد در HTML ارسالی سرور شما وجود دارد. مستندات API شرکت Anthropic میگوید ابزار web fetch از وبسایتهایی که با JavaScript رندر میشوند پشتیبانی نمیکند و Anthropic نگفته که خزندههایش اسکریپتها را اجرا میکنند. صفحهتان را با curl دریافت کنید و در خروجی دنبال جملهای از محتوای اصلی بگردید. اگر نبود، رندر سمت سرور یا پیشرندر این مشکل را برای Claude و بیشتر خزندههای هوش مصنوعی دیگر حل میکند.
پس از آن، خود صفحه تعیینکننده است. پاسخ پرسش اصلی صفحه را در همان جملههای اول بیاورید، از سرتیترهایی استفاده کنید که با پرسشهای مردم جور باشند، ناشر را نام ببرید و تاریخها را نشان دهید. سپس صفحه خود را با صفحهای که Claude برای همان پرسش به آن استناد میکند مقایسه کنید: صفحه مورد استناد اغلب مستقیمتر به همان پرسش پاسخ میدهد.
AISeeWhy این را چطور بررسی میکند؟
بررسی رایگان AISeeWhy صفحه شما را بهعنوان Claude-SearchBot، Claude-User، ClaudeBot و دیگر خزندههای هوش مصنوعی و موتورهای جستجو در کنار یک مرورگر واقعی دریافت میکند، robots.txt شما را برای هر کدام اعمال میکند، صفحههای چالش را تشخیص میدهد و نشان میدهد بدون JavaScript چه مقدار متن میرسد. بررسی دیدهشدن در هوش مصنوعی، در طرحهای پولی، پرسشهای شما را با جستجوی وب و با کلید API خودتان از Claude میپرسد و نشان میدهد آیا از برند یا دامنه شما نام برده یا به آن استناد شده است.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا میتوانم رایگان بررسی کنم که Claude سایتم را میبیند یا نه؟
بله. robots.txt، یک درخواست curl، لاگ سرور و یک پرسش در Claude هزینهای ندارند. بررسی رایگان AISeeWhy عاملهای Anthropic و 13 خزنده دیگر را برای یک صفحه در روز، بدون حساب کاربری، میآزماید.
چرا Claude سایتم را وقتی پیوندش را میچسبانم باز نمیکند؟
دلیلهای معمول: فایروال یا محافظ رباتی که به عاملهای Anthropic خطای 403 یا صفحه چالش میدهد، قانونی در robots.txt که Claude-User را ممنوع میکند، یا صفحهای که متنش فقط پس از اجرای JavaScript ظاهر میشود. نشانی را با curl یک بار بهعنوان مرورگر و یک بار با توکنهای Claude آزمایش کنید و لاگهایتان را برای درخواستهای مسدودشده بررسی کنید.
آیا Anthropic رشته user agent منتشر میکند که بتوانم با آن آزمایش کنم؟
صفحه راهنمای خزنده Anthropic توکنهای ClaudeBot، Claude-SearchBot و Claude-User را فهرست میکند، اما رشته کامل user agent را نه. برای تشخیص ترافیک واقعی Anthropic از مقلدها، IP مبدأ را با فهرست claude.com/crawling/bots.json مقایسه کنید.
تغییر robots.txt چقدر طول میکشد تا به Claude برسد؟
Anthropic زمانی اعلام نمیکند. RFC 9309 میگوید خزندهها نباید robots.txt کششده را بیش از 24 ساعت استفاده کنند، پس دستکم یک روز صبر کنید و بعد نتیجه را در لاگها یا پاسخهای Claude بسنجید.
آیا Claude API همان پاسخهای اپ Claude را میدهد؟
نه لزوماً. اپ ممکن است از موقعیت تقریبی شما و تنظیمات خودش استفاده کند، در حالی که درخواست API از ابزارها و پارامترهایی استفاده میکند که شما میفرستید. نتایج API را آزمایشی تکرارپذیر بدانید، نه کپی آنچه هر کاربر میبیند.
چطور بفهمم Claude از برند من نام میبرد یا نه؟
پرسشهایی را که خریدارانتان میپرسند با جستجوی وب روشن از Claude بپرسید و یادداشت کنید آیا از سایت شما نام میبرد یا به آن استناد میکند و بهجای شما کدام رقبا ظاهر میشوند. هر پرسش را طی چند هفته تکرار کنید، چون پاسخها تغییر میکنند. بررسی دیدهشدن در هوش مصنوعی AISeeWhy این کار را هر هفته از طریق Claude API با کلید شما و در کنار حداکثر چهار رقیب انجام میدهد.
منابع
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: فهرست نشانیهای IP خزندهها (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: گزارش دسترسی خزندههای هوش مصنوعی، 2026-11