هل يرى Claude موقعي؟ كيف تتحقق
يستطيع Claude قراءة صفحتك فقط إذا كان ملف robots.txt يسمح لوكلاء Anthropic، وكان خادمك يرسل إليهم نفس HTML الذي يحصل عليه المتصفح. تحقق من أن robots.txt لا يمنع Claude-SearchBot ولا Claude-User، وأن جدار الحماية لا يردّ عليهما بالرمز 403 أو بصفحة تحدٍّ، وأن النص الأساسي موجود في HTML الأولي. ثم اختبر Claude نفسه: الصق عنوان URL في محادثة واطرح أسئلة عملائك مع تفعيل البحث في الويب.
إذا سألت Claude عن منتجك فاستشهد بمواقع أخرى، فالسؤال الأول هو: هل يستطيع الوصول إلى موقعك أصلاً؟ ولهذا السؤال إجابة قابلة للاختبار. تنشر Anthropic رموز robots.txt الخاصة بوكلائها وعناوين IP التي يأتون منها، ويعرض Claude المصادر التي استخدمها. لذا يمكنك فحص كل خطوة بالترتيب: ما يقوله robots.txt، وما يرسله خادمك، وما تسجّله السجلات، وما يفعله Claude بصفحة حين تعطيه إياها.
في هذه الصفحة
- الفحص في 5 دقائق، خطوة بخطوة
- كيف يقرأ Claude المواقع؟
- كيف أتحقق عبر robots.txt مما إذا كان Claude يستطيع الوصول إلى موقعي؟
- كيف أختبر ما يتلقاه وكلاء Claude من خادمي؟
- كيف أعرف ما إذا كان Claude يزور موقعي فعلاً؟
- كيف أختبر Claude نفسه بصفحتي؟
- ماذا لو استطاع Claude قراءة صفحتي لكنه لا يستشهد بها؟
- كيف يفحص AISeeWhy هذا الأمر؟
الفحص في 5 دقائق، خطوة بخطوة
- افتح ملف robots.txt وتأكد من أن أي مجموعة لـ
Claude-SearchBotأوClaude-UserأوUser-agent: *لا تمنع الصفحة. أماClaudeBotفلا يهم إلا للتدريب. - شغّل فحصًا مجانيًا للصفحة على AISeeWhy أو أرسل طلبًا واحدًا بوكيل المستخدم
Claude-User: يجب أن يحصل على رمز الحالة 200 والنص نفسه الذي يحصل عليه المتصفح. - ابحث في سجل الوصول عن
Claude-SearchBotوClaude-Userوانظر إلى رموز الحالة التي تلقّياها. - الصق عنوان URL الخاص بك في Claude مع تفعيل البحث في الويب، واطلب منه تلخيص الصفحة، ثم اطرح سؤالًا يطرحه مشتروك وافحص الاستشهادات.
إذا فشلت الخطوة 1 أو 2 فأصلح الوصول أولًا؛ الأقسام التالية تشرح الطريقة. وإذا قرأ Claude الصفحة ولم يستشهد بها، فاعمل على المحتوى.
كيف يقرأ Claude المواقع؟
يصل Claude إلى الويب بطريقتين. مع البحث في الويب، يبحث حين يحتاج السؤال إلى معلومات حديثة، ويراجع عدة مصادر، ويجيب مع استشهادات. ويذكر مركز مساعدة Anthropic أن كل إجابة تستخدم البحث في الويب تتضمن استشهادات. وحين يعطي أحدهم Claude رابطاً محدداً، يستطيع فتح تلك الصفحة مباشرة.
توثّق Anthropic ثلاثة وكلاء لهذا الغرض، لكل منهم رمز robots.txt خاص به. يزحف Claude-SearchBot لتحسين نتائج بحث Claude، ويجلب Claude-User الصفحات حين يحتاج إليها سؤال المستخدم، ويجمع ClaudeBot محتوى قد يُستخدم في التدريب. ويشرح دليلنا المنفصل عن زواحف Anthropic الثلاثة عمل كل منها بالتفصيل. أما للقراءة والاستشهاد، فالأولان هما ما ينبغي فحصه.
حدّ ينبغي قوله بصراحة: لا توثّق Anthropic فهرس البحث الذي يستخدمه البحث في الويب لدى Claude ولا كيف يختار المصادر. وتقول إن حظر Claude-SearchBot قد يقلل ظهورك في نتائج البحث، وإن حظر Claude-User يمنع جلب الصفحات لأسئلة المستخدمين. السماح لكليهما يجعل الاستشهاد ممكناً، لكنه لا يضمنه.
كيف أتحقق عبر robots.txt مما إذا كان Claude يستطيع الوصول إلى موقعي؟
افتح https://yourdomain.com/robots.txt وابحث عن مجموعات تذكر Claude-SearchBot أو Claude-User. إن لم يُذكر أي منهما، فكلاهما يتبع مجموعة User-agent: *. ومطابقة الرموز لا تميّز بين الأحرف الكبيرة والصغيرة بحسب RFC 9309، وأي Disallow: / في المجموعة المنطبقة يغلق الموقع كله أمام ذلك الوكيل.
افحص الاستجابة نفسها أيضاً. ملف robots.txt الذي يعيد خطأ خادم يجعل الزواحف تفترض أن كل شيء ممنوع. أما 404 فيعني عدم وجود قواعد. يعرض الأمران التاليان رمز الحالة وكل مجموعة في الملف:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" تقول Anthropic إن القواعد يجب أن تكون في ملف robots.txt على المستوى الأعلى لكل نطاق فرعي، لذا يحتاج blog.example.com إلى ملفه الخاص. وهذا الحظر ليس نادراً. ففي دراستنا لأشهر 1,000 نطاق، منع 67 من أصل 518 موقعاً تقدّم robots.txt (12.9%) الصفحة الرئيسية عن Claude-SearchBot، و68 (13.1%) عن Claude-User، بينما فعل 110 (21.2%) ذلك مع زاحف التدريب ClaudeBot.
كيف أختبر ما يتلقاه وكلاء Claude من خادمي؟
ملف robots.txt طلب وليس تحكماً في الوصول. فقد يردّ جدار الحماية أو CDN أو الحماية من البوتات على وكلاء Anthropic بالرمز 403 أو 429 أو بصفحة تحدٍّ، بينما يرى متصفحك الصفحة بشكل طبيعي. وتقول Anthropic إن بوتاتها لن تحاول تجاوز اختبارات CAPTCHA، لذا تنتهي الزيارة عند صفحة التحدي.
اطلب عنوان URL نفسه بوكيل مستخدم لمتصفح ثم بكل رمز من رموز Anthropic، وقارن رمز الحالة والحجم:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done تذكر صفحة المساعدة لدى Anthropic الرموز لكنها لا تنشر سلاسل وكيل المستخدم كاملة، لذا فهذه سلاسل اختبار وليست السلاسل الحقيقية لـ Anthropic. وهي تُظهر كيف تتعامل القواعد التي تطابق الاسم مع الطلب. أما 403 أو 429 أو 503 في أسطر Claude وحدها، أو 200 بحجم أصغر بكثير من حجم المتصفح، فيشير إلى جدار الحماية لديك.
يأتي اختبارك من عنوان IP الخاص بك. وتقول Anthropic إن الطلبات القادمة من العناوين المدرجة في قائمتها على claude.com/crawling/bots.json صادرة عنها. فإذا كان جدار الحماية يسمح للزواحف الموثّقة حسب IP، فقد يمرّ الوكلاء الحقيقيون بينما يُحظر اختبارك، والعكس ممكن أيضاً. استخدم القائمة للسماح لـ Anthropic لا لحظرها: فـ Anthropic تنصح بعدم الحظر حسب IP لأنه يمنع بوتاتها أيضاً من قراءة robots.txt.
كيف أعرف ما إذا كان Claude يزور موقعي فعلاً؟
سجلات الوصول تجيب عن هذا مباشرة. ابحث فيها عن الرموز الثلاثة، ثم تحقق من أن عناوين المصدر تقع ضمن النطاقات التي تنشرها Anthropic، لأن أي شخص يستطيع نسخ اسم وكيل المستخدم:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' يفترض الأمر الأول صيغة السجل المركّبة الشائعة (combined)، حيث الحقل 1 هو عنوان العميل والحقل 9 هو رمز الحالة. كثرة الرموز 403 أو 429 بجوار وكلاء Anthropic تؤكد وجود مشكلة في جدار الحماية. أما غياب زيارات Claude-SearchBot تماماً فيعني فقط أنه لم يزحف إلى تلك الصفحات بعد، أو أن شيئاً ما في مرحلة أسبق يوقفه.
كيف أختبر Claude نفسه بصفحتي؟
افتح محادثة والصق عنوان URL لإحدى صفحاتك مع طلب مثل «لخّص هذه الصفحة». يذكر مركز مساعدة Anthropic أن Claude يستطيع فتح الروابط التي تقدّمها حين يكون البحث في الويب مفعّلاً. وإن كان معطّلاً ففعّله من قائمة +؛ وفي تجربة Claude الأحدث من Anthropic لا يوجد مفتاح، بل يبحث Claude حين يفيد البحث. وفي خطتي Team وEnterprise يجب أن يفعّل المالك البحث في الويب للمؤسسة أولاً. وإذا لم يستطع Claude فتح صفحتك بينما يفتحها المتصفح، فارجع إلى اختبار جدار الحماية.
ثم اطرح الأسئلة التي يطرحها عملاؤك دون ذكر موقعك، وافتح المصادر المستشهد بها. تقول Anthropic إن Claude قد يستخدم موقعاً يستنتجه من عنوان IP الخاص بك للحصول على نتائج محلية، لذا قد تختلف الإجابات من مكان إلى آخر ومن تشغيل إلى آخر.
يستطيع المطورون تكرار ذلك عبر Claude API. فأداة البحث في الويب تقبل قائمة allowed_domains، لذا يُظهر طلب مقصور على نطاقك ما إذا كان بحث Claude يعيد أياً من صفحاتك لسؤال ما:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' النتائج الفارغة تعني أن بحث Claude لم يجد شيئاً في ذلك النطاق لهذا السؤال. وتحتسب Anthropic رسوماً على عمليات البحث في الويب عبر API إضافة إلى الرموز (tokens). كما تذكر أداة web fetch في API سبب تعذّر قراءة الصفحة: url_not_allowed يشمل الحظر مثل robots.txt، وurl_not_accessible يعني خطأ HTTP. وقد تختلف إجابات API عمّا تعرضه تطبيقات Claude.
ماذا لو استطاع Claude قراءة صفحتي لكنه لا يستشهد بها؟
تأكد أولاً من أن النص الذي يحتاج إليه موجود في HTML الذي يرسله خادمك. تقول وثائق API لدى Anthropic إن أداة web fetch لا تدعم المواقع التي تُعرض بـ JavaScript، ولا تقول Anthropic إن زواحفها تنفّذ السكربتات. اجلب صفحتك عبر curl وابحث في الناتج عن جملة من محتواك الأساسي. فإن لم تجدها، فالعرض من جهة الخادم أو العرض المسبق يحلّ المشكلة لـ Claude ولمعظم زواحف الذكاء الاصطناعي الأخرى.
بعد ذلك تقرر الصفحة نفسها. ضع إجابة السؤال الرئيسي للصفحة في جملها الأولى، واستخدم عناوين تطابق الأسئلة التي يطرحها الناس، واذكر اسم الناشر، واعرض التواريخ. ثم قارن صفحتك بالصفحة التي يستشهد بها Claude للسؤال نفسه: فالصفحة المستشهد بها تجيب غالباً عن ذلك السؤال بالذات بشكل أكثر مباشرة.
كيف يفحص AISeeWhy هذا الأمر؟
يجلب فحص AISeeWhy المجاني صفحتك بصفتها Claude-SearchBot وClaude-User وClaudeBot وزواحف الذكاء الاصطناعي والبحث الأخرى إلى جانب متصفح حقيقي، ويطبّق robots.txt على كل منها، ويتعرف على صفحات التحدي، ويعرض مقدار النص الذي يصل دون JavaScript. أما فحص الظهور في الذكاء الاصطناعي، المتاح في الخطط المدفوعة، فيطرح أسئلتك عبر Claude مع البحث في الويب بمفتاح API الخاص بك، ويعرض ما إذا كانت علامتك أو نطاقك مذكوراً أو مُستشهداً به.
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فحص عناوين IP لزواحف الذكاء الاصطناعي
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
الأسئلة الشائعة
هل أستطيع التحقق مجانًا مما إذا كان Claude يرى موقعي؟
نعم. ملف robots.txt، وطلب curl، وسجل الخادم، وسؤال في Claude لا تكلّف شيئًا. ويختبر الفحص المجاني في AISeeWhy وكلاء Anthropic و13 زاحفًا آخر لصفحة واحدة يوميًا دون حساب.
لماذا لا يستطيع Claude فتح موقعي حين ألصق الرابط؟
الأسباب المعتادة هي جدار حماية أو حماية من البوتات تردّ على وكلاء Anthropic بالرمز 403 أو بصفحة تحدٍّ، أو قاعدة في robots.txt تمنع Claude-User، أو صفحة لا يظهر نصها إلا بعد تشغيل JavaScript. اختبر عنوان URL عبر curl بصفتك متصفحاً ثم برموز Claude، وافحص السجلات بحثاً عن طلبات محظورة.
هل تنشر Anthropic سلسلة وكيل مستخدم أستطيع الاختبار بها؟
تذكر صفحة المساعدة الخاصة بزواحف Anthropic الرموز ClaudeBot وClaude-SearchBot وClaude-User، لكن دون سلاسل وكيل مستخدم كاملة. ولتمييز حركة Anthropic الحقيقية عن المقلِّدين، قارن عنوان IP المصدر بالقائمة على claude.com/crawling/bots.json.
كم يستغرق وصول تغيير robots.txt إلى Claude؟
لا تحدد Anthropic مدة. ينص RFC 9309 على ألا تستخدم الزواحف نسخة مخزنة من robots.txt لأكثر من 24 ساعة، لذا انتظر يوماً على الأقل قبل أن تحكم على النتيجة في السجلات أو في إجابات Claude.
هل يعطي Claude API الإجابات نفسها التي يعطيها تطبيق Claude؟
ليس بالضرورة. قد يستخدم التطبيق موقعك التقريبي وإعداداته الخاصة، بينما يستخدم طلب API الأدوات والمعاملات التي ترسلها. تعامل مع نتائج API كاختبار قابل للتكرار، لا كنسخة مما يراه كل مستخدم.
كيف أعرف ما إذا كان Claude يذكر علامتي التجارية؟
اطرح على Claude، مع تفعيل البحث في الويب، الأسئلة التي يطرحها عملاؤك، ودوّن ما إذا كان يذكر موقعك أو يستشهد به وأي المنافسين يظهرون بدلاً منك. كرّر كل سؤال على مدى عدة أسابيع لأن الإجابات تتغير. ويفعل فحص الظهور في الذكاء الاصطناعي في AISeeWhy ذلك أسبوعياً عبر Claude API بمفتاحك، إلى جانب ما يصل إلى أربعة منافسين.
المصادر
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: قائمة عناوين IP للزواحف (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: تقرير وصول زواحف الذكاء الاصطناعي، 2026-11