12 فحصاً لـ AEO يجب إجراؤها قبل نشر أي صفحة (2027)
قبل النشر، تأكد من أن العنوان يعيد 200 دون إعادة توجيه، وأن robots.txt يسمح لكل زاحف بحث للذكاء الاصطناعي، وأن جدار الحماية يقدّم لها الصفحة الحقيقية، وأن الإجابة موجودة في HTML الخام. ثم افحص وجود noindex أو nosnippet منسيّ، وcanonical واحد، وإجابة تحت H1، وJSON-LD صالح ومطابق، وتواريخ متطابقة، وإدراجاً في sitemap مع روابط داخلية، وhreflang، واطلب الفهرسة.
معظم الصفحات التي لا تظهر أبداً في إجابات الذكاء الاصطناعي تفشل بسبب شيء ممل: noindex منسيّ، أو قاعدة في جدار الحماية، أو canonical يشير إلى بيئة الاختبار. هذه الفحوص الاثنا عشر تكشف ذلك قبل الإطلاق. يستغرق كل منها بضع دقائق، ومعظمها لا يحتاج إلا إلى طرفية وعنوان الصفحة، وهي مرتبة حسب الترتيب الذي يمرّ به الزاحف.
في هذه الصفحة
- كم يستغرق كل فحص؟
- 1. يعيد العنوان 200 دون سلسلة إعادة توجيه
- 2. يسمح robots.txt بالصفحة لكل زاحف بحث للذكاء الاصطناعي
- 3. يقدّم جدار الحماية لزواحف الذكاء الاصطناعي الصفحة الحقيقية
- 4. الإجابة موجودة في HTML الخام
- 5. لا يوجد noindex أو nosnippet منسيّ
- 6. عنوان canonical واحد، مطلق ويشير إلى الصفحة نفسها
- 7. العنوان وH1 يذكران ما تجيب عنه الصفحة، والإجابة تحتهما مباشرة
- 8. JSON-LD يُحلَّل بلا أخطاء ويطابق النص الظاهر
- 9. التاريخ الظاهر وتواريخ الترميز وlastmod في sitemap متطابقة
- 10. الصفحة مدرجة في sitemap ومرتبطة من صفحات ذات صلة
- 11. hreflang متبادل، مع x-default
- 12. اطلب من محركات البحث الزحف إلى الصفحة الجديدة
- كيف اخترنا هذه الفحوص
كم يستغرق كل فحص؟
تقدير تقريبي لصفحة واحدة، مع الأداة التي تحتاج إليها. أجرِ الفحوص من 1 إلى 5 على كل صفحة، والباقي مرة لكل قالب، ثم افحص عينات.
- 1. الحالة 200: دقيقة واحدة، curl.
- 2. robots.txt لكل زاحف: 3 دقائق، المتصفح أو curl.
- 3. استجابة جدار الحماية: 3 دقائق، curl.
- 4. النص في HTML الخام: دقيقتان، curl.
- 5. لا noindex أو nosnippet منسيّ: دقيقتان، curl.
- 6. canonical واحد: دقيقتان، view-source.
- 7. العنوان وH1 والإجابة المختصرة: 5 دقائق، قراءة الصفحة.
- 8. JSON-LD صالح ومطابق: 5 دقائق، اختبار النتائج الغنية بصريًا (Rich Results Test) أو Schema Markup Validator.
- 9. تطابق التواريخ: 3 دقائق، الصفحة والترميز وsitemap.
- 10. sitemap والروابط الداخلية: 5 دقائق، sitemap.xml ونظام إدارة المحتوى.
- 11. hreflang: 5 دقائق، للمواقع متعددة اللغات فقط.
- 12. طلب الفهرسة: دقيقتان، Search Console وIndexNow.
1. يعيد العنوان 200 دون سلسلة إعادة توجيه
يجب أن يحصل الزاحف على الصفحة نفسها بالحالة 200 على العنوان الدقيق الذي ستشاركه وتدرجه في sitemap. كل إعادة توجيه خطوة إضافية قد تفشل، والصفحة التي تردّ بـ 200 مع رسالة "غير موجود" هي soft 404 قد تُسقطها محركات البحث.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ معيار النجاح: 200 redirects=0 والعنوان نفسه. الحل: اربط بالعنوان النهائي وأدرجه، واحتفظ بإعادة توجيه واحدة على الأكثر من العناوين القديمة.
2. يسمح robots.txt بالصفحة لكل زاحف بحث للذكاء الاصطناعي
اقرأ robots.txt كما يقرؤه كل زاحف. المجموعة التي تذكر زاحفاً باسمه تحل محل مجموعة User-agent: * بالنسبة إليه، وبحسب RFC 9309 تفوز أطول قاعدة مطابقة، ويفوز Allow عند التعادل.
افحص على الأقل OAI-SearchBot وClaude-SearchBot وClaude-User وPerplexityBot وGooglebot. فقد يقع قسم جديد مثل /guides/ تحت قاعدة قديمة Disallow: /g، لأن القواعد تطابق بادئات المسارات. وتأكد أيضاً من أن robots.txt نفسه يعيد 200 أو 404: فبحسب RFC 9309 يعني خطأ الخادم أن على الزواحف افتراض أن الموقع كله ممنوع.
معيار النجاح: لا توجد قاعدة لأي من هذه الرموز تمنع المسار. ويبيّن دليلنا عن اختبار robots.txt كيف تختبر عنواناً واحداً لزاحف واحد.
3. يقدّم جدار الحماية لزواحف الذكاء الاصطناعي الصفحة الحقيقية
اطلب الصفحة بوكيل مستخدم لمتصفح وبوكلاء مستخدم للزواحف، ثم قارن الحالة والحجم. فالحماية من البوتات التي تطابق الاسم قد تعيد 403 أو 429 أو صفحة تحدٍّ للزواحف وحدها.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done معيار النجاح: كل سطر يعرض 200 وحجماً متقارباً. والحجم الأصغر بكثير يعني عادة صفحة تحدٍّ. تختبر هذه السلاسل القواعد التي تطابق الاسم، أما الزواحف الحقيقية فتأتي أيضاً من نطاقات IP منشورة لا يمكن لاختبار من جهازك محاكاتها، لذا افحص أيضاً قواعد السماح لهذه النطاقات في جدار الحماية.
4. الإجابة موجودة في HTML الخام
ابحث في HTML الذي يرسله الخادم عن جملة من إجابتك. فأداة فحص العناصر في المتصفح تعرض الصفحة بعد تشغيل السكربتات، وهذا ليس ما تحصل عليه معظم الزواحف.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" معيار النجاح: 1 أو أكثر. والنتيجة 0 تعني أن النص يُضاف عبر JavaScript، ولا توثّق OpenAI وAnthropic وPerplexity أن زواحفها تشغّله. اعرضه على الخادم أو وقت البناء، ويسرد دليلنا عن محتوى JavaScript وزواحف الذكاء الاصطناعي الخيارات.
5. لا يوجد noindex أو nosnippet منسيّ
كثيراً ما تأتي بيئات الاختبار مع noindex، وقد ينقله القالب إلى الإنتاج. افحص وسم robots الوصفي وترويسة HTTP X-Robots-Tag كليهما، لأن أياً منهما يكفي.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html معيار النجاح: لا يُطبع شيء، أو فقط index, follow وما يشبهها. وتقول Google إن الصفحة يجب أن تكون مفهرسة ومؤهلة للمقتطف لتظهر في AI Overviews وAI Mode، وإن nosnippet يمنع أيضاً استخدامها مدخلاً مباشراً لهما.
6. عنوان canonical واحد، مطلق ويشير إلى الصفحة نفسها
يجب أن تعلن الصفحة rel="canonical" واحداً بالضبط، بعنوان مطلق، يشير إلى العنوان الذي تنشره. وتصف Google عنوان canonical بأنه إشارة قوية لا أمر، وتحذّر من العناوين النسبية ومن الإشارات المتعارضة مثل sitemap يدرج عنواناً آخر.
أخطاء الإطلاق الشائعة هي canonical منسوخ من صفحة قالب، أو canonical لا يزال يشير إلى خادم الاختبار، أو وسما canonical من القالب والإضافة في الوقت نفسه.
معيار النجاح: وسم واحد، بالعنوان الحي، وبالبروتوكول والنطاق نفسيهما كما في sitemap.
7. العنوان وH1 يذكران ما تجيب عنه الصفحة، والإجابة تحتهما مباشرة
اقرأ أعلى الصفحة كما يقرؤه شخص غريب. يجب أن يذكر العنوان وH1 السؤال أو الموضوع بكلمات المشترين، وأن تجيب الجمل الأولى تحت H1 عنه كاملاً في جملتين أو ثلاث.
اجعل العنوان في حدود 60 حرفاً تقريباً حتى يقلّ احتمال قطعه في نتائج البحث. واكتب الإجابة المختصرة بحيث تبقى مفهومة إذا اقتُبست وحدها، مع كتابة الأرقام والوحدات واسم المنتج صراحة.
معيار النجاح: من يقرأ الفقرة الأولى وحدها يحصل على الإجابة. وتتناول قائمتنا لطرق الاستشهاد بك في إجابات الذكاء الاصطناعي الكتابة القابلة للاقتباس بتعمق أكبر.
8. JSON-LD يُحلَّل بلا أخطاء ويطابق النص الظاهر
يُتجاهل JSON-LD المعطوب كله، فغياب فاصلة واحدة يلغيه بالكامل. الصق العنوان في أداة "اختبار النتائج الغنية بصريًا" من Google أو في Schema Markup Validator وأصلح كل خطأ.
ثم قارن القيم بالصفحة. يجب أن تكون العناوين والتواريخ والسعر والعملة واسم المؤسسة في الترميز هي نفسها التي يراها القارئ. وتقول Google إن ميزاتها للذكاء الاصطناعي لا تحتاج إلى ترميز خاص، وإن البيانات المنظمة يجب أن تطابق النص الظاهر.
معيار النجاح: لا أخطاء، وكل قيمة ظاهرة على الصفحة. يمكنك تخطيه إذا: لم يكن لنوع الصفحة ترميز مناسب، فالصفحة البسيطة أفضل من ترميز خاطئ.
9. التاريخ الظاهر وتواريخ الترميز وlastmod في sitemap متطابقة
اعرض تاريخاً مع تسمية على الصفحة، واستخدم التواريخ نفسها في datePublished وdateModified، واضبط lastmod في sitemap على آخر تغيير مهم. تطلب Google أن تتطابق التواريخ الظاهرة مع المرمّزة، وتقول إنها تستخدم lastmod فقط إذا كان دقيقاً باستمرار ويمكن التحقق منه.
مولّد sitemap يختم كل عنوان بتاريخ اليوم في كل عملية بناء يجعل lastmod بلا فائدة لكل الصفحات، لا للصفحة الجديدة فقط.
معيار النجاح: ثلاثة أماكن، وتاريخ واحد.
10. الصفحة مدرجة في sitemap ومرتبطة من صفحات ذات صلة
تجد الزواحف الصفحات عبر الروابط وملفات sitemap. أضف العنوان الجديد إلى sitemap بصيغة XML، باستخدام عنوان canonical الدقيق، واربط به من صفحتين ذواتي صلة على الأقل ومن صفحة رئيسية أو فهرس.
يمكن أن يضم ملف sitemap حتى 50,000 عنوان و50 MB دون ضغط، والمواقع الأكبر تحتاج إلى فهرس sitemap. وتقول Google إنها تتجاهل priority وchangefreq، فلا تُضع وقتك عليهما. والصفحة التي لا روابط داخلية إليها صفحة يتيمة قد تجدها الزواحف متأخرة أو لا تجدها أبداً.
معيار النجاح: العنوان موجود في sitemap، وتربط به صفحتان على الأقل بنص رابط وصفي.
11. hreflang متبادل، مع x-default
إذا كانت الصفحة موجودة بعدة لغات، فيجب أن تدرج كل نسخة جميع النسخ بما فيها نفسها، وأن تربط كل نسخة بالأخرى في الاتجاه المعاكس. وتتجاهل Google تعليقات hreflang التي لا يؤكدها الطرف الآخر. أضف x-default للنسخة التي تُعرض حين لا تطابق أي لغة.
يمكنك تخطيه إذا: كان الموقع بلغة واحدة. ويشرح دليلنا عن hreflang x-default متى تحتاج إليه.
12. اطلب من محركات البحث الزحف إلى الصفحة الجديدة
بعد أن تصبح الصفحة متاحة وتجتاز الفحوص السابقة، أخبر محركات البحث بها. في Google Search Console، استخدم أداة "فحص عنوان URL" على العنوان الجديد واختر "طلب الفهرسة". وبالنسبة إلى Bing والمحركات الأخرى التي تدعم IndexNow، أرسل العنوان إلى نقطة IndexNow مع مفتاحك، وتنبّه Bing إلى أن ذلك لا يضمن الزحف أو الفهرسة.
لا تملك مساعدات الذكاء الاصطناعي نموذجاً لإرسال الصفحات. فزواحفها تجد الصفحة عبر الروابط والبحث، ولهذا تهم الفحوص 2 و3 و10. وإذا كنت تنشر ملف llms.txt، فأضف الصفحة إليه أيضاً. تقول Google إن بحثها لا يستخدمه، فاعتبره اختيارياً.
معيار النجاح: تُظهر أداة "فحص عنوان URL" أن الصفحة الحية قابلة للفهرسة.
كيف اخترنا هذه الفحوص
تتبع القائمة المسار الذي يسلكه الزاحف: الوصول إلى العنوان، وقراءة robots.txt، وتجاوز جدار الحماية، وقراءة HTML، ثم تفسيره. ويستند كل فحص إلى ما توثّقه OpenAI وAnthropic وPerplexity وGoogle عن زواحفها، وإلى RFC 9309 بالنسبة إلى robots.txt، وإلى إرشادات Google عن canonical والتواريخ وsitemap وhreflang. واستبعدنا الفحوص التي لا أثر موثّقاً لها في إجابات الذكاء الاصطناعي، مثل كثافة الكلمات المفتاحية أو أهداف عدد الكلمات.
تُظهر الفحوص أن الصفحة قابلة للقراءة، لكنها لا تُظهر أنه سيُستشهد بها. فذلك يعتمد على جودة الإجابة مقارنة بالمصادر الأخرى. كرّر الفحوص من 2 إلى 5 بعد كل تغيير في جدار الحماية أو CDN أو القالب أو نظام إدارة المحتوى، لأن هذه التغييرات هي التي تُبطلها بصمت.
يجري AISeeWhy معظم هذه الفحوص دفعة واحدة: يجلب الصفحة بصفة 16 زاحفاً للذكاء الاصطناعي والبحث إلى جانب متصفح حقيقي، ويطبّق robots.txt لكل زاحف، ويقرأ HTML والترميز وcanonical والتواريخ. يعرض الفحص المجاني التقييم وأول ملاحظة، ويسرد التقرير الكامل كل مشكلة مع حل جاهز.
إصلاحات لهذه المشكلة
- OAI-SearchBot محظور
- محتوى الصفحة يحتاج إلى JavaScript
- قوائم مكتوبة كنص عادي
- لا تبدأ الأقسام بإجابة قصيرة: 2 من 3
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فاحص ومدقق llms.txt
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
الأسئلة الشائعة
هل أحتاج إلى إجراء هذه الفحوص على كل صفحة؟
أجرِ الفحوص من 1 إلى 5 على كل صفحة جديدة، لأن عنواناً واحداً قد يُحظر أو يحمل noindex منسياً. أما الفحوص من 6 إلى 11 فتعتمد غالباً على القالب، لذا أجرِها مرة لكل نوع صفحة وافحص الصفحات الجديدة بالعيّنة.
لماذا لا أستطيع إرسال صفحة إلى ChatGPT أو Claude كما أفعل مع Google؟
لا توفّر OpenAI وAnthropic وPerplexity أداة لإرسال عناوين صفحات الويب. فزواحفها تجد الصفحات بتتبع الروابط وعبر البحث، لذا فما تتحكم فيه هو الروابط الداخلية وsitemap والوصول المفتوح لـ OAI-SearchBot وClaude-SearchBot وPerplexityBot.
صفحتي تجتاز الفحوص الاثني عشر كلها. لماذا لا يُستشهد بها بعد؟
تجعل الفحوص الصفحة قابلة للقراءة، لا مفضّلة. فالمساعد يختار المصادر التي تجيب عن السؤال بأفضل شكل، لذا قارن صفحتك بالصفحات التي يستشهد بها: هل تجيب أسرع، أو تذكر الأسعار والمواصفات نصاً، أو تقدّم بيانات تفتقر إليها صفحتك.
متى تزور زواحف الذكاء الاصطناعي الصفحة بعد نشرها؟
لا تنشر أي جهة جدولاً زمنياً. تُظهر سجلات خادمك متى يطلب OAI-SearchBot أو Claude-SearchBot أو PerplexityBot العنوان لأول مرة، ويبيّن دليلنا عن فحص سجلات الخادم بحثاً عن زواحف الذكاء الاصطناعي كيف تجدها.
المصادر
- RFC 9309: بروتوكول استبعاد الروبوتات
- OpenAI: نظرة عامة على زواحف OpenAI
- Anthropic: هل تزحف Anthropic إلى بيانات الويب، وكيف يمكن لأصحاب المواقع حظر الزاحف؟
- Perplexity: زواحف Perplexity
- Google Search Central: ميزات الذكاء الاصطناعي وموقعك
- Google Search Central: وسم robots الوصفي وdata-nosnippet وX-Robots-Tag
- Google Search Central: كيفية تحديد عنوان URL أساسي
- Google Search Central: التأثير في تواريخ النشر
- Google Search Central: إنشاء ملف sitemap وإرساله
- Sitemaps.org: تنسيق Sitemaps XML
- Google Search Central: إخبار Google بالنسخ المترجمة من صفحتك
- مساعدة Google Search Console: أداة URL Inspection
- Bing: IndexNow، البدء
- مساعدة Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: أساسيات JavaScript SEO