صفحہ شائع کرنے سے پہلے کرنے کی 12 AEO جانچیں (2027)
شائع کرنے سے پہلے تصدیق کریں کہ URL بغیر ری ڈائریکٹ کے 200 دیتا ہے، robots.txt ہر AI سرچ کرالر کو اجازت دیتا ہے، فائر وال انہیں اصل صفحہ دیتا ہے، اور جواب خام HTML میں ہے۔ پھر بھولا ہوا noindex یا nosnippet، ایک canonical، H1 کے نیچے جواب، درست اور مطابق JSON-LD، یکساں تاریخیں، اندرونی لنکس کے ساتھ sitemap اندراج اور hreflang جانچیں، اور انڈیکسنگ کی درخواست دیں۔
جو صفحات کبھی AI جوابات میں نظر نہیں آتے، ان میں سے زیادہ تر کسی اکتا دینے والی چیز پر ناکام ہوتے ہیں: بھولا ہوا noindex، فائر وال کا کوئی اصول، اسٹیجنگ کی طرف اشارہ کرتا canonical۔ یہ بارہ جانچیں لانچ سے پہلے انہیں پکڑ لیتی ہیں۔ ہر ایک میں چند منٹ لگتے ہیں، زیادہ تر کے لیے ٹرمینل اور صفحے کے URL کے سوا کچھ نہیں چاہیے، اور یہ اسی ترتیب میں ہیں جس میں کرالر ان سے گزرتا ہے۔
اس صفحے پر
- ہر جانچ میں کتنا وقت لگتا ہے؟
- 1. URL ری ڈائریکٹ چین کے بغیر 200 دیتا ہے
- 2. robots.txt ہر AI سرچ کرالر کے لیے صفحے کی اجازت دیتا ہے
- 3. فائر وال AI کرالرز کو اصل صفحہ دیتا ہے
- 4. جواب خام HTML میں ہے
- 5. کوئی noindex یا nosnippet باقی نہیں رہا
- 6. ایک canonical URL، مطلق اور خود اپنی طرف اشارہ کرتا
- 7. ٹائٹل اور H1 بتاتے ہیں کہ صفحہ کس بات کا جواب دیتا ہے، اور جواب ان کے فوراً نیچے ہے
- 8. JSON-LD پارس ہوتا ہے اور نظر آنے والے متن سے ملتا ہے
- 9. نظر آنے والی تاریخ، مارک اپ کی تاریخیں اور sitemap کا lastmod یکساں ہیں
- 10. صفحہ sitemap میں ہے اور متعلقہ صفحات سے لنک ہے
- 11. hreflang باہمی ہے، x-default کے ساتھ
- 12. سرچ انجنز سے نیا صفحہ کرال کرنے کو کہیں
- ہم نے یہ جانچیں کیسے چنیں
ہر جانچ میں کتنا وقت لگتا ہے؟
ایک صفحے کے لیے موٹا اندازہ، ضروری ٹول کے ساتھ۔ جانچیں 1 سے 5 ہر صفحے پر کریں؛ باقی ہر ٹیمپلیٹ کے لیے ایک بار، پھر نمونے کے طور پر۔
- 1. اسٹیٹس 200: 1 منٹ، curl۔
- 2. ہر کرالر کے لیے robots.txt: 3 منٹ، براؤزر یا curl۔
- 3. فائر وال کا جواب: 3 منٹ، curl۔
- 4. خام HTML میں متن: 2 منٹ، curl۔
- 5. کوئی بھولا ہوا noindex یا nosnippet نہیں: 2 منٹ، curl۔
- 6. ایک canonical: 2 منٹ، view-source۔
- 7. ٹائٹل، H1 اور مختصر جواب: 5 منٹ، صفحہ پڑھ کر۔
- 8. JSON-LD درست اور مطابق: 5 منٹ، Rich Results Test یا Schema Markup Validator۔
- 9. تاریخیں یکساں: 3 منٹ، صفحہ، مارک اپ اور sitemap۔
- 10. sitemap اور اندرونی لنکس: 5 منٹ، sitemap.xml اور آپ کا CMS۔
- 11. hreflang: 5 منٹ، صرف کثیر لسانی سائٹس کے لیے۔
- 12. انڈیکسنگ کی درخواست: 2 منٹ، Search Console اور IndexNow۔
1. URL ری ڈائریکٹ چین کے بغیر 200 دیتا ہے
کرالر کو وہی صفحہ اسٹیٹس 200 کے ساتھ اسی URL پر ملنا چاہیے جو آپ شیئر کریں گے اور sitemap میں درج کریں گے۔ ہر ری ڈائریکٹ ایک اور قدم ہے جو ناکام ہو سکتا ہے، اور جو صفحہ "نہیں ملا" کے پیغام کے ساتھ 200 دے وہ soft 404 ہے جسے سرچ انجن نکال سکتے ہیں۔
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ درست نتیجہ: 200 redirects=0 اور وہی URL واپس۔ حل: آخری URL کا لنک دیں اور وہی درج کریں، اور پرانے پتوں سے زیادہ سے زیادہ ایک ری ڈائریکٹ رکھیں۔
2. robots.txt ہر AI سرچ کرالر کے لیے صفحے کی اجازت دیتا ہے
robots.txt کو ویسے پڑھیں جیسے ہر کرالر پڑھے گا۔ جو گروپ کسی کرالر کا نام لیتا ہے وہ اس کے لیے User-agent: * گروپ کی جگہ لے لیتا ہے، اور RFC 9309 کے تحت سب سے لمبا ملنے والا اصول جیتتا ہے، اور برابری پر Allow جیتتا ہے۔
کم از کم OAI-SearchBot، Claude-SearchBot، Claude-User، PerplexityBot اور Googlebot جانچیں۔ /guides/ جیسا نیا سیکشن کسی پرانے Disallow: /g اصول میں پھنس سکتا ہے، کیونکہ اصول پاتھ کے سابقوں سے ملتے ہیں۔ یہ بھی تصدیق کریں کہ robots.txt خود 200 یا 404 دیتا ہے: RFC 9309 کے تحت سرور کی خرابی کا مطلب ہے کہ کرالرز پوری سائٹ کو ممنوع سمجھیں۔
درست نتیجہ: ان میں سے کسی ٹوکن کا کوئی اصول اس پاتھ کو ممنوع نہیں کرتا۔ robots.txt ٹیسٹ کرنے پر ہماری گائیڈ دکھاتی ہے کہ ایک کرالر کے لیے ایک URL کیسے ٹیسٹ کریں۔
3. فائر وال AI کرالرز کو اصل صفحہ دیتا ہے
صفحے کو براؤزر یوزر ایجنٹ اور کرالر یوزر ایجنٹس کے ساتھ مانگیں، پھر اسٹیٹس اور سائز کا موازنہ کریں۔ نام سے ملانے والی بوٹ پروٹیکشن صرف کرالرز کو 403، 429 یا چیلنج صفحہ دے سکتی ہے۔
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done درست نتیجہ: ہر لائن میں 200 اور ملتا جلتا سائز ہو۔ بہت چھوٹا سائز عموماً چیلنج صفحے کا مطلب ہے۔ یہ اسٹرنگز نام سے ملنے والے اصول ٹیسٹ کرتی ہیں؛ اصل کرالرز شائع شدہ IP رینجز سے بھی آتے ہیں، جسے آپ کی اپنی مشین سے ٹیسٹ دوبارہ پیدا نہیں کر سکتا، اس لیے ان رینجز کے لیے اپنے فائر وال کے اجازت والے اصول بھی جانچیں۔
4. جواب خام HTML میں ہے
سرور جو HTML بھیجتا ہے اس میں اپنے جواب کا کوئی جملہ تلاش کریں۔ براؤزر کا ایلیمنٹ انسپیکٹر اسکرپٹس چلنے کے بعد کا صفحہ دکھاتا ہے، جو زیادہ تر کرالرز کو نہیں ملتا۔
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" درست نتیجہ: 1 یا زیادہ۔ 0 کا مطلب ہے کہ متن JavaScript سے شامل ہوتا ہے، اور OpenAI، Anthropic اور Perplexity یہ دستاویز نہیں کرتے کہ ان کے کرالرز اسے چلاتے ہیں۔ اسے سرور پر یا بلڈ کے وقت رینڈر کریں؛ JavaScript مواد اور AI کرالرز پر ہماری گائیڈ میں آپشنز درج ہیں۔
5. کوئی noindex یا nosnippet باقی نہیں رہا
اسٹیجنگ سائٹس اکثر noindex کے ساتھ آتی ہیں، اور کوئی ٹیمپلیٹ اسے پروڈکشن تک لے جا سکتا ہے۔ robots میٹا ٹیگ اور X-Robots-Tag HTTP ہیڈر دونوں جانچیں، کیونکہ دونوں میں سے کوئی بھی کافی ہے۔
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html درست نتیجہ: کچھ پرنٹ نہ ہو، یا صرف index, follow اور اس جیسا۔ Google کہتا ہے کہ AI Overviews اور AI Mode میں آنے کے لیے صفحے کا انڈیکس شدہ اور snippet کا اہل ہونا ضروری ہے، اور nosnippet ان کے براہ راست ان پٹ کے طور پر استعمال کو بھی روکتا ہے۔
6. ایک canonical URL، مطلق اور خود اپنی طرف اشارہ کرتا
صفحے کو بالکل ایک rel="canonical" بتانا چاہیے، مطلق URL کے طور پر، جو اسی URL کی طرف اشارہ کرے جو آپ شائع کرتے ہیں۔ Google canonical کو مضبوط اشارہ کہتا ہے، حکم نہیں، اور نسبتی URLs اور متضاد اشاروں سے خبردار کرتا ہے، جیسے کوئی sitemap جو دوسرا پتہ درج کرے۔
لانچ کی عام غلطیاں یہ ہیں: ٹیمپلیٹ صفحے سے نقل کیا گیا canonical، ایسا canonical جو ابھی تک اسٹیجنگ ہوسٹ کی طرف اشارہ کرے، اور تھیم اور پلگ ان دونوں سے بیک وقت دو canonical ٹیگ۔
درست نتیجہ: ایک ٹیگ، لائیو URL، وہی پروٹوکول اور ہوسٹ جو sitemap میں ہے۔
7. ٹائٹل اور H1 بتاتے ہیں کہ صفحہ کس بات کا جواب دیتا ہے، اور جواب ان کے فوراً نیچے ہے
صفحے کا اوپری حصہ ایسے پڑھیں جیسے کوئی اجنبی پڑھے گا۔ ٹائٹل اور H1 میں سوال یا موضوع خریداروں کے الفاظ میں ہونا چاہیے، اور H1 کے نیچے پہلے دو یا تین جملوں کو اس کا پورا جواب دینا چاہیے۔
ٹائٹل تقریباً 60 حروف تک رکھیں تاکہ سرچ نتائج میں اس کے کٹنے کا امکان کم ہو۔ مختصر جواب ایسے لکھیں کہ اکیلے نقل ہونے پر بھی سمجھ آئے، اور اعداد، اکائیاں اور پروڈکٹ کا نام صاف لکھیں۔
درست نتیجہ: جو صرف پہلا پیراگراف پڑھے اسے جواب مل جائے۔ AI جوابات میں حوالہ پانے کے طریقوں کی ہماری فہرست اقتباس کے لیے لکھنے کو زیادہ تفصیل سے بیان کرتی ہے۔
8. JSON-LD پارس ہوتا ہے اور نظر آنے والے متن سے ملتا ہے
خراب JSON-LD پورا کا پورا نظر انداز ہو جاتا ہے، اس لیے ایک کوما کی کمی سب کچھ ختم کر دیتی ہے۔ URL کو Google کے Rich Results Test یا Schema Markup Validator میں پیسٹ کریں اور ہر خرابی ٹھیک کریں۔
پھر اقدار کا صفحے سے موازنہ کریں۔ مارک اپ میں ہیڈ لائن، تاریخیں، قیمت، کرنسی اور ادارے کا نام وہی ہونے چاہییں جو قاری دیکھتا ہے۔ Google کہتا ہے کہ اس کے AI فیچرز کے لیے کوئی خاص مارک اپ ضروری نہیں، اور اسٹرکچرڈ ڈیٹا کو نظر آنے والے متن سے ملنا چاہیے۔
درست نتیجہ: کوئی خرابی نہیں، اور ہر قدر صفحے پر نظر آتی ہے۔ چھوڑ دیں اگر: اس قسم کے صفحے کے لیے کوئی موزوں مارک اپ نہیں؛ غلط مارک اپ سے سادہ صفحہ بہتر ہے۔
9. نظر آنے والی تاریخ، مارک اپ کی تاریخیں اور sitemap کا lastmod یکساں ہیں
صفحے پر لیبل کے ساتھ تاریخ دکھائیں، وہی تاریخیں datePublished اور dateModified میں استعمال کریں، اور sitemap کا lastmod آخری اہم تبدیلی پر رکھیں۔ Google چاہتا ہے کہ نظر آنے والی اور مارک اپ والی تاریخیں ایک ہوں، اور کہتا ہے کہ وہ lastmod صرف تب استعمال کرتا ہے جب وہ مسلسل اور قابل تصدیق حد تک درست ہو۔
جو sitemap جنریٹر ہر بلڈ پر ہر URL پر آج کی تاریخ لگا دے، وہ lastmod کو صرف نئے صفحے کے لیے نہیں بلکہ سب صفحات کے لیے بے کار کر دیتا ہے۔
درست نتیجہ: تین جگہیں، ایک تاریخ۔
10. صفحہ sitemap میں ہے اور متعلقہ صفحات سے لنک ہے
کرالرز لنکس اور sitemaps کے ذریعے صفحات تلاش کرتے ہیں۔ نیا URL، بالکل canonical URL کے ساتھ، اپنے XML sitemap میں شامل کریں، اور کم از کم دو متعلقہ صفحات اور ایک ہب یا انڈیکس صفحے سے اس کا لنک دیں۔
ایک sitemap فائل میں زیادہ سے زیادہ 50,000 URLs اور بغیر کمپریشن 50 MB ہو سکتے ہیں؛ بڑی سائٹس کو sitemap index چاہیے۔ Google کہتا ہے کہ وہ priority اور changefreq کو نظر انداز کرتا ہے، اس لیے ان پر وقت نہ لگائیں۔ جس صفحے کا کوئی اندرونی لنک نہ ہو وہ یتیم صفحہ ہے جسے کرالرز دیر سے یا کبھی نہیں پاتے۔
درست نتیجہ: URL، sitemap میں ہے اور کم از کم دو صفحات وضاحتی اینکر ٹیکسٹ کے ساتھ اس کا لنک دیتے ہیں۔
11. hreflang باہمی ہے، x-default کے ساتھ
اگر صفحہ کئی زبانوں میں ہے تو ہر ورژن کو تمام ورژنز درج کرنے چاہییں، بشمول خود کے، اور ہر ایک کو واپس لنک دینا چاہیے۔ Google ان hreflang اندراجات کو نظر انداز کرتا ہے جن کی دوسری طرف سے تصدیق نہ ہو۔ اس ورژن کے لیے x-default شامل کریں جو کسی زبان کے نہ ملنے پر دکھایا جائے۔
چھوڑ دیں اگر: سائٹ ایک ہی زبان میں ہے۔ hreflang x-default پر ہماری گائیڈ بتاتی ہے کہ اس کی ضرورت کب ہوتی ہے۔
12. سرچ انجنز سے نیا صفحہ کرال کرنے کو کہیں
جب صفحہ لائیو ہو جائے اور اوپر کی جانچیں پاس کر لے تو سرچ انجنز کو اس کے بارے میں بتائیں۔ Google Search Console میں نئے URL پر URL Inspection استعمال کریں اور Request indexing چنیں۔ Bing اور IndexNow سپورٹ کرنے والے دوسرے انجنز کے لیے URL اپنی key کے ساتھ IndexNow اینڈ پوائنٹ پر بھیجیں؛ Bing بتاتا ہے کہ اس سے کرالنگ یا انڈیکسنگ کی ضمانت نہیں ملتی۔
AI اسسٹنٹس کا کوئی سبمیشن فارم نہیں۔ ان کے کرالرز لنکس اور سرچ کے ذریعے صفحہ پاتے ہیں، اسی لیے جانچیں 2، 3 اور 10 اہم ہیں۔ اگر آپ llms.txt فائل شائع کرتے ہیں تو صفحہ وہاں بھی شامل کریں؛ Google کہتا ہے کہ اس کی سرچ اسے استعمال نہیں کرتی، اس لیے اسے اختیاری سمجھیں۔
درست نتیجہ: URL Inspection دکھائے کہ لائیو صفحہ انڈیکس ہو سکتا ہے۔
ہم نے یہ جانچیں کیسے چنیں
یہ فہرست اس راستے پر چلتی ہے جس سے کرالر گزرتا ہے: URL تک پہنچنا، robots.txt پڑھنا، فائر وال سے گزرنا، HTML پڑھنا، پھر اس کی تشریح کرنا۔ ہر جانچ اس پر مبنی ہے جو OpenAI، Anthropic، Perplexity اور Google اپنے کرالرز کے بارے میں دستاویز کرتے ہیں، robots.txt کے لیے RFC 9309 پر، اور canonical، تاریخوں، sitemaps اور hreflang کے لیے Google کی رہنمائی پر۔ ہم نے وہ جانچیں چھوڑ دیں جن کا AI جوابات پر کوئی دستاویزی اثر نہیں، جیسے کی ورڈ ڈینسٹی یا الفاظ کی تعداد کے اہداف۔
یہ جانچیں دکھاتی ہیں کہ صفحہ پڑھا جا سکتا ہے؛ یہ نہیں دکھا سکتیں کہ اس کا حوالہ دیا جائے گا۔ یہ اس پر منحصر ہے کہ جواب دوسرے ذرائع کے مقابلے میں کتنا اچھا ہے۔ ہر فائر وال، CDN، تھیم یا CMS تبدیلی کے بعد جانچیں 2 سے 5 دہرائیں، کیونکہ یہی تبدیلیاں انہیں خاموشی سے بگاڑ دیتی ہیں۔
AISeeWhy ان میں سے زیادہ تر جانچیں ایک ہی بار میں کرتا ہے: یہ صفحے کو اصل براؤزر کے ساتھ ساتھ 16 AI اور سرچ کرالرز کے طور پر حاصل کرتا ہے، ہر کرالر کے لیے robots.txt لاگو کرتا ہے اور HTML، مارک اپ، canonical اور تاریخیں پڑھتا ہے۔ مفت جانچ اسکور اور پہلا نتیجہ دکھاتی ہے؛ مکمل رپورٹ ہر مسئلہ تیار حل کے ساتھ درج کرتی ہے۔
اس مسئلے کے حل
- OAI-SearchBot بلاک ہے
- صفحے کے مواد کو JavaScript درکار ہے
- فہرستیں سادہ متن کے طور پر لکھی گئی ہیں
- حصے مختصر جواب سے شروع نہیں ہوتے: 3 میں سے 2
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- llms.txt چیکر اور ویلیڈیٹر
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا مجھے یہ جانچیں ہر صفحے پر کرنی ہوں گی؟
جانچیں 1 سے 5 ہر نئے صفحے پر کریں، کیونکہ ایک اکیلا URL بلاک ہو سکتا ہے یا اس میں بھولا ہوا noindex ہو سکتا ہے۔ جانچیں 6 سے 11 زیادہ تر ٹیمپلیٹ پر منحصر ہیں، اس لیے انہیں ہر قسم کے صفحے کے لیے ایک بار کریں اور نئے صفحات کو نمونے کے طور پر جانچیں۔
میں Google کی طرح ChatGPT یا Claude کو صفحہ کیوں نہیں بھیج سکتا؟
OpenAI، Anthropic اور Perplexity ویب صفحات کے لیے URL بھیجنے کا کوئی ٹول نہیں دیتے۔ ان کے کرالرز لنکس پر چل کر اور سرچ کے ذریعے صفحات پاتے ہیں، اس لیے آپ کے اختیار میں اندرونی لنکس، sitemap اور OAI-SearchBot، Claude-SearchBot اور PerplexityBot کے لیے کھلی رسائی ہے۔
میرا صفحہ بارہوں جانچیں پاس کرتا ہے۔ پھر بھی اس کا حوالہ کیوں نہیں آتا؟
یہ جانچیں صفحے کو پڑھنے کے قابل بناتی ہیں، ترجیحی نہیں۔ اسسٹنٹ وہ ذرائع چنتا ہے جو سوال کا بہترین جواب دیں، اس لیے اپنے صفحے کا ان صفحات سے موازنہ کریں جن کا وہ حوالہ دیتا ہے: کیا وہ جلدی جواب دیتے ہیں، قیمتیں یا تفصیلات متن میں لکھتے ہیں، یا ایسا ڈیٹا دیتے ہیں جو آپ کے پاس نہیں۔
شائع کرنے کے کتنی دیر بعد AI کرالرز آتے ہیں؟
کوئی کمپنی شیڈول شائع نہیں کرتی۔ آپ کے سرور لاگز دکھاتے ہیں کہ OAI-SearchBot، Claude-SearchBot یا PerplexityBot نے پہلی بار URL کب مانگا؛ AI کرالرز کے لیے سرور لاگز جانچنے پر ہماری گائیڈ بتاتی ہے کہ انہیں کیسے تلاش کریں۔
ماخذ
- RFC 9309: Robots Exclusion Protocol (روبوٹس کے اخراج کا پروٹوکول)
- OpenAI: OpenAI کرالرز کا جائزہ
- Anthropic: کیا Anthropic ویب سے ڈیٹا کرال کرتا ہے، اور سائٹ مالکان کرالر کو کیسے بلاک کر سکتے ہیں؟
- Perplexity: Perplexity کرالرز
- Google Search Central: AI فیچرز اور آپ کی ویب سائٹ
- Google Search Central: robots میٹا ٹیگ، data-nosnippet اور X-Robots-Tag
- Google Search Central: canonical URL کیسے بتائیں
- Google Search Central: اشاعت کی تاریخوں پر اثر ڈالنا
- Google Search Central: sitemap بنائیں اور جمع کرائیں
- Sitemaps.org: Sitemaps XML فارمیٹ
- Google Search Central: Google کو اپنے صفحے کے مقامی ورژنز کے بارے میں بتائیں
- Google Search Console مدد: URL Inspection ٹول
- Bing: IndexNow، آغاز کریں
- Google Search Console مدد: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: JavaScript SEO کی بنیادی باتیں