12 بررسی AEO که باید پیش از انتشار هر صفحه انجام دهید (2027)
پیش از انتشار، مطمئن شوید نشانی بدون ریدایرکت 200 برمیگرداند، robots.txt به همه خزندههای جستجوی هوش مصنوعی اجازه میدهد، فایروال صفحه واقعی را به آنها میدهد و پاسخ در HTML خام هست. سپس noindex یا nosnippet جامانده، یک canonical، پاسخ زیر H1، JSON-LD معتبر و منطبق، تاریخهای یکسان، ورودی sitemap با لینک داخلی و hreflang را بررسی کنید و درخواست ایندکس بدهید.
بیشتر صفحههایی که هرگز در پاسخهای هوش مصنوعی دیده نمیشوند به خاطر چیزی کسلکننده شکست میخورند: یک noindex جامانده، یک قانون فایروال، یک canonical که به محیط آزمایشی اشاره میکند. این دوازده بررسی پیش از انتشار اینها را پیدا میکنند. هرکدام چند دقیقه طول میکشد، بیشترشان به چیزی جز ترمینال و نشانی صفحه نیاز ندارند و به همان ترتیبی آمدهاند که خزنده با آنها روبهرو میشود.
در این صفحه
- هر بررسی چقدر طول میکشد؟
- 1. نشانی بدون زنجیره ریدایرکت 200 برمیگرداند
- 2. robots.txt صفحه را برای هر خزنده جستجوی هوش مصنوعی مجاز میکند
- 3. فایروال صفحه واقعی را به خزندههای هوش مصنوعی میدهد
- 4. پاسخ در HTML خام هست
- 5. هیچ noindex یا nosnippet جاماندهای نیست
- 6. یک نشانی canonical، مطلق و اشارهکننده به خود صفحه
- 7. عنوان و H1 میگویند صفحه به چه پاسخ میدهد و پاسخ درست زیرشان است
- 8. JSON-LD بدون خطا تجزیه میشود و با متن قابل مشاهده منطبق است
- 9. تاریخ نمایشدادهشده، تاریخهای نشانهگذاری و lastmod در sitemap یکی هستند
- 10. صفحه در sitemap هست و از صفحههای مرتبط به آن لینک داده شده
- 11. hreflang دوطرفه است و x-default دارد
- 12. از موتورهای جستجو بخواهید صفحه تازه را خزش کنند
- این بررسیها را چطور انتخاب کردیم
هر بررسی چقدر طول میکشد؟
برآوردی تقریبی برای یک صفحه، با ابزاری که لازم دارید. بررسیهای 1 تا 5 را روی همه صفحهها انجام دهید و بقیه را یک بار برای هر قالب، و بعد نمونهای بررسی کنید.
- 1. وضعیت 200: 1 دقیقه، curl.
- 2. robots.txt برای هر خزنده: 3 دقیقه، مرورگر یا curl.
- 3. پاسخ فایروال: 3 دقیقه، curl.
- 4. متن در HTML خام: 2 دقیقه، curl.
- 5. نبود noindex یا nosnippet جامانده: 2 دقیقه، curl.
- 6. یک canonical: 2 دقیقه، view-source.
- 7. عنوان، H1 و پاسخ کوتاه: 5 دقیقه، خواندن صفحه.
- 8. JSON-LD معتبر و منطبق: 5 دقیقه، Rich Results Test یا Schema Markup Validator.
- 9. یکسان بودن تاریخها: 3 دقیقه، صفحه، نشانهگذاری و sitemap.
- 10. sitemap و لینکهای داخلی: 5 دقیقه، sitemap.xml و CMS شما.
- 11. hreflang: 5 دقیقه، فقط برای سایتهای چندزبانه.
- 12. درخواست ایندکس: 2 دقیقه، Search Console و IndexNow.
1. نشانی بدون زنجیره ریدایرکت 200 برمیگرداند
خزنده باید خود صفحه را با وضعیت 200 روی همان نشانی دقیقی بگیرد که به اشتراک میگذارید و در sitemap میآورید. هر ریدایرکت یک مرحله دیگر است که ممکن است شکست بخورد، و صفحهای که با 200 و پیام "پیدا نشد" پاسخ میدهد یک soft 404 است که موتورهای جستجو ممکن است کنارش بگذارند.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ نتیجه درست: 200 redirects=0 و همان نشانی. رفع مشکل: به نشانی نهایی لینک دهید و همان را فهرست کنید، و از نشانیهای قدیمی حداکثر یک ریدایرکت نگه دارید.
2. robots.txt صفحه را برای هر خزنده جستجوی هوش مصنوعی مجاز میکند
robots.txt را همانطور بخوانید که هر خزنده میخواند. گروهی که نام یک خزنده را میآورد برای آن جای گروه User-agent: * را میگیرد، و طبق RFC 9309 طولانیترین قانون منطبق برنده است و در حالت برابر Allow برنده میشود.
دستکم OAI-SearchBot، Claude-SearchBot، Claude-User، PerplexityBot و Googlebot را بررسی کنید. بخشی تازه مثل /guides/ ممکن است گرفتار یک قانون قدیمی Disallow: /g شود، چون قوانین با پیشوند مسیر تطبیق داده میشوند. همچنین مطمئن شوید خود robots.txt کد 200 یا 404 برمیگرداند: طبق RFC 9309 خطای سرور یعنی خزندهها باید فرض کنند کل سایت ممنوع است.
نتیجه درست: هیچ قانونی برای این توکنها مسیر را ممنوع نمیکند. راهنمای ما درباره آزمایش robots.txt نشان میدهد چطور یک نشانی را برای یک خزنده آزمایش کنید.
3. فایروال صفحه واقعی را به خزندههای هوش مصنوعی میدهد
صفحه را یک بار با user agent مرورگر و یک بار با user agent خزندهها درخواست کنید و وضعیت و حجم را مقایسه کنید. محافظ رباتی که روی نام تطبیق میدهد ممکن است فقط به خزندهها 403، 429 یا صفحه چالش برگرداند.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done نتیجه درست: هر خط 200 و حجمی مشابه نشان میدهد. حجم خیلی کوچکتر معمولاً یعنی صفحه چالش. این رشتهها قوانینی را آزمایش میکنند که روی نام تطبیق میدهند؛ خزندههای واقعی از بازههای IP منتشرشده هم میآیند و آزمایش از دستگاه خودتان نمیتواند آن را بازسازی کند، پس قوانین مجازسازی فایروال برای آن بازهها را هم بررسی کنید.
4. پاسخ در HTML خام هست
در HTML که سرور میفرستد دنبال جملهای از پاسختان بگردید. بازرس عناصر مرورگر صفحه را پس از اجرای اسکریپتها نشان میدهد، و این چیزی نیست که بیشتر خزندهها میگیرند.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" نتیجه درست: 1 یا بیشتر. 0 یعنی متن با JavaScript اضافه میشود، و OpenAI، Anthropic و Perplexity مستند نکردهاند که خزندههایشان آن را اجرا میکنند. آن را روی سرور یا هنگام build رندر کنید؛ راهنمای ما درباره محتوای JavaScript و خزندههای هوش مصنوعی گزینهها را فهرست میکند.
5. هیچ noindex یا nosnippet جاماندهای نیست
سایتهای آزمایشی اغلب با noindex منتشر میشوند و یک قالب میتواند آن را به محیط اصلی ببرد. هم تگ متای robots و هم هدر HTTP X-Robots-Tag را بررسی کنید، چون هرکدام کافی است.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html نتیجه درست: چیزی چاپ نمیشود، یا فقط index, follow و موارد مشابه. Google میگوید صفحه برای نمایش در AI Overviews و AI Mode باید ایندکس شده و واجد شرایط snippet باشد، و nosnippet همچنین جلوی استفاده از آن بهعنوان ورودی مستقیمشان را میگیرد.
6. یک نشانی canonical، مطلق و اشارهکننده به خود صفحه
صفحه باید دقیقاً یک rel="canonical" با نشانی مطلق اعلام کند که به نشانی منتشرشده اشاره کند. Google canonical را سیگنالی قوی میداند، نه دستور، و درباره نشانیهای نسبی و سیگنالهای متناقض، مثل sitemap که نشانی دیگری را فهرست میکند، هشدار میدهد.
اشتباههای رایج هنگام انتشار اینها هستند: canonical که از یک صفحه قالب کپی شده، canonical که هنوز به میزبان آزمایشی اشاره میکند، و دو تگ canonical که همزمان از قالب و یک افزونه میآیند.
نتیجه درست: یک تگ، نشانی زنده، همان پروتکل و میزبانی که در sitemap آمده است.
7. عنوان و H1 میگویند صفحه به چه پاسخ میدهد و پاسخ درست زیرشان است
بالای صفحه را مثل یک غریبه بخوانید. عنوان و H1 باید پرسش یا موضوع را با کلماتی بگویند که خریداران به کار میبرند، و دو یا سه جمله اول زیر H1 باید کامل به آن پاسخ دهند.
عنوان را حدود 60 نویسه نگه دارید تا احتمال بریده شدنش در نتایج جستجو کمتر شود. پاسخ کوتاه را طوری بنویسید که وقتی تنها نقل شود هم معنا داشته باشد، با عدد، واحد و نام محصول بهصراحت.
نتیجه درست: کسی که فقط پاراگراف اول را میخواند پاسخ را دارد. فهرست ما از راههای استناد شدن در پاسخهای هوش مصنوعی نوشتن برای نقلقول را عمیقتر توضیح میدهد.
8. JSON-LD بدون خطا تجزیه میشود و با متن قابل مشاهده منطبق است
JSON-LD خراب بهطور کامل نادیده گرفته میشود، پس یک ویرگول جاافتاده همه آن را حذف میکند. نشانی را در Rich Results Test گوگل یا Schema Markup Validator بچسبانید و همه خطاها را رفع کنید.
سپس مقدارها را با صفحه مقایسه کنید. سرتیتر، تاریخها، قیمت، ارز و نام سازمان در نشانهگذاری باید همانهایی باشند که خواننده میبیند. Google میگوید برای قابلیتهای هوش مصنوعیاش نشانهگذاری خاصی لازم نیست و داده ساختاریافته باید با متن قابل مشاهده مطابقت داشته باشد.
نتیجه درست: بدون خطا، و هر مقدار روی صفحه دیده میشود. از آن بگذرید اگر: برای این نوع صفحه نشانهگذاری مناسبی وجود ندارد؛ صفحه ساده از نشانهگذاری غلط بهتر است.
9. تاریخ نمایشدادهشده، تاریخهای نشانهگذاری و lastmod در sitemap یکی هستند
روی صفحه تاریخی با برچسب نشان دهید، همان تاریخها را در datePublished و dateModified به کار ببرید و lastmod در sitemap را روی آخرین تغییر مهم بگذارید. Google میخواهد تاریخهای نمایشدادهشده و نشانهگذاریشده یکی باشند و میگوید فقط وقتی از lastmod استفاده میکند که بهطور مداوم و قابل تأیید دقیق باشد.
تولیدکننده sitemap که در هر build تاریخ امروز را روی همه نشانیها میزند، lastmod را برای همه صفحهها بیفایده میکند، نه فقط برای صفحه تازه.
نتیجه درست: سه جا، یک تاریخ.
10. صفحه در sitemap هست و از صفحههای مرتبط به آن لینک داده شده
خزندهها صفحهها را از راه لینکها و sitemap پیدا میکنند. نشانی تازه را با همان نشانی canonical دقیق به XML sitemap اضافه کنید و دستکم از دو صفحه مرتبط و یک صفحه مادر یا فهرست به آن لینک دهید.
هر فایل sitemap میتواند تا 50000 نشانی و 50 MB بدون فشردهسازی داشته باشد؛ سایتهای بزرگتر به sitemap index نیاز دارند. Google میگوید priority و changefreq را نادیده میگیرد، پس برایشان وقت نگذارید. صفحهای که هیچ لینک داخلی ندارد صفحه یتیم است و خزندهها ممکن است دیر یا هرگز پیدایش نکنند.
نتیجه درست: نشانی در sitemap هست و دستکم دو صفحه با متن لینک توصیفی به آن لینک دادهاند.
11. hreflang دوطرفه است و x-default دارد
اگر صفحه به چند زبان وجود دارد، هر نسخه باید همه نسخهها، از جمله خودش، را فهرست کند و هرکدام باید به دیگری لینک برگشت داشته باشد. Google حاشیهنویسیهای hreflang را که از طرف دیگر تأیید نشدهاند نادیده میگیرد. برای نسخهای که وقتی هیچ زبانی منطبق نیست نشان داده میشود x-default اضافه کنید.
از آن بگذرید اگر: سایت فقط یک زبان دارد. راهنمای ما درباره hreflang x-default توضیح میدهد کی به آن نیاز دارید.
12. از موتورهای جستجو بخواهید صفحه تازه را خزش کنند
وقتی صفحه منتشر شد و بررسیهای بالا را گذراند، به موتورهای جستجو خبر دهید. در Google Search Console، URL Inspection را روی نشانی تازه اجرا کنید و Request indexing را بزنید. برای Bing و موتورهای دیگری که از IndexNow پشتیبانی میکنند، نشانی را با کلید خود به endpoint مربوط به IndexNow بفرستید؛ Bing یادآوری میکند که این کار خزش یا ایندکس را تضمین نمیکند.
دستیارهای هوش مصنوعی فرم ارسال ندارند. خزندههایشان صفحه را از راه لینکها و جستجو پیدا میکنند، و به همین دلیل بررسیهای 2، 3 و 10 مهماند. اگر فایل llms.txt منتشر میکنید، صفحه را آنجا هم اضافه کنید؛ Google میگوید جستجویش از آن استفاده نمیکند، پس آن را اختیاری بدانید.
نتیجه درست: URL Inspection نشان میدهد صفحه زنده قابل ایندکس است.
این بررسیها را چطور انتخاب کردیم
فهرست مسیری را دنبال میکند که خزنده طی میکند: رسیدن به نشانی، خواندن robots.txt، گذشتن از فایروال، خواندن HTML و سپس تفسیر آن. هر بررسی بر پایه چیزی است که OpenAI، Anthropic، Perplexity و Google درباره خزندههایشان مستند کردهاند، بر پایه RFC 9309 برای robots.txt و بر پایه راهنمای Google برای canonical، تاریخها، sitemap و hreflang. بررسیهایی را که اثر مستندی بر پاسخهای هوش مصنوعی ندارند، مثل تراکم کلمه کلیدی یا هدف تعداد کلمات، کنار گذاشتیم.
این بررسیها نشان میدهند صفحه قابل خواندن است؛ نمیتوانند نشان دهند که به آن استناد خواهد شد. آن به کیفیت پاسخ در مقایسه با منبعهای دیگر بستگی دارد. بررسیهای 2 تا 5 را پس از هر تغییر در فایروال، CDN، قالب یا CMS تکرار کنید، چون همین تغییرها هستند که بیصدا آنها را خراب میکنند.
AISeeWhy بیشتر این بررسیها را یکجا انجام میدهد: صفحه را در نقش 16 خزنده هوش مصنوعی و جستجو در کنار یک مرورگر واقعی دریافت میکند، robots.txt را برای هر خزنده اعمال میکند و HTML، نشانهگذاری، canonical و تاریخها را میخواند. بررسی رایگان امتیاز و اولین یافته را نشان میدهد؛ گزارش کامل هر مشکل را با راهحل آماده فهرست میکند.
راهحلهای این مشکل
- OAI-SearchBot مسدود است
- محتوای صفحه به JavaScript نیاز دارد
- فهرستهایی که به صورت متن ساده نوشته شدهاند
- بخشها با پاسخ کوتاه شروع نمیشوند: 2 از 3
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسیکننده و اعتبارسنج llms.txt
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا باید این بررسیها را روی همه صفحهها انجام دهم؟
بررسیهای 1 تا 5 را روی هر صفحه تازه انجام دهید، چون یک نشانی تنها ممکن است مسدود شود یا noindex جامانده داشته باشد. بررسیهای 6 تا 11 بیشتر به قالب بستگی دارند، پس آنها را یک بار برای هر نوع صفحه انجام دهید و صفحههای تازه را نمونهای بررسی کنید.
چرا نمیتوانم مثل Google صفحهای را به ChatGPT یا Claude ارسال کنم؟
OpenAI، Anthropic و Perplexity ابزاری برای ارسال نشانی صفحههای وب ارائه نمیدهند. خزندههایشان صفحهها را با دنبال کردن لینکها و از راه جستجو پیدا میکنند، پس آنچه در اختیار شماست لینکهای داخلی، sitemap و دسترسی باز برای OAI-SearchBot، Claude-SearchBot و PerplexityBot است.
صفحهام هر دوازده بررسی را میگذراند. چرا هنوز به آن استناد نمیشود؟
این بررسیها صفحه را خواندنی میکنند، نه برگزیده. دستیار منبعهایی را انتخاب میکند که بهتر از همه به پرسش پاسخ میدهند، پس صفحهتان را با صفحههایی که به آنها استناد میکند مقایسه کنید: آیا زودتر پاسخ میدهند، قیمت یا مشخصات را بهصورت متن میآورند یا دادهای دارند که صفحه شما ندارد.
خزندههای هوش مصنوعی چقدر پس از انتشار سر میزنند؟
هیچ شرکتی زمانبندی منتشر نمیکند. لاگهای سرور شما نشان میدهند OAI-SearchBot، Claude-SearchBot یا PerplexityBot اولین بار کی نشانی را درخواست کردهاند؛ راهنمای ما درباره بررسی لاگهای سرور برای خزندههای هوش مصنوعی نشان میدهد چطور پیدایشان کنید.
منابع
- RFC 9309: پروتکل Robots Exclusion
- OpenAI: مروری بر خزندههای OpenAI
- Anthropic: آیا Anthropic دادههای وب را خزش میکند و صاحبان سایت چطور میتوانند خزنده را مسدود کنند؟
- Perplexity: خزندههای Perplexity
- Google Search Central: قابلیتهای هوش مصنوعی و وبسایت شما
- Google Search Central: تگ متای robots، data-nosnippet و X-Robots-Tag
- Google Search Central: چطور نشانی canonical را مشخص کنیم
- Google Search Central: اثرگذاری بر تاریخهای انتشار
- Google Search Central: ساخت و ارسال sitemap
- Sitemaps.org: قالب Sitemaps XML
- Google Search Central: معرفی نسخههای بومیشده صفحه به Google
- راهنمای Google Search Console: ابزار URL Inspection
- Bing: شروع کار با IndexNow
- راهنمای Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: مبانی JavaScript SEO