Sahifani chop etishdan oldin bajariladigan 12 ta AEO tekshiruvi (2027)
Chop etishdan oldin URL qayta yoʻnaltirishsiz 200 qaytarishini, robots.txt har bir AI qidiruv kraulerga ruxsat berishini, firewall ularga haqiqiy sahifani berishini va javob xom HTMLʼda ekanini tasdiqlang. Soʻng tasodifiy noindex yoki nosnippet yoʻqligini, bitta canonical, H1 ostidagi javobni, toʻgʻri va mos JSON-LD, mos sanalarni, ichki havolali sitemap yozuvini, hreflangʼni tekshiring va indekslashni soʻrang.
AI javoblarida hech qachon chiqmaydigan sahifalarning koʻpchiligi zerikarli narsada qoqiladi: qolib ketgan noindex, firewall qoidasi, stagingʼga ishora qiluvchi canonical. Bu oʻn ikki tekshiruv ularni ishga tushirishdan oldin ushlaydi. Har biri bir necha daqiqa oladi, koʻpchiligiga terminal va sahifa URLʼi yetarli, ular krauler duch keladigan tartibda berilgan.
Ushbu sahifada
- Har bir tekshiruv qancha vaqt oladi?
- 1. URL qayta yoʻnaltirish zanjirisiz 200 qaytaradi
- 2. robots.txt sahifaga har bir AI qidiruv krauleri uchun ruxsat beradi
- 3. Firewall AI kraulerlariga haqiqiy sahifani beradi
- 4. Javob xom HTMLʼda bor
- 5. Qolib ketgan noindex yoki nosnippet yoʻq
- 6. Bitta canonical URL, mutlaq va oʻziga ishora qiladi
- 7. Title va H1 sahifa nimaga javob berishini aytadi, javob darhol ostida
- 8. JSON-LD tahlil qilinadi va koʻrinadigan matnga mos
- 9. Koʻrinadigan sana, belgilashdagi sanalar va sitemap lastmod mos keladi
- 10. Sahifa sitemapʼda va unga tegishli sahifalardan havola bor
- 11. hreflang oʻzaro, x-default bilan
- 12. Qidiruv tizimlaridan yangi sahifani skanerlashni soʻrang
- Bu tekshiruvlarni qanday tanladik
Har bir tekshiruv qancha vaqt oladi?
Bitta sahifa uchun taxminiy hisob, kerakli vosita bilan. 1 dan 5 gacha tekshiruvlarni har bir sahifada bajaring; qolganlarini har bir shablon uchun bir marta, soʻng tanlab tekshiring.
- 1. 200 statusi: 1 daqiqa, curl.
- 2. Har bir krauler uchun robots.txt: 3 daqiqa, brauzer yoki curl.
- 3. Firewall javobi: 3 daqiqa, curl.
- 4. Xom HTMLʼdagi matn: 2 daqiqa, curl.
- 5. Tasodifiy noindex yoki nosnippet yoʻq: 2 daqiqa, curl.
- 6. Bitta canonical: 2 daqiqa, view-source.
- 7. Title, H1 va qisqa javob: 5 daqiqa, sahifani oʻqish.
- 8. JSON-LD toʻgʻri va mos: 5 daqiqa, Rich Results Test yoki Schema Markup Validator.
- 9. Sanalar mos: 3 daqiqa, sahifa, belgilash va sitemap.
- 10. Sitemap va ichki havolalar: 5 daqiqa, sitemap.xml va CMS.
- 11. hreflang: 5 daqiqa, faqat koʻp tilli saytlar uchun.
- 12. Indekslashni soʻrash: 2 daqiqa, Search Console va IndexNow.
1. URL qayta yoʻnaltirish zanjirisiz 200 qaytaradi
Krauler ulashadigan va sitemapʼga kiritadigan aynan oʻsha URL boʻyicha sahifaning oʻzini 200 statusi bilan olishi kerak. Har bir qayta yoʻnaltirish muvaffaqiyatsiz boʻlishi mumkin boʻlgan yana bir qadam, "topilmadi" xabari bilan 200 qaytaradigan sahifa esa qidiruv tizimlari olib tashlashi mumkin boʻlgan soft 404.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Oʻtdi: 200 redirects=0 va oʻsha URL qaytadi. Tuzatish: yakuniy URLʼga havola bering va uni roʻyxatga kiriting, eski manzillardan koʻpi bilan bitta qayta yoʻnaltirish qoldiring.
2. robots.txt sahifaga har bir AI qidiruv krauleri uchun ruxsat beradi
robots.txtʼni har bir krauler oʻqiganidek oʻqing. Kraulerni nomlagan guruh u uchun User-agent: * guruhini almashtiradi, RFC 9309 boʻyicha esa eng uzun mos qoida gʻolib chiqadi, teng boʻlsa Allow gʻolib.
Kamida OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot va Googlebotni tekshiring. /guides/ kabi yangi boʻlim eski Disallow: /g qoidasiga tushib qolishi mumkin, chunki qoidalar yoʻl prefiksi boʻyicha mos keladi. robots.txtʼning oʻzi 200 yoki 404 qaytarishini ham tasdiqlang: RFC 9309 boʻyicha server xatosi kraulerlar butun sayt taqiqlangan deb hisoblashi kerakligini bildiradi.
Oʻtdi: bu tokenlarning hech biri uchun qoida yoʻlni taqiqlamaydi. robots.txtʼni qanday tekshirish haqidagi qoʻllanmamiz bitta URLʼni bitta krauler uchun qanday tekshirishni koʻrsatadi.
3. Firewall AI kraulerlariga haqiqiy sahifani beradi
Sahifani brauzer user agentʼi va krauler user agentʼlari bilan soʻrang, soʻng status va hajmni solishtiring. Nom boʻyicha moslaydigan bot himoyasi faqat kraulerlarga 403, 429 yoki challenge sahifasini qaytarishi mumkin.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Oʻtdi: har bir qatorda 200 va oʻxshash hajm. Ancha kichik hajm odatda challenge sahifasini bildiradi. Bu satrlar nom boʻyicha moslaydigan qoidalarni tekshiradi; haqiqiy kraulerlar eʼlon qilingan IP diapazonlaridan ham keladi, buni oʻz kompyuteringizdan qilingan test takrorlay olmaydi, shuning uchun firewallʼdagi shu diapazonlar uchun ruxsat qoidalarini ham tekshiring.
4. Javob xom HTMLʼda bor
Server yuboradigan HTML ichidan javobingizdagi bir gapni qidiring. Brauzerning element inspektori sahifani skriptlar ishlagandan keyingi holatda koʻrsatadi, koʻpchilik kraulerlar esa buni olmaydi.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Oʻtdi: 1 yoki undan koʻp. 0 matnni JavaScript qoʻshishini bildiradi, OpenAI, Anthropic va Perplexity esa kraulerlari uni ishga tushirishini hujjatlashtirmaydi. Uni serverda yoki build vaqtida render qiling; JavaScript kontenti va AI kraulerlari haqidagi qoʻllanmamiz variantlarni sanab beradi.
5. Qolib ketgan noindex yoki nosnippet yoʻq
Staging saytlar koʻpincha noindex bilan keladi va shablon uni productionʼga olib oʻtishi mumkin. robots meta tegini ham, X-Robots-Tag HTTP sarlavhasini ham tekshiring, chunki ikkalasi ham hisobga olinadi.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Oʻtdi: hech narsa chiqmaydi yoki faqat index, follow va shunga oʻxshash. Google aytishicha, AI Overviews va AI Modeʼda chiqish uchun sahifa indekslangan va snippet uchun ruxsat etilgan boʻlishi kerak, nosnippet esa ularga bevosita kiritma sifatida foydalanishni ham bloklaydi.
6. Bitta canonical URL, mutlaq va oʻziga ishora qiladi
Sahifa chop etadigan URLʼingizga ishora qiluvchi, mutlaq URL koʻrinishidagi aynan bitta rel="canonical" eʼlon qilishi kerak. Google canonicalʼni buyruq emas, kuchli signal deb ataydi va nisbiy URLʼlardan hamda boshqa manzilni koʻrsatadigan sitemap kabi ziddiyatli signallardan ogohlantiradi.
Ishga tushirishdagi keng tarqalgan xatolar: shablon sahifadan koʻchirilgan canonical, hali ham staging hostiga ishora qiladigan canonical va mavzu hamda plagindan bir vaqtda kelgan ikkita canonical tegi.
Oʻtdi: bitta teg, jonli URL, protokol va host sitemapʼdagidek.
7. Title va H1 sahifa nimaga javob berishini aytadi, javob darhol ostida
Sahifa tepasini begona odam kabi oʻqing. Title va H1 savol yoki mavzuni xaridorlar soʻzlari bilan nomlashi, H1 ostidagi dastlabki ikki-uch gap esa unga toʻliq javob berishi kerak.
Qidiruv natijalarida qirqilib qolish ehtimoli kamroq boʻlishi uchun titleʼni taxminan 60 belgida saqlang. Qisqa javobni raqamlar, oʻlchov birliklari va mahsulot nomi toʻliq yozilgan, alohida iqtibos qilinganda ham maʼnosi saqlanadigan qilib yozing.
Oʻtdi: faqat birinchi xatboshini oʻqigan odam javobni oladi. AI javoblarida iqtibos qilinish usullari roʻyxatimiz iqtibos uchun yozishni batafsilroq yoritadi.
8. JSON-LD tahlil qilinadi va koʻrinadigan matnga mos
Buzilgan JSON-LD butunlay eʼtiborsiz qoldiriladi, shuning uchun bitta tushib qolgan vergul hammasini yoʻq qiladi. URLʼni Googleʼning Rich Results Test yoki Schema Markup Validator vositasiga qoʻying va har bir xatoni tuzating.
Soʻng qiymatlarni sahifa bilan solishtiring. Belgilashdagi sarlavha, sanalar, narx, valyuta va tashkilot nomi oʻquvchi koʻradigan bilan bir xil boʻlishi kerak. Google aytishicha, uning AI funksiyalari uchun maxsus belgilash kerak emas va tuzilgan maʼlumotlar koʻrinadigan matnga mos kelishi kerak.
Oʻtdi: xatolar yoʻq va har bir qiymat sahifada koʻrinadi. Oʻtkazib yuborsa boʻladi: sahifa turiga mos belgilash boʻlmasa; notoʻgʻri belgilashdan oddiy sahifa yaxshiroq.
9. Koʻrinadigan sana, belgilashdagi sanalar va sitemap lastmod mos keladi
Sahifada belgilangan sanani koʻrsating, datePublished va dateModifiedda xuddi shu sanalardan foydalaning va sitemap lastmodini oxirgi muhim oʻzgarishga qoʻying. Google koʻrinadigan va belgilangan sanalar mos kelishini soʻraydi va lastmoddan faqat u doimiy va tekshirib boʻladigan darajada aniq boʻlsagina foydalanishini aytadi.
Har bir buildʼda har bir URLʼga bugungi sanani bosadigan sitemap generatori lastmodni faqat yangi sahifa uchun emas, barcha sahifalar uchun foydasiz qiladi.
Oʻtdi: uch joyda bitta sana.
10. Sahifa sitemapʼda va unga tegishli sahifalardan havola bor
Kraulerlar sahifalarni havolalar va sitemapʼlar orqali topadi. Yangi URLʼni XML sitemapʼga aynan canonical URL bilan qoʻshing va unga kamida ikkita tegishli sahifadan hamda bitta hub yoki indeks sahifadan havola bering.
Bitta sitemap fayli 50,000 tagacha URL va siqilmagan holda 50 MB gacha sigʻdiradi; kattaroq saytlarga sitemap index kerak. Google priority va changefreqni eʼtiborsiz qoldirishini aytadi, shuning uchun ularga vaqt sarflamang. Ichki havolasi yoʻq sahifa kraulerlar kech topishi yoki umuman topmasligi mumkin boʻlgan yetim sahifa.
Oʻtdi: URL sitemapʼda va kamida ikkita sahifa unga tavsiflovchi anchor matni bilan havola beradi.
11. hreflang oʻzaro, x-default bilan
Sahifa bir necha tilda boʻlsa, har bir versiya oʻzini ham qoʻshib barcha versiyalarni koʻrsatishi va har biri qaytib havola berishi kerak. Google ikkinchi tomondan tasdiqlanmagan hreflang annotatsiyalarini eʼtiborsiz qoldiradi. Hech bir til mos kelmaganda koʻrsatiladigan versiya uchun x-default qoʻshing.
Oʻtkazib yuborsa boʻladi: sayt bir tilli boʻlsa. hreflang x-default haqidagi qoʻllanmamiz u qachon kerakligini tushuntiradi.
12. Qidiruv tizimlaridan yangi sahifani skanerlashni soʻrang
Sahifa ishga tushib, yuqoridagi tekshiruvlardan oʻtgach, qidiruv tizimlariga u haqida xabar bering. Google Search Consoleʼda yangi URL uchun URL Inspectionʼdan foydalaning va Request indexingʼni tanlang. Bing va IndexNowʼni qoʻllab-quvvatlaydigan boshqa tizimlar uchun URLʼni kalitingiz bilan IndexNow endpointʼiga yuboring; Bing bu skanerlash yoki indekslashni kafolatlamasligini taʼkidlaydi.
AI assistentlarida yuborish formasi yoʻq. Ularning kraulerlari sahifani havolalar va qidiruv orqali topadi, shuning uchun 2, 3 va 10 tekshiruvlar muhim. llms.txt faylini chop etsangiz, sahifani u yerga ham qoʻshing; Google uni oʻz Searchʼi ishlatmasligini aytadi, shuning uchun uni ixtiyoriy deb hisoblang.
Oʻtdi: URL Inspection jonli sahifani indekslash mumkinligini koʻrsatadi.
Bu tekshiruvlarni qanday tanladik
Roʻyxat krauler bosib oʻtadigan yoʻlga ergashadi: URLʼga yetish, robots.txtʼni oʻqish, firewallʼdan oʻtish, HTMLʼni oʻqish, soʻng uni talqin qilish. Har bir tekshiruv OpenAI, Anthropic, Perplexity va Google kraulerlari haqida hujjatlashtirgan narsaga, robots.txt uchun RFC 9309 ga va Googleʼning canonical, sanalar, sitemap va hreflang boʻyicha qoʻllanmalariga asoslangan. AI javoblariga taʼsiri hujjatlashtirilmagan tekshiruvlarni, masalan kalit soʻz zichligi yoki soʻz soni maqsadlarini qoldirdik.
Tekshiruvlar sahifani oʻqish mumkinligini koʻrsatadi; u iqtibos qilinishini koʻrsata olmaydi. Bu javob boshqa manbalarga nisbatan qanchalik yaxshi ekaniga bogʻliq. 2 dan 5 gacha tekshiruvlarni har bir firewall, CDN, mavzu yoki CMS oʻzgarishidan keyin takrorlang, chunki aynan shu oʻzgarishlar ularni bildirmasdan buzadi.
AISeeWhy bu tekshiruvlarning koʻpini bir oʻtishda bajaradi: sahifani haqiqiy brauzer yonida 16 ta AI va qidiruv krauleri sifatida yuklaydi, robots.txtʼni har bir kraulerga qoʻllaydi va HTML, belgilash, canonical va sanalarni oʻqiydi. Bepul tekshiruv ball va birinchi topilmani koʻrsatadi; toʻliq hisobot har bir muammoni tayyor tuzatish bilan sanab beradi.
Bu muammo uchun tuzatishlar
- OAI-SearchBot bloklangan
- Sahifa kontenti JavaScript talab qiladi
- Oddiy matn sifatida yozilgan roʻyxatlar
- Boʻlimlar qisqa javob bilan boshlanmaydi: 2 / 3
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- llms.txt tekshiruvi va validatori
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Bu tekshiruvlarni har bir sahifada bajarish kerakmi?
1 dan 5 gacha tekshiruvlarni har bir yangi sahifada bajaring, chunki alohida URL bloklangan yoki tasodifiy noindexʼga ega boʻlishi mumkin. 6 dan 11 gacha tekshiruvlar asosan shablonga bogʻliq, shuning uchun ularni har bir sahifa turi uchun bir marta bajaring va yangi sahifalarni tanlab tekshiring.
Nega sahifani Googleʼga yuborgandek ChatGPT yoki Claudeʼga yubora olmayman?
OpenAI, Anthropic va Perplexity veb-sahifalar uchun URL yuborish vositasini taklif qilmaydi. Ularning kraulerlari sahifalarni havolalar va qidiruv orqali topadi, shuning uchun sizning nazoratingizda ichki havolalar, sitemap va OAI-SearchBot, Claude-SearchBot hamda PerplexityBot uchun ochiq kirish bor.
Sahifam oʻn ikki tekshiruvning hammasidan oʻtadi. Nega u hali ham iqtibos qilinmaydi?
Tekshiruvlar sahifani afzal emas, oʻqiladigan qiladi. Assistent savolga eng yaxshi javob beradigan manbalarni tanlaydi, shuning uchun sahifangizni u iqtibos keltiradigan sahifalar bilan solishtiring: ular tezroq javob beradimi, narx yoki xususiyatlarni matnda yozadimi, sizda yoʻq maʼlumot beradimi.
Chop etilgandan keyin AI kraulerlari qanchalik tez keladi?
Hech bir provayder jadval eʼlon qilmaydi. Server loglaringiz OAI-SearchBot, Claude-SearchBot yoki PerplexityBot URLʼni birinchi marta qachon soʻraganini koʻrsatadi; AI kraulerlarini server loglarida tekshirish haqidagi qoʻllanmamiz ularni qanday topishni koʻrsatadi.
Manbalar
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI kraulerlari haqida umumiy maʼlumot
- Anthropic: Anthropic vebdan maʼlumot kraul qiladimi va sayt egalari kraulerni qanday bloklashi mumkin?
- Perplexity: Perplexity kraulerlari
- Google Search Central: AI funksiyalari va veb-saytingiz
- Google Search Central: Robots meta tegi, data-nosnippet va X-Robots-Tag
- Google Search Central: Canonical URLʼni qanday koʻrsatish
- Google Search Central: Nashr sanalari koʻrinishiga taʼsir qilish
- Google Search Central: Sitemap yaratish va yuborish
- Sitemaps.org: Sitemaps XML formati
- Google Search Central: Sahifangizning mahalliylashtirilgan versiyalari haqida Googleʼga xabar bering
- Google Search Console yordami: URL Inspection vositasi
- Bing: IndexNow, ishni boshlash
- Google Search Console yordami: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: JavaScript SEO asoslari