12 kontrolle AEO për t'i bërë para se të publikoni një faqe (2027)
Para publikimit, konfirmoni që URL-ja kthen 200 pa ridrejtime, që robots.txt lejon çdo zvarritës kërkimi të AI, që firewall-i u shërben faqen e vërtetë dhe që përgjigjja është në HTML-në e papërpunuar. Pastaj kontrolloni për noindex ose nosnippet të harruar, një canonical të vetëm, përgjigjen nën H1, JSON-LD të vlefshëm që përputhet, data që përkojnë, një regjistrim në sitemap me lidhje të brendshme dhe hreflang, dhe kërkoni indeksimin.
Shumica e faqeve që nuk shfaqen kurrë në përgjigjet e AI ngecin te diçka e mërzitshme: një noindex i harruar, një rregull firewall-i, një canonical që tregon mjedisin e testimit. Këto dymbëdhjetë kontrolle i kapin para publikimit. Secili zgjat disa minuta, shumica nuk kërkojnë më shumë se një terminal dhe URL-në e faqes, dhe janë renditur sipas radhës në të cilën i has një zvarritës.
Në këtë faqe
- Sa zgjat secili kontroll?
- 1. URL-ja kthen 200 pa zinxhir ridrejtimesh
- 2. robots.txt e lejon faqen për çdo zvarritës kërkimi të AI
- 3. Firewall-i u shërben zvarritësve AI faqen e vërtetë
- 4. Përgjigjja është në HTML-në e papërpunuar
- 5. Asnjë noindex ose nosnippet i mbetur
- 6. Një URL canonical, absolute dhe që tregon vetveten
- 7. Titulli dhe H1 thonë çfarë përgjigjet faqja, me përgjigjen menjëherë poshtë
- 8. JSON-LD lexohet pa gabime dhe përputhet me tekstin e dukshëm
- 9. Data e dukshme, datat në markup dhe lastmod në sitemap përkojnë
- 10. Faqja është në sitemap dhe ka lidhje nga faqet e ngjashme
- 11. hreflang është reciprok, me x-default
- 12. Kërkojuni motorëve të kërkimit ta zvarrisin faqen e re
- Si i zgjodhëm këto kontrolle
Sa zgjat secili kontroll?
Një udhëzim i përafërt për një faqe, me mjetin që ju duhet. Bëni kontrollet 1 deri në 5 në çdo faqe; të tjerat një herë për çdo shabllon, pastaj kontrolle të rastësishme.
- 1. Statusi 200: 1 minutë, curl.
- 2. robots.txt për çdo zvarritës: 3 minuta, shfletues ose curl.
- 3. Përgjigjja e firewall-it: 3 minuta, curl.
- 4. Teksti në HTML-në e papërpunuar: 2 minuta, curl.
- 5. Asnjë noindex ose nosnippet i harruar: 2 minuta, curl.
- 6. Një canonical i vetëm: 2 minuta, kodi burimor i faqes.
- 7. Titulli, H1 dhe përgjigjja e shkurtër: 5 minuta, duke lexuar faqen.
- 8. JSON-LD i vlefshëm dhe që përputhet: 5 minuta, Rich Results Test ose Schema Markup Validator.
- 9. Datat përkojnë: 3 minuta, faqja, markup-i dhe sitemap.
- 10. Sitemap dhe lidhjet e brendshme: 5 minuta, sitemap.xml dhe CMS-ja juaj.
- 11. hreflang: 5 minuta, vetëm për sajte shumëgjuhëshe.
- 12. Kërkimi i indeksimit: 2 minuta, Search Console dhe IndexNow.
1. URL-ja kthen 200 pa zinxhir ridrejtimesh
Një zvarritës duhet ta marrë vetë faqen me status 200 në URL-në e saktë që do të ndani dhe do ta listoni në sitemap. Çdo ridrejtim është një hap më shumë që mund të dështojë, dhe një faqe që përgjigjet 200 me mesazhin "nuk u gjet" është një soft 404 që motorët e kërkimit mund ta heqin.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Kalon: 200 redirects=0 dhe e njëjta URL kthehet. Rregullimi: vendosni lidhje dhe listoni URL-në përfundimtare, dhe mbani të shumtën një ridrejtim nga adresat e vjetra.
2. robots.txt e lejon faqen për çdo zvarritës kërkimi të AI
Lexojeni robots.txt ashtu siç do ta lexonte çdo zvarritës. Një grup që përmend një zvarritës me emër e zëvendëson grupin User-agent: * për të, dhe sipas RFC 9309 fiton rregulli më i gjatë që përputhet, ndërsa në barazim fiton Allow.
Kontrolloni të paktën OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot dhe Googlebot. Një seksion i ri si /guides/ mund të kapet nga një rregull i vjetër Disallow: /g, sepse rregullat përputhen me prefikset e shtegut. Konfirmoni gjithashtu që vetë robots.txt kthen 200 ose 404: sipas RFC 9309, një gabim serveri do të thotë që zvarritësit duhet të supozojnë se i gjithë sajti është i ndaluar.
Kalon: asnjë rregull për asnjërin nga këta token-a nuk e ndalon shtegun. Udhëzuesi ynë si të testoni robots.txt tregon si të testoni një URL për një zvarritës.
3. Firewall-i u shërben zvarritësve AI faqen e vërtetë
Kërkojeni faqen me user agent të një shfletuesi dhe me user agent të zvarritësve, pastaj krahasoni statusin dhe madhësinë. Mbrojtja nga botët që filtron sipas emrit mund t'u kthejë vetëm zvarritësve 403, 429 ose një faqe verifikimi.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Kalon: çdo rresht tregon 200 dhe një madhësi të ngjashme. Një madhësi shumë më e vogël zakonisht do të thotë faqe verifikimi. Këto vargje testojnë rregullat që filtrojnë sipas emrit; zvarritësit e vërtetë vijnë edhe nga vargje IP të publikuara, gjë që një test nga kompjuteri juaj nuk e riprodhon dot, prandaj kontrolloni edhe rregullat e lejimit në firewall për këto vargje.
4. Përgjigjja është në HTML-në e papërpunuar
Kërkoni në HTML-në që dërgon serveri një fjali nga përgjigjja juaj. Inspektori i elementeve në shfletues e tregon faqen pasi janë ekzekutuar skriptet, dhe kjo nuk është ajo që merr shumica e zvarritësve.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Kalon: 1 ose më shumë. Një 0 do të thotë se teksti shtohet nga JavaScript, të cilin OpenAI, Anthropic dhe Perplexity nuk dokumentojnë që zvarritësit e tyre e ekzekutojnë. Renderojeni në server ose gjatë build-it; udhëzuesi ynë për përmbajtjen JavaScript dhe zvarritësit AI liston mundësitë.
5. Asnjë noindex ose nosnippet i mbetur
Sajtet e testimit shpesh dalin me noindex, dhe një shabllon mund ta çojë atë në prodhim. Kontrolloni si etiketën robots meta ashtu edhe header-in HTTP X-Robots-Tag, sepse vlen secili prej tyre.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Kalon: nuk shfaqet asgjë, ose vetëm index, follow dhe të ngjashme. Google thotë se një faqe duhet të jetë e indeksuar dhe e përshtatshme për snippet për t'u shfaqur në AI Overviews dhe AI Mode, dhe se nosnippet e bllokon gjithashtu përdorimin si input i drejtpërdrejtë për to.
6. Një URL canonical, absolute dhe që tregon vetveten
Faqja duhet të deklarojë saktësisht një rel="canonical", si URL absolute, që tregon URL-në që publikoni. Google e quan canonical-in sinjal të fortë, jo urdhër, dhe paralajmëron kundër URL-ve relative dhe sinjaleve kontradiktore, si një sitemap që liston një adresë tjetër.
Gabimet e zakonshme gjatë publikimit janë një canonical i kopjuar nga një faqe shabllon, një që tregon ende një host testimi dhe dy etiketa canonical njëkohësisht, nga tema dhe nga një plugin.
Kalon: një etiketë, URL-ja e drejtpërdrejtë, i njëjti protokoll dhe host si në sitemap.
7. Titulli dhe H1 thonë çfarë përgjigjet faqja, me përgjigjen menjëherë poshtë
Lexojeni pjesën e sipërme të faqes si një i huaj. Titulli dhe H1 duhet ta emërtojnë pyetjen ose temën me fjalët që përdorin blerësit, dhe dy ose tri fjalitë e para nën H1 duhet t'i përgjigjen plotësisht.
Mbajeni titullin rreth 60 karaktere, që të ketë më pak gjasa të pritet në rezultatet e kërkimit. Shkruajeni përgjigjen e shkurtër që të ketë kuptim edhe kur citohet më vete, me numrat, njësitë dhe emrin e produktit të shkruar plotësisht.
Kalon: dikush që lexon vetëm paragrafin e parë e ka përgjigjen. Lista jonë e mënyrave për t'u cituar në përgjigjet e AI e trajton më thellë shkrimin për citim.
8. JSON-LD lexohet pa gabime dhe përputhet me tekstin e dukshëm
JSON-LD i prishur injorohet i tëri, kështu që një presje që mungon e heq gjithçka. Ngjiteni URL-në në Rich Results Test të Google ose në Schema Markup Validator dhe rregulloni çdo gabim.
Pastaj krahasoni vlerat me faqen. Titulli, datat, çmimi, monedha dhe emri i organizatës në markup duhet të jenë ato që sheh lexuesi. Google thotë se për funksionet e tij AI nuk nevojitet markup i veçantë dhe se të dhënat e strukturuara duhet të përputhen me tekstin e dukshëm.
Kalon: asnjë gabim dhe çdo vlerë është e dukshme në faqe. Anashkalojeni nëse: lloji i faqes nuk ka markup të përshtatshëm; një faqe e thjeshtë është më mirë se markup i gabuar.
9. Data e dukshme, datat në markup dhe lastmod në sitemap përkojnë
Shfaqni një datë me etiketë në faqe, përdorni të njëjtat data në datePublished dhe dateModified, dhe vendoseni lastmod në sitemap te ndryshimi i fundit i rëndësishëm. Google kërkon që datat e dukshme dhe ato në markup të përputhen, dhe thotë se e përdor lastmod vetëm nëse është vazhdimisht dhe në mënyrë të verifikueshme i saktë.
Një gjenerues sitemap-i që u vë të gjitha URL-ve datën e sotme në çdo build e bën lastmod të padobishëm për të gjitha faqet, jo vetëm për të renë.
Kalon: tri vende, një datë.
10. Faqja është në sitemap dhe ka lidhje nga faqet e ngjashme
Zvarritësit i gjejnë faqet përmes lidhjeve dhe sitemap-eve. Shtojeni URL-në e re në sitemap-in tuaj XML, me URL-në e saktë canonical, dhe vendosni lidhje drejt saj nga të paktën dy faqe të ngjashme dhe nga një faqe qendrore ose indeksi.
Një skedar sitemap mund të mbajë deri në 50.000 URL dhe 50 MB të pakompresuar; sajtet më të mëdha kanë nevojë për një indeks sitemap-esh. Google thotë se i injoron priority dhe changefreq, prandaj mos humbni kohë me to. Një faqe pa lidhje të brendshme është jetime dhe zvarritësit mund ta gjejnë vonë ose aspak.
Kalon: URL-ja është në sitemap dhe të paktën dy faqe lidhen me të me tekst lidhjeje përshkrues.
11. hreflang është reciprok, me x-default
Nëse faqja ekziston në disa gjuhë, çdo version duhet të listojë të gjitha versionet, përfshirë vetveten, dhe secili duhet të lidhet mbrapsht. Google i injoron shënimet hreflang që nuk konfirmohen nga ana tjetër. Shtoni x-default për versionin që shfaqet kur asnjë gjuhë nuk përputhet.
Anashkalojeni nëse: sajti ka një gjuhë të vetme. Udhëzuesi ynë për hreflang x-default shpjegon kur ju duhet.
12. Kërkojuni motorëve të kërkimit ta zvarrisin faqen e re
Pasi faqja të jetë online dhe t'i kalojë kontrollet e mësipërme, njoftoni motorët e kërkimit. Në Google Search Console, përdorni URL Inspection për URL-në e re dhe zgjidhni Request indexing. Për Bing dhe motorët e tjerë që mbështetin IndexNow, dërgojeni URL-në në pikën fundore të IndexNow me çelësin tuaj; Bing shënon se kjo nuk garanton zvarritjen ose indeksimin.
Asistentët AI nuk kanë formular dërgimi. Zvarritësit e tyre e gjejnë faqen përmes lidhjeve dhe kërkimit, prandaj kanë rëndësi kontrollet 2, 3 dhe 10. Nëse publikoni një skedar llms.txt, shtojeni faqen edhe atje; Google thotë se Search nuk e përdor, ndaj trajtojeni si opsional.
Kalon: URL Inspection tregon që faqja online mund të indeksohet.
Si i zgjodhëm këto kontrolle
Lista ndjek rrugën që bën një zvarritës: arrin te URL-ja, lexon robots.txt, kalon firewall-in, lexon HTML-në dhe pastaj e interpreton. Çdo kontroll bazohet në atë që OpenAI, Anthropic, Perplexity dhe Google dokumentojnë për zvarritësit e tyre, në RFC 9309 për robots.txt dhe në udhëzimet e Google për canonical-et, datat, sitemap-et dhe hreflang. Lamë jashtë kontrollet pa efekt të dokumentuar në përgjigjet e AI, si dendësia e fjalëve kyçe ose objektivat për numrin e fjalëve.
Kontrollet tregojnë se një faqe mund të lexohet; nuk mund të tregojnë se do të citohet. Kjo varet nga sa e mirë është përgjigjja krahasuar me burimet e tjera. Përsëritni kontrollet 2 deri në 5 pas çdo ndryshimi të firewall-it, CDN-së, temës ose CMS-së, sepse pikërisht këto ndryshime i prishin pa u vënë re.
AISeeWhy i bën shumicën e këtyre kontrolleve me një kalim: e merr faqen si 16 zvarritës AI dhe kërkimi krahas një shfletuesi të vërtetë, zbaton robots.txt për çdo zvarritës dhe lexon HTML-në, markup-in, canonical-in dhe datat. Kontrolli falas tregon pikët dhe gjetjen e parë; raporti i plotë liston çdo problem me një rregullim të gatshëm.
Rregullime për këtë problem
- OAI-SearchBot është i bllokuar
- Përmbajtja e faqes kërkon JavaScript
- Lista të shkruara si tekst i thjeshtë
- Seksionet nuk nisin me një përgjigje të shkurtër: 2 nga 3
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolluesi dhe validuesi i llms.txt
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
A duhet t'i bëj këto kontrolle në çdo faqe?
Bëni kontrollet 1 deri në 5 në çdo faqe të re, sepse një URL e vetme mund të jetë e bllokuar ose të ketë një noindex të harruar. Kontrollet 6 deri në 11 varen kryesisht nga shablloni, prandaj bëjini një herë për çdo lloj faqeje dhe kontrolloni rastësisht faqet e reja.
Pse nuk mund ta dërgoj një faqe te ChatGPT ose Claude si te Google?
OpenAI, Anthropic dhe Perplexity nuk ofrojnë mjet për dërgimin e URL-ve të faqeve të uebit. Zvarritësit e tyre i gjejnë faqet duke ndjekur lidhjet dhe përmes kërkimit, prandaj ajo që kontrolloni ju janë lidhjet e brendshme, një sitemap dhe qasja e hapur për OAI-SearchBot, Claude-SearchBot dhe PerplexityBot.
Faqja ime i kalon të dymbëdhjetë kontrollet. Pse ende nuk citohet?
Kontrollet e bëjnë një faqe të lexueshme, jo të preferuar. Një asistent zgjedh burimet që i përgjigjen më mirë një pyetjeje, prandaj krahasojeni faqen tuaj me faqet që ai citon: nëse përgjigjen më shpejt, nëse japin çmime ose specifikime në tekst, ose nëse ofrojnë të dhëna që faqes suaj i mungojnë.
Sa shpejt pas publikimit vijnë zvarritësit AI?
Asnjë ofrues nuk publikon orar. Log-et e serverit tregojnë kur OAI-SearchBot, Claude-SearchBot ose PerplexityBot e kërkojnë URL-në për herë të parë; udhëzuesi ynë për kontrollin e log-eve të serverit për zvarritësit AI tregon si t'i gjeni.
Burimet
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Përmbledhje e zvarritësve të OpenAI
- Anthropic: A zvarrit Anthropic të dhëna nga uebi dhe si mund ta bllokojnë zvarritësin pronarët e sajteve?
- Perplexity: Zvarritësit e Perplexity
- Google Search Central: Funksionet AI dhe sajti juaj
- Google Search Central: Etiketa robots meta, data-nosnippet dhe X-Robots-Tag
- Google Search Central: Si të specifikoni një URL canonical
- Google Search Central: Ndikimi në datat e publikimit
- Google Search Central: Ndërtimi dhe dërgimi i një sitemap-i
- Sitemaps.org: Formati XML i sitemap-eve
- Google Search Central: Njoftojeni Google për versionet e lokalizuara të faqes suaj
- Ndihma e Google Search Console: Mjeti URL Inspection
- Bing: IndexNow, si të filloni
- Ndihma e Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: Bazat e SEO për JavaScript