12 verificări AEO de făcut înainte să publici o pagină (2027)
Înainte să publici, confirmă că URL-ul întoarce 200 fără redirecționări, că robots.txt permite fiecare crawler AI de căutare, că firewall-ul le servește pagina reală și că răspunsul este în HTML-ul brut. Apoi verifică să nu existe noindex sau nosnippet rătăcite, că ai un singur canonical, un răspuns sub H1, JSON-LD valid și potrivit, date care coincid, o intrare în sitemap cu linkuri interne, hreflang, și cere indexarea.
Cele mai multe pagini care nu apar niciodată în răspunsurile AI cad la ceva banal: un noindex rămas, o regulă de firewall, un canonical care trimite spre staging. Aceste douăsprezece verificări le prind înainte de lansare. Fiecare durează câteva minute, majoritatea nu cer decât un terminal și URL-ul paginii, iar ordinea lor este cea în care le întâlnește un crawler.
Pe această pagină
- Cât durează fiecare verificare?
- 1. URL-ul întoarce 200 fără un lanț de redirecționări
- 2. robots.txt permite pagina pentru fiecare crawler AI de căutare
- 3. Firewall-ul servește crawlerelor AI pagina reală
- 4. Răspunsul este în HTML-ul brut
- 5. Niciun noindex sau nosnippet rămas
- 6. Un singur URL canonical, absolut și care trimite spre pagina însăși
- 7. Titlul și H1 spun la ce răspunde pagina, iar răspunsul vine imediat dedesubt
- 8. JSON-LD se parsează și se potrivește cu textul vizibil
- 9. Data vizibilă, datele din marcaj și lastmod din sitemap coincid
- 10. Pagina este în sitemap și primește linkuri de la paginile înrudite
- 11. hreflang este reciproc, cu x-default
- 12. Cere motoarelor de căutare să acceseze pagina nouă
- Cum am ales aceste verificări
Cât durează fiecare verificare?
Un reper aproximativ pentru o pagină, cu instrumentul de care ai nevoie. Fă verificările 1 până la 5 pe fiecare pagină; pe restul o dată pe șablon, apoi prin sondaj.
- 1. Status 200: 1 minut, curl.
- 2. robots.txt pentru fiecare crawler: 3 minute, browser sau curl.
- 3. Răspunsul firewall-ului: 3 minute, curl.
- 4. Text în HTML-ul brut: 2 minute, curl.
- 5. Fără noindex sau nosnippet rătăcite: 2 minute, curl.
- 6. Un singur canonical: 2 minute, view-source.
- 7. Titlu, H1 și răspuns scurt: 5 minute, citind pagina.
- 8. JSON-LD valid și potrivit: 5 minute, Testul pentru rezultate îmbogățite sau Schema Markup Validator.
- 9. Datele coincid: 3 minute, pagină, marcaj și sitemap.
- 10. Sitemap și linkuri interne: 5 minute, sitemap.xml și CMS-ul tău.
- 11. hreflang: 5 minute, doar pentru site-uri multilingve.
- 12. Cererea de indexare: 2 minute, Search Console și IndexNow.
1. URL-ul întoarce 200 fără un lanț de redirecționări
Un crawler ar trebui să primească pagina însăși, cu status 200, exact pe URL-ul pe care îl vei distribui și îl vei trece în sitemap. Fiecare redirecționare este încă un pas care poate eșua, iar o pagină care răspunde cu 200 și un mesaj „nu a fost găsit” este un soft 404, pe care motoarele de căutare îl pot elimina.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Rezultat corect: 200 redirects=0 și același URL înapoi. Remediere: pune link și trece în sitemap URL-ul final și păstrează cel mult o redirecționare de la adresele vechi.
2. robots.txt permite pagina pentru fiecare crawler AI de căutare
Citește robots.txt așa cum l-ar citi fiecare crawler. Un grup care numește un crawler înlocuiește grupul User-agent: * pentru el, iar conform RFC 9309 câștigă cea mai lungă regulă potrivită, iar la egalitate câștigă Allow.
Verifică cel puțin OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot și Googlebot. O secțiune nouă precum /guides/ poate fi prinsă de o regulă veche Disallow: /g, pentru că regulile se potrivesc pe prefixe de cale. Confirmă și că robots.txt însuși întoarce 200 sau 404: conform RFC 9309, o eroare de server înseamnă că crawlerele trebuie să presupună că tot site-ul este interzis.
Rezultat corect: nicio regulă pentru aceste tokenuri nu interzice calea. Ghidul nostru despre cum testezi robots.txt arată cum verifici un URL pentru un crawler.
3. Firewall-ul servește crawlerelor AI pagina reală
Cere pagina cu un user agent de browser și cu user agenți de crawlere, apoi compară statusul și dimensiunea. O protecție anti-boți care se ghidează după nume poate întoarce doar crawlerelor un 403, un 429 sau o pagină de verificare.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Rezultat corect: fiecare linie arată 200 și o dimensiune asemănătoare. O dimensiune mult mai mică înseamnă de obicei o pagină de verificare. Aceste șiruri testează regulile care se ghidează după nume; crawlerele reale vin și din intervale IP publicate, pe care un test de pe propriul calculator nu le poate reproduce, așa că verifică și regulile de permitere din firewall pentru aceste intervale.
4. Răspunsul este în HTML-ul brut
Caută în HTML-ul trimis de server o propoziție din răspunsul tău. Inspectorul de elemente al browserului arată pagina după rularea scripturilor, ceea ce nu este ce primesc majoritatea crawlerelor.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Rezultat corect: 1 sau mai mult. Un 0 înseamnă că textul este adăugat de JavaScript, iar OpenAI, Anthropic și Perplexity nu documentează că crawlerele lor îl rulează. Randează-l pe server sau la build; ghidul nostru despre conținutul JavaScript și crawlerele AI enumeră opțiunile.
5. Niciun noindex sau nosnippet rămas
Site-urile de staging pleacă adesea cu noindex, iar un șablon îl poate duce în producție. Verifică atât metaeticheta robots, cât și antetul HTTP X-Robots-Tag, pentru că oricare dintre ele contează.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Rezultat corect: nu se afișează nimic sau doar index, follow și altele asemănătoare. Google spune că o pagină trebuie să fie indexată și eligibilă pentru un fragment ca să apară în AI Overviews și AI Mode și că nosnippet blochează și folosirea ei ca input direct pentru acestea.
6. Un singur URL canonical, absolut și care trimite spre pagina însăși
Pagina trebuie să declare exact un rel="canonical", ca URL absolut, care trimite spre URL-ul pe care îl publici. Google numește canonicalul un semnal puternic, nu o comandă, și avertizează împotriva URL-urilor relative și a semnalelor contradictorii, cum ar fi un sitemap care listează altă adresă.
Greșelile frecvente la lansare sunt un canonical copiat dintr-o pagină șablon, unul care trimite încă spre un host de staging și două etichete canonical, una din temă și una dintr-un plugin.
Rezultat corect: o singură etichetă, URL-ul live, același protocol și același host ca în sitemap.
7. Titlul și H1 spun la ce răspunde pagina, iar răspunsul vine imediat dedesubt
Citește partea de sus a paginii ca un străin. Titlul și H1 ar trebui să numească întrebarea sau subiectul cu cuvintele cumpărătorilor, iar primele două sau trei propoziții de sub H1 ar trebui să răspundă complet.
Ține titlul la aproximativ 60 de caractere, ca să fie mai puțin probabil să fie tăiat în rezultatele căutării. Scrie răspunsul scurt astfel încât să aibă sens și citat separat, cu cifrele, unitățile și numele produsului scrise explicit.
Rezultat corect: cineva care citește doar primul paragraf are răspunsul. Lista noastră de moduri de a fi citat în răspunsurile AI tratează mai pe larg scrisul pentru citare.
8. JSON-LD se parsează și se potrivește cu textul vizibil
Un JSON-LD stricat este ignorat în întregime, așa că o singură virgulă lipsă îl elimină complet. Lipește URL-ul în Testul pentru rezultate îmbogățite de la Google sau în Schema Markup Validator și repară fiecare eroare.
Apoi compară valorile cu pagina. Titlul, datele, prețul, moneda și numele organizației din marcaj trebuie să fie cele pe care le vede cititorul. Google spune că pentru funcțiile sale AI nu este nevoie de un marcaj special și că datele structurate trebuie să se potrivească cu textul vizibil.
Rezultat corect: nicio eroare și fiecare valoare este vizibilă pe pagină. Omite dacă: tipul de pagină nu are un marcaj potrivit; o pagină simplă este mai bună decât un marcaj greșit.
9. Data vizibilă, datele din marcaj și lastmod din sitemap coincid
Afișează pe pagină o dată etichetată, folosește aceleași date în datePublished și dateModified și setează lastmod din sitemap la ultima modificare semnificativă. Google cere ca datele vizibile și cele din marcaj să coincidă și spune că folosește lastmod doar dacă este corect în mod constant și verificabil.
Un generator de sitemap care pune data de azi pe fiecare URL la fiecare build face lastmod inutil pentru toate paginile, nu doar pentru cea nouă.
Rezultat corect: trei locuri, o singură dată.
10. Pagina este în sitemap și primește linkuri de la paginile înrudite
Crawlerele găsesc paginile prin linkuri și sitemapuri. Adaugă URL-ul nou în sitemapul XML, cu exact URL-ul canonical, și pune linkuri spre el din cel puțin două pagini înrudite și dintr-o pagină hub sau de index.
Un fișier sitemap poate conține până la 50.000 de URL-uri și 50 MB necomprimat; site-urile mai mari au nevoie de un index de sitemapuri. Google spune că ignoră priority și changefreq, așa că nu pierde timp cu ele. O pagină fără linkuri interne este orfană, iar crawlerele o pot găsi târziu sau deloc.
Rezultat corect: URL-ul este în sitemap și cel puțin două pagini trimit spre el cu un text de ancoră descriptiv.
11. hreflang este reciproc, cu x-default
Dacă pagina există în mai multe limbi, fiecare versiune trebuie să listeze toate versiunile, inclusiv pe ea însăși, și fiecare trebuie să trimită înapoi. Google ignoră adnotările hreflang care nu sunt confirmate de partea cealaltă. Adaugă x-default pentru versiunea afișată când nicio limbă nu se potrivește.
Omite dacă: site-ul are o singură limbă. Ghidul nostru despre hreflang x-default explică când ai nevoie de el.
12. Cere motoarelor de căutare să acceseze pagina nouă
După ce pagina este live și trece verificările de mai sus, anunță motoarele de căutare. În Google Search Console, folosește Inspectarea adreselor URL pe URL-ul nou și alege Solicită indexarea. Pentru Bing și alte motoare care acceptă IndexNow, trimite URL-ul la endpointul IndexNow cu cheia ta; Bing precizează că asta nu garantează accesarea sau indexarea.
Asistenții AI nu au un formular de trimitere. Crawlerele lor găsesc pagina prin linkuri și prin căutare, de aceea contează verificările 2, 3 și 10. Dacă publici un fișier llms.txt, adaugă pagina și acolo; Google spune că Search nu îl folosește, așa că tratează-l ca opțional.
Rezultat corect: Inspectarea adreselor URL arată că pagina live poate fi indexată.
Cum am ales aceste verificări
Lista urmează drumul unui crawler: ajunge la URL, citește robots.txt, trece de firewall, citește HTML-ul, apoi îl interpretează. Fiecare verificare se bazează pe ce documentează OpenAI, Anthropic, Perplexity și Google despre crawlerele lor, pe RFC 9309 pentru robots.txt și pe ghidurile Google pentru canonicaluri, date, sitemapuri și hreflang. Am lăsat deoparte verificările fără un efect documentat asupra răspunsurilor AI, cum ar fi densitatea cuvintelor cheie sau țintele de număr de cuvinte.
Verificările arată că o pagină poate fi citită; nu pot arăta că va fi citată. Asta depinde de cât de bun este răspunsul în comparație cu alte surse. Repetă verificările 2 până la 5 după fiecare schimbare de firewall, CDN, temă sau CMS, pentru că acestea sunt schimbările care le anulează fără zgomot.
AISeeWhy face majoritatea acestor verificări dintr-o singură trecere: preia pagina ca 16 crawlere AI și de căutare, alături de un browser real, aplică robots.txt pentru fiecare crawler și citește HTML-ul, marcajul, canonicalul și datele. Verificarea gratuită arată scorul și prima constatare; raportul complet listează fiecare problemă cu o remediere gata de folosit.
Remedieri pentru această problemă
- OAI-SearchBot este blocat
- Conținutul paginii necesită JavaScript
- Liste scrise ca text simplu
- Secțiunile nu încep cu un răspuns scurt: 2 din 3
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Verificator și validator llms.txt
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Trebuie să fac aceste verificări pe fiecare pagină?
Fă verificările 1 până la 5 pe fiecare pagină nouă, pentru că un singur URL poate fi blocat sau poate avea un noindex rătăcit. Verificările 6 până la 11 depind în mare parte de șablon, așa că fă-le o dată pe tip de pagină și verifică prin sondaj paginile noi.
De ce nu pot trimite o pagină la ChatGPT sau Claude cum o trimit la Google?
OpenAI, Anthropic și Perplexity nu oferă un instrument de trimitere a URL-urilor pentru pagini web. Crawlerele lor găsesc paginile urmărind linkuri și prin căutare, așa că ce controlezi sunt linkurile interne, un sitemap și accesul deschis pentru OAI-SearchBot, Claude-SearchBot și PerplexityBot.
Pagina mea trece toate cele douăsprezece verificări. De ce tot nu este citată?
Verificările fac o pagină citibilă, nu preferată. Un asistent alege sursele care răspund cel mai bine la o întrebare, așa că îți compară pagina cu paginile pe care le citează: dacă răspund mai repede, dacă scriu prețurile sau specificațiile ca text sau dacă oferă date pe care pagina ta nu le are.
Cât de repede după publicare vin crawlerele AI?
Niciun furnizor nu publică un program. Logurile serverului arată când OAI-SearchBot, Claude-SearchBot sau PerplexityBot cer prima dată URL-ul; ghidul nostru despre verificarea logurilor de server pentru crawlere AI arată cum îi găsești.
Surse
- RFC 9309: Robots Exclusion Protocol
- OpenAI: prezentarea crawlerelor OpenAI
- Anthropic: colectează Anthropic date de pe web și cum pot proprietarii de site-uri să blocheze crawlerul?
- Perplexity: crawlerele Perplexity
- Google Search Central: funcțiile AI și site-ul tău
- Google Search Central: metaeticheta robots, data-nosnippet și X-Robots-Tag
- Google Search Central: cum specifici un URL canonical
- Google Search Central: influențarea datelor afișate pentru articole
- Google Search Central: crearea și trimiterea unui sitemap
- Sitemaps.org: formatul XML pentru sitemapuri
- Google Search Central: anunță Google despre versiunile localizate ale paginii
- Ajutor Google Search Console: instrumentul Inspectarea adreselor URL
- Bing: IndexNow, primii pași
- Ajutor Google Search Console: Testul pentru rezultate îmbogățite
- Schema.org: Schema Markup Validator
- Google Search Central: noțiuni de bază despre JavaScript SEO