12 AEO-kontroller att göra innan du publicerar en sida (2027)

Publicerad

Kort svar

Bekräfta före publicering att URL:en svarar 200 utan omdirigeringar, att robots.txt tillåter varje AI-sökcrawler, att brandväggen ger dem den riktiga sidan och att svaret finns i den råa HTML-koden. Kontrollera sedan att ingen noindex eller nosnippet blivit kvar, att det finns en canonical, ett svar under H1, giltig JSON-LD som stämmer, samstämmiga datum, en post i sitemap med interna länkar, hreflang, och begär indexering.

De flesta sidor som aldrig syns i AI-svar faller på något tråkigt: en kvarglömd noindex, en brandväggsregel, en canonical som pekar mot staging. De här tolv kontrollerna fångar sådant före lansering. Var och en tar några minuter, de flesta kräver bara en terminal och sidans URL, och de står i den ordning en crawler möter dem.

På den här sidan
  1. Hur lång tid tar varje kontroll?
  2. 1. URL:en svarar 200 utan en kedja av omdirigeringar
  3. 2. robots.txt tillåter sidan för varje AI-sökcrawler
  4. 3. Brandväggen ger AI-crawlers den riktiga sidan
  5. 4. Svaret finns i den råa HTML-koden
  6. 5. Ingen noindex eller nosnippet har blivit kvar
  7. 6. En kanonisk URL, absolut och med hänvisning till sig själv
  8. 7. Titeln och H1 säger vad sidan svarar på, med svaret direkt under
  9. 8. JSON-LD går att tolka och stämmer med den synliga texten
  10. 9. Synligt datum, datum i märkningen och lastmod i sitemap stämmer överens
  11. 10. Sidan finns i sitemap och länkas från relaterade sidor
  12. 11. hreflang är ömsesidig, med x-default
  13. 12. Be sökmotorerna att crawla den nya sidan
  14. Hur vi valde dessa kontroller

Hur lång tid tar varje kontroll?

En ungefärlig vägledning för en sida, med det verktyg du behöver. Gör kontroll 1 till 5 på varje sida; resten en gång per mall och sedan stickprov.

1. URL:en svarar 200 utan en kedja av omdirigeringar

En crawler ska få själva sidan med status 200 på exakt den URL du kommer att dela och lista i sitemap. Varje omdirigering är ytterligare ett steg som kan gå fel, och en sida som svarar 200 med ett meddelande om att sidan inte hittades är en mjuk 404 som sökmotorer kan släppa.

# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/

Godkänt: 200 redirects=0 och samma URL tillbaka. Åtgärd: länka till och lista den slutliga URL:en, och ha högst en omdirigering från gamla adresser.

2. robots.txt tillåter sidan för varje AI-sökcrawler

Läs robots.txt så som varje crawler skulle göra. En grupp som namnger en crawler ersätter gruppen User-agent: * för den, och enligt RFC 9309 vinner den längsta matchande regeln, där Allow vinner vid lika.

Kontrollera åtminstone OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot och Googlebot. En ny sektion som /guides/ kan fångas av en gammal regel Disallow: /g, eftersom regler matchar början av sökvägen. Bekräfta också att robots.txt själv svarar 200 eller 404: enligt RFC 9309 ska crawlers vid ett serverfel anta att hela webbplatsen är nekad.

Godkänt: ingen regel för någon av dessa token nekar sökvägen. Vår guide om hur du testar robots.txt visar hur du testar en URL för en crawler.

3. Brandväggen ger AI-crawlers den riktiga sidan

Begär sidan med en webbläsares user agent och med crawlers user agents, och jämför status och storlek. Botskydd som matchar på namnet kan ge 403, 429 eller en utmaningssida enbart till crawlers.

URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Godkänt: varje rad visar 200 och en liknande storlek. En mycket mindre storlek betyder oftast en utmaningssida. De här strängarna testar regler som matchar på namnet; riktiga crawlers kommer också från publicerade IP-intervall, vilket ett test från din egen dator inte kan återskapa, så kontrollera även brandväggens tillåtelseregler för de intervallen.

4. Svaret finns i den råa HTML-koden

Sök i den HTML som servern skickar efter en mening ur ditt svar. Webbläsarens elementgranskare visar sidan efter att skripten har körts, och det är inte vad de flesta crawlers får.

curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer"

Godkänt: 1 eller mer. En 0 betyder att texten läggs till med JavaScript, och OpenAI, Anthropic och Perplexity dokumenterar inte att deras crawlers kör det. Rendera på servern eller vid byggtid; vår guide om JavaScript-innehåll och AI-crawlers listar alternativen.

5. Ingen noindex eller nosnippet har blivit kvar

Stagingsidor levereras ofta med noindex, och en mall kan föra med den till produktion. Kontrollera både robots-metataggen och HTTP-huvudet X-Robots-Tag, eftersom båda räknas.

curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html

Godkänt: inget skrivs ut, eller bara index, follow och liknande. Google säger att en sida måste vara indexerad och kunna visas med utdrag för att synas i AI Overviews och AI Mode, och att nosnippet också hindrar att den används som direkt indata för dem.

6. En kanonisk URL, absolut och med hänvisning till sig själv

Sidan ska ange exakt en rel="canonical", som absolut URL, som pekar på den URL du publicerar. Google kallar canonical en stark signal och inte ett kommando, och varnar för relativa URL:er och för motstridiga signaler, till exempel en sitemap som listar en annan adress.

Vanliga misstag vid lansering är en canonical som kopierats från en mallsida, en som fortfarande pekar mot en stagingvärd och två canonical-taggar samtidigt från ett tema och ett tillägg.

Godkänt: en tagg, den publicerade URL:en, samma protokoll och värd som i sitemap.

7. Titeln och H1 säger vad sidan svarar på, med svaret direkt under

Läs sidans överdel som en främling skulle göra. Titeln och H1 ska nämna frågan eller ämnet med de ord köpare använder, och de två eller tre första meningarna under H1 ska besvara den helt.

Håll titeln kring 60 tecken så att den är mindre benägen att kortas av i sökresultaten. Skriv det korta svaret så att det fortfarande är begripligt när det citeras ensamt, med siffror, enheter och produktnamn utskrivna.

Godkänt: den som bara läser första stycket har svaret. Vår lista över sätt att bli citerad i AI-svar går djupare in på att skriva för citat.

8. JSON-LD går att tolka och stämmer med den synliga texten

Trasig JSON-LD ignoreras i sin helhet, så ett enda saknat kommatecken tar bort allt. Klistra in URL:en i Googles Test av utökade resultat eller i Schema Markup Validator och åtgärda varje fel.

Jämför sedan värdena med sidan. Rubrik, datum, pris, valuta och organisationsnamn i märkningen ska vara desamma som läsaren ser. Google säger att ingen särskild märkning behövs för AI-funktionerna och att strukturerad data ska stämma med den synliga texten.

Godkänt: inga fel, och varje värde syns på sidan. Hoppa över om: sidtypen saknar passande märkning; en vanlig sida är bättre än felaktig märkning.

9. Synligt datum, datum i märkningen och lastmod i sitemap stämmer överens

Visa ett datum med etikett på sidan, använd samma datum i datePublished och dateModified, och sätt lastmod i sitemap till den senaste betydande ändringen. Google ber om att synliga och märkta datum stämmer överens, och säger att lastmod bara används om det är konsekvent och verifierbart korrekt.

En sitemapgenerator som stämplar varje URL med dagens datum vid varje bygge gör lastmod värdelöst för alla sidor, inte bara för den nya.

Godkänt: tre ställen, ett datum.

10. Sidan finns i sitemap och länkas från relaterade sidor

Crawlers hittar sidor via länkar och sitemaps. Lägg till den nya URL:en i din XML-sitemap, med exakt den kanoniska URL:en, och länka till den från minst två relaterade sidor och en översikts- eller indexsida.

En sitemapfil kan innehålla upp till 50 000 URL:er och 50 MB okomprimerat; större webbplatser behöver ett sitemapindex. Google säger att priority och changefreq ignoreras, så lägg ingen tid på dem. En sida utan interna länkar är föräldralös och kan hittas sent eller inte alls av crawlers.

Godkänt: URL:en finns i sitemap och minst två sidor länkar till den med beskrivande länktext.

11. hreflang är ömsesidig, med x-default

Om sidan finns på flera språk ska varje version lista alla versioner, inklusive sig själv, och varje version måste länka tillbaka. Google ignorerar hreflang-annoteringar som inte bekräftas från andra hållet. Lägg till x-default för den version som visas när inget språk matchar.

Hoppa över om: webbplatsen har ett språk. Vår guide om hreflang x-default förklarar när du behöver det.

12. Be sökmotorerna att crawla den nya sidan

När sidan är publicerad och klarar kontrollerna ovan berättar du för sökmotorerna om den. I Google Search Console använder du Webbadressgranskning på den nya URL:en och väljer Begär indexering. För Bing och andra sökmotorer som stöder IndexNow skickar du URL:en till IndexNow-slutpunkten med din nyckel; Bing påpekar att detta inte garanterar crawlning eller indexering.

AI-assistenter har inget formulär för att skicka in sidor. Deras crawlers hittar sidan via länkar och sökning, och därför spelar kontroll 2, 3 och 10 roll. Om du publicerar en llms.txt-fil lägger du till sidan där också; Google säger att Search inte använder den, så se den som frivillig.

Godkänt: Webbadressgranskning visar att den publicerade sidan kan indexeras.

Hur vi valde dessa kontroller

Listan följer den väg en crawler tar: nå URL:en, läsa robots.txt, ta sig förbi brandväggen, läsa HTML-koden och sedan tolka den. Varje kontroll bygger på vad OpenAI, Anthropic, Perplexity och Google dokumenterar om sina crawlers, på RFC 9309 för robots.txt och på Googles riktlinjer för canonical, datum, sitemaps och hreflang. Vi lämnade bort kontroller utan dokumenterad effekt på AI-svar, som sökordstäthet eller mål för antal ord.

Kontrollerna visar att en sida går att läsa; de kan inte visa att den kommer att citeras. Det beror på hur bra svaret är jämfört med andra källor. Upprepa kontroll 2 till 5 efter varje ändring av brandvägg, CDN, tema eller CMS, eftersom det är de ändringarna som i det tysta gör dem ogjorda.

AISeeWhy gör de flesta av kontrollerna i ett svep: verktyget hämtar sidan som 16 AI- och sökcrawlers bredvid en riktig webbläsare, tillämpar robots.txt per crawler och läser HTML, märkning, canonical och datum. Den kostnadsfria kontrollen visar poängen och det första fyndet; den fullständiga rapporten listar varje problem med en färdig åtgärd.

Åtgärder för det här problemet

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Behöver jag göra de här kontrollerna på varje sida?

Gör kontroll 1 till 5 på varje ny sida, eftersom en enskild URL kan vara blockerad eller ha en kvarglömd noindex. Kontroll 6 till 11 beror mest på mallen, så gör dem en gång per sidtyp och ta stickprov på nya sidor.

Varför kan jag inte skicka in en sida till ChatGPT eller Claude som till Google?

OpenAI, Anthropic och Perplexity erbjuder inget verktyg för att skicka in URL:er till webbsidor. Deras crawlers hittar sidor genom att följa länkar och via sökning, så interna länkar, en sitemap och fri åtkomst för OAI-SearchBot, Claude-SearchBot och PerplexityBot är det du styr över.

Min sida klarar alla tolv kontrollerna. Varför citeras den ändå inte?

Kontrollerna gör en sida läsbar, inte föredragen. En assistent väljer de källor som besvarar en fråga bäst, så jämför din sida med de sidor den faktiskt citerar: om de svarar tidigare, anger priser eller specifikationer i text eller har data som din sida saknar.

Hur snart efter publicering kommer AI-crawlers?

Ingen leverantör publicerar ett schema. Dina serverloggar visar när OAI-SearchBot, Claude-SearchBot eller PerplexityBot först begär URL:en; vår guide om att leta efter AI-crawlers i serverloggar visar hur du hittar dem.

Källor

Fler artiklar