12 AEO-checks om uit te voeren voordat je een pagina publiceert (2027)
Controleer vóór publicatie dat de URL 200 geeft zonder redirects, dat robots.txt elke AI-zoekcrawler toelaat, dat je firewall ze de echte pagina stuurt en dat het antwoord in de ruwe HTML staat. Controleer daarna op achtergebleven noindex of nosnippet, één canonical, een antwoord onder de H1, geldige en passende JSON-LD, kloppende datums, een sitemapregel met interne links, hreflang, en vraag indexering aan.
De meeste pagina's die nooit in AI-antwoorden verschijnen, struikelen over iets saais: een vergeten noindex, een firewallregel, een canonical die naar staging wijst. Deze twaalf checks vangen dat vóór de lancering op. Elke check kost een paar minuten, voor de meeste heb je niet meer nodig dan een terminal en de URL van de pagina, en ze staan in de volgorde waarin een crawler ze tegenkomt.
Op deze pagina
- Hoe lang duurt elke check?
- 1. De URL geeft 200 zonder een keten van redirects
- 2. robots.txt laat de pagina toe voor elke AI-zoekcrawler
- 3. De firewall stuurt AI-crawlers de echte pagina
- 4. Het antwoord staat in de ruwe HTML
- 5. Geen noindex of nosnippet blijven staan
- 6. Eén canonieke URL, absoluut en naar zichzelf wijzend
- 7. Titel en H1 zeggen wat de pagina beantwoordt, met het antwoord er direct onder
- 8. JSON-LD is geldig en komt overeen met de zichtbare tekst
- 9. Zichtbare datum, datums in de markup en lastmod in de sitemap kloppen met elkaar
- 10. De pagina staat in de sitemap en verwante pagina's linken ernaar
- 11. hreflang is wederzijds, met x-default
- 12. Vraag zoekmachines de nieuwe pagina te crawlen
- Hoe we deze checks hebben gekozen
Hoe lang duurt elke check?
Een grove indicatie voor één pagina, met de tool die je nodig hebt. Voer check 1 tot 5 uit op elke pagina; de rest één keer per template, daarna steekproefsgewijs.
- 1. Status 200: 1 minuut, curl.
- 2. robots.txt per crawler: 3 minuten, browser of curl.
- 3. Antwoord van de firewall: 3 minuten, curl.
- 4. Tekst in de ruwe HTML: 2 minuten, curl.
- 5. Geen achtergebleven noindex of nosnippet: 2 minuten, curl.
- 6. Eén canonical: 2 minuten, paginabron bekijken.
- 7. Titel, H1 en kort antwoord: 5 minuten, de pagina lezen.
- 8. JSON-LD geldig en passend: 5 minuten, Test voor uitgebreide resultaten of Schema Markup Validator.
- 9. Datums kloppen: 3 minuten, pagina, markup en sitemap.
- 10. Sitemap en interne links: 5 minuten, sitemap.xml en je CMS.
- 11. hreflang: 5 minuten, alleen voor meertalige sites.
- 12. Indexering aanvragen: 2 minuten, Search Console en IndexNow.
1. De URL geeft 200 zonder een keten van redirects
Een crawler moet de pagina zelf krijgen, met status 200, op precies de URL die je deelt en in de sitemap zet. Elke redirect is een extra stap die mis kan gaan, en een pagina die 200 geeft met een melding "niet gevonden" is een soft 404 die zoekmachines kunnen laten vallen.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Geslaagd: 200 redirects=0 en dezelfde URL terug. Oplossing: link naar de uiteindelijke URL en zet die in de sitemap, en houd vanaf oude adressen maximaal één redirect aan.
2. robots.txt laat de pagina toe voor elke AI-zoekcrawler
Lees robots.txt zoals elke crawler dat zou doen. Een groep die een crawler bij naam noemt, vervangt voor die crawler de groep User-agent: *, en volgens RFC 9309 wint de langste passende regel, waarbij Allow wint bij een gelijkspel.
Controleer minstens OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot en Googlebot. Een nieuwe sectie zoals /guides/ kan worden geraakt door een oude regel Disallow: /g, omdat regels op het begin van het pad matchen. Controleer ook dat robots.txt zelf 200 of 404 geeft: volgens RFC 9309 moeten crawlers bij een serverfout aannemen dat de hele site is uitgesloten.
Geslaagd: geen regel voor een van deze tokens sluit het pad uit. Onze gids over robots.txt testen laat zien hoe je één URL voor één crawler test.
3. De firewall stuurt AI-crawlers de echte pagina
Vraag de pagina op met een browser-user-agent en met user-agents van crawlers, en vergelijk status en grootte. Botbescherming die op de naam matcht, kan alleen crawlers een 403, een 429 of een challenge-pagina geven.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Geslaagd: elke regel toont 200 en een vergelijkbare grootte. Een veel kleinere grootte betekent meestal een challenge-pagina. Deze strings testen regels die op de naam matchen; echte crawlers komen ook van gepubliceerde IP-bereiken, wat een test vanaf je eigen machine niet kan nabootsen, dus controleer ook de toestaanregels van je firewall voor die bereiken.
4. Het antwoord staat in de ruwe HTML
Zoek in de HTML die de server stuurt naar een zin uit je antwoord. De elementinspector van de browser toont de pagina nadat scripts zijn uitgevoerd, en dat is niet wat de meeste crawlers krijgen.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Geslaagd: 1 of meer. Een 0 betekent dat de tekst door JavaScript wordt toegevoegd, en OpenAI, Anthropic en Perplexity documenteren niet dat hun crawlers dat uitvoeren. Render het op de server of tijdens de build; onze gids over JavaScript-content en AI-crawlers zet de opties op een rij.
5. Geen noindex of nosnippet blijven staan
Stagingsites gaan vaak live met noindex, en een template kan het naar productie meenemen. Controleer zowel de robots-metatag als de HTTP-header X-Robots-Tag, want ze tellen allebei.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Geslaagd: niets uitgevoerd, of alleen index, follow en vergelijkbaar. Google zegt dat een pagina geïndexeerd moet zijn en geschikt voor een snippet om in AI Overviews en AI Mode te verschijnen, en dat nosnippet ook gebruik als directe input daarvoor blokkeert.
6. Eén canonieke URL, absoluut en naar zichzelf wijzend
De pagina moet precies één rel="canonical" opgeven, als absolute URL, die wijst naar de URL die je publiceert. Google noemt de canonical een sterk signaal en geen opdracht, en waarschuwt voor relatieve URL's en voor tegenstrijdige signalen, zoals een sitemap die een ander adres vermeldt.
Veelgemaakte fouten bij de lancering zijn een canonical die is gekopieerd van een templatepagina, een die nog naar een staginghost wijst, en twee canonical-tags tegelijk, van een thema en een plug-in.
Geslaagd: één tag, de live URL, hetzelfde protocol en dezelfde host als in de sitemap.
7. Titel en H1 zeggen wat de pagina beantwoordt, met het antwoord er direct onder
Lees de bovenkant van de pagina zoals een buitenstaander dat zou doen. De titel en de H1 moeten de vraag of het onderwerp noemen in de woorden van kopers, en de eerste twee of drie zinnen onder de H1 moeten die volledig beantwoorden.
Houd de titel op ongeveer 60 tekens, zodat die minder snel wordt afgekapt in de zoekresultaten. Schrijf het korte antwoord zo dat het ook los geciteerd nog klopt, met cijfers, eenheden en de productnaam voluit.
Geslaagd: wie alleen de eerste alinea leest, heeft het antwoord. Onze lijst met manieren om geciteerd te worden in AI-antwoorden gaat dieper in op schrijven om geciteerd te worden.
8. JSON-LD is geldig en komt overeen met de zichtbare tekst
Kapotte JSON-LD wordt in zijn geheel genegeerd, dus één ontbrekende komma haalt alles weg. Plak de URL in de Test voor uitgebreide resultaten van Google of in de Schema Markup Validator en los elke fout op.
Vergelijk daarna de waarden met de pagina. De kop, datums, prijs, valuta en naam van de organisatie in de markup moeten dezelfde zijn als wat een lezer ziet. Google zegt dat er voor zijn AI-functies geen speciale markup nodig is en dat gestructureerde data moet overeenkomen met de zichtbare tekst.
Geslaagd: geen fouten, en elke waarde staat zichtbaar op de pagina. Sla over als: er voor het paginatype geen passende markup is; een gewone pagina is beter dan verkeerde markup.
9. Zichtbare datum, datums in de markup en lastmod in de sitemap kloppen met elkaar
Toon een datum met label op de pagina, gebruik dezelfde datums in datePublished en dateModified, en zet lastmod in de sitemap op de laatste belangrijke wijziging. Google vraagt dat zichtbare datums en datums in de markup overeenkomen, en zegt dat het lastmod alleen gebruikt als die consequent en aantoonbaar klopt.
Een sitemapgenerator die bij elke build elke URL de datum van vandaag geeft, maakt lastmod waardeloos voor alle pagina's, niet alleen voor de nieuwe.
Geslaagd: drie plekken, één datum.
10. De pagina staat in de sitemap en verwante pagina's linken ernaar
Crawlers vinden pagina's via links en sitemaps. Voeg de nieuwe URL toe aan je XML-sitemap, met precies de canonieke URL, en link ernaar vanaf minstens twee verwante pagina's en een overzichts- of indexpagina.
Een sitemapbestand kan maximaal 50.000 URL's en 50 MB ongecomprimeerd bevatten; grotere sites hebben een sitemapindex nodig. Google zegt dat het priority en changefreq negeert, dus besteed daar geen tijd aan. Een pagina zonder interne links is een wees die crawlers laat of helemaal niet vinden.
Geslaagd: de URL staat in de sitemap en minstens twee pagina's linken ernaar met beschrijvende ankertekst.
11. hreflang is wederzijds, met x-default
Als de pagina in meerdere talen bestaat, moet elke versie alle versies vermelden, inclusief zichzelf, en moet elke versie terugverwijzen. Google negeert hreflang-annotaties die niet van de andere kant worden bevestigd. Voeg x-default toe voor de versie die wordt getoond als geen taal past.
Sla over als: de site één taal heeft. Onze gids over hreflang x-default legt uit wanneer je het nodig hebt.
12. Vraag zoekmachines de nieuwe pagina te crawlen
Zodra de pagina live is en de checks hierboven doorstaat, laat je zoekmachines weten dat ze bestaat. Gebruik in Google Search Console URL-inspectie op de nieuwe URL en kies Indexering aanvragen. Dien voor Bing en andere zoekmachines die IndexNow ondersteunen de URL in bij het IndexNow-endpoint met je sleutel; Bing merkt op dat dit geen garantie is voor crawlen of indexeren.
AI-assistenten hebben geen formulier om pagina's in te dienen. Hun crawlers vinden de pagina via links en zoeken, en daarom tellen check 2, 3 en 10. Als je een llms.txt-bestand publiceert, zet de pagina daar ook in; Google zegt dat Search het niet gebruikt, dus zie het als optioneel.
Geslaagd: URL-inspectie laat zien dat de live pagina geïndexeerd kan worden.
Hoe we deze checks hebben gekozen
De lijst volgt de route van een crawler: de URL bereiken, robots.txt lezen, langs de firewall komen, de HTML lezen en die dan interpreteren. Elke check is gebaseerd op wat OpenAI, Anthropic, Perplexity en Google over hun crawlers documenteren, op RFC 9309 voor robots.txt en op de richtlijnen van Google voor canonicals, datums, sitemaps en hreflang. We hebben checks zonder gedocumenteerd effect op AI-antwoorden weggelaten, zoals zoekwoorddichtheid of streefaantallen woorden.
De checks laten zien dat een pagina gelezen kan worden; ze kunnen niet laten zien dat die geciteerd wordt. Dat hangt af van hoe goed het antwoord is vergeleken met andere bronnen. Herhaal check 2 tot 5 na elke wijziging aan firewall, CDN, thema of CMS, want juist die wijzigingen maken ze ongemerkt ongedaan.
AISeeWhy voert de meeste van deze checks in één keer uit: het haalt de pagina op als 16 AI- en zoekcrawlers naast een echte browser, past robots.txt per crawler toe en leest de HTML, markup, canonical en datums. De gratis check toont de score en de eerste bevinding; het volledige rapport noemt elk probleem met een kant-en-klare oplossing.
Oplossingen voor dit probleem
- OAI-SearchBot wordt geblokkeerd
- Pagina-inhoud heeft JavaScript nodig
- Lijsten als platte tekst geschreven
- Secties beginnen niet met een kort antwoord: 2 van 3
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- llms.txt-checker en -validator
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Moet ik deze checks op elke pagina uitvoeren?
Voer check 1 tot 5 uit op elke nieuwe pagina, omdat één URL geblokkeerd kan zijn of een achtergebleven noindex kan hebben. Check 6 tot 11 hangen vooral van de template af, dus voer die één keer per paginatype uit en controleer nieuwe pagina's steekproefsgewijs.
Waarom kan ik een pagina niet bij ChatGPT of Claude indienen, zoals bij Google?
OpenAI, Anthropic en Perplexity bieden geen tool om URL's van webpagina's in te dienen. Hun crawlers vinden pagina's door links te volgen en via zoeken, dus interne links, een sitemap en vrije toegang voor OAI-SearchBot, Claude-SearchBot en PerplexityBot zijn wat jij in de hand hebt.
Mijn pagina doorstaat alle twaalf checks. Waarom wordt die nog steeds niet geciteerd?
De checks maken een pagina leesbaar, niet favoriet. Een assistent kiest de bronnen die een vraag het best beantwoorden, dus vergelijk je pagina met de pagina's die hij wel citeert: of ze sneller antwoorden, prijzen of specificaties als tekst noemen of data bieden die jij niet hebt.
Hoe snel na publicatie komen AI-crawlers langs?
Geen enkele aanbieder publiceert een schema. Je serverlogs laten zien wanneer OAI-SearchBot, Claude-SearchBot of PerplexityBot de URL voor het eerst opvragen; onze gids over serverlogs controleren op AI-crawlers laat zien hoe je ze vindt.
Bronnen
- RFC 9309: Robots Exclusion Protocol
- OpenAI: overzicht van de crawlers van OpenAI
- Anthropic: crawlt Anthropic data van het web, en hoe kunnen site-eigenaren de crawler blokkeren?
- Perplexity: crawlers van Perplexity
- Google Search Central: AI-functies en je website
- Google Search Central: robots-metatag, data-nosnippet en X-Robots-Tag
- Google Search Central: een canonieke URL opgeven
- Google Search Central: invloed uitoefenen op je publicatiedatums
- Google Search Central: een sitemap maken en indienen
- Sitemaps.org: XML-indeling voor sitemaps
- Google Search Central: Google informeren over gelokaliseerde versies van je pagina
- Search Console Help: tool URL-inspectie
- Bing: IndexNow, aan de slag
- Search Console Help: Test voor rich results
- Schema.org: Schema Markup Validator
- Google Search Central: basisprincipes van JavaScript SEO