Kan Gemini mijn website zien? Zo controleer je het
Gemini kan je pagina alleen in een gegrond antwoord gebruiken als de pagina in de zoekindex van Google staat en je robots.txt het token Google-Extended niet uitsluit. Google zegt dat grounding in de Gemini-app het model content uit de zoekindex van Google geeft, en dat Google-Extended bepaalt of je content daarvoor gebruikt mag worden. Controleer dus de indexering in Search Console, controleer robots.txt op Googlebot en Google-Extended, en stel Gemini daarna de vragen van je kopers en open de bronnen.
Gemini heeft geen eigen crawler die je in je logs kunt volgen, zoals bij andere assistenten. Google crawlt met zijn bestaande crawlers, en een robots.txt-token bepaalt wat Gemini met de content mag doen. Daardoor werkt de controle anders: het meeste gebeurt in Google Search Console en in je robots.txt, en de laatste stap in Gemini zelf.
Op deze pagina
- De check van 5 minuten, stap voor stap
- Hoe haalt Gemini informatie van websites?
- Hoe controleer ik of Google mijn pagina heeft geïndexeerd?
- Houdt Google-Extended Gemini tegen om mijn site te gebruiken?
- Kan een firewall Google blokkeren terwijl browsers erdoor komen?
- Hoe zie ik of Gemini mijn site gebruikt of citeert?
- Hebben AI Overviews, AI Mode en snippetregels invloed op Gemini?
- Hoe controleert AISeeWhy dit?
De check van 5 minuten, stap voor stap
- Zoek in Google op
site:plus het adres van je pagina, of gebruik URL-inspectie in Search Console, om te bevestigen dat de pagina in de index van Google staat. - Open je robots.txt en controleer dat
Googlebotde pagina mag ophalen en datGoogle-Extendedniet verboden is, tenzij je bewust hebt gekozen om je af te melden. - Voer een gratis controle van de pagina uit op AISeeWhy of stuur één verzoek met de user agent
Googlebot: het moet status 200 krijgen en dezelfde tekst als een browser. - Stel Gemini een vraag die je pagina beantwoordt en open de bronnen die het onder het antwoord toont.
Is de pagina niet geïndexeerd, dan kan de grounding van Gemini haar niet gebruiken; begin dus bij stap 1. De secties hieronder leggen elke stap uit en wat je doet als die mislukt.
Hoe haalt Gemini informatie van websites?
De Gemini Apps Privacy Hub van Google zegt dat sommige antwoorden van Gemini gegrond zijn op zoekresultaten. De crawlerdocumentatie van Google definieert grounding als het aanbieden van content uit de zoekindex van Google aan het model op het moment van de prompt, om feitelijkheid en relevantie te verbeteren. Dezelfde pagina zegt dat Google-Extended bepaalt of content die Google crawlt gebruikt mag worden voor het trainen van Gemini-modellen en voor grounding in Gemini Apps en in Grounding with Google Search op Vertex AI.
Google-Extended heeft geen eigen user-agentstring. Google zegt dat het crawlen gebeurt met zijn bestaande user agents en dat het token alleen in robots.txt als instelling werkt. In de praktijk geeft dat twee voorwaarden waaronder Gemini je pagina kan gebruiken: Google moet hem in zijn index hebben, en je robots.txt mag Google-Extended er niet voor uitsluiten.
Google documenteert niet hoe Gemini kiest welke geïndexeerde pagina's het gebruikt of citeert. Aan beide voorwaarden voldoen maakt je pagina beschikbaar; het garandeert niet dat Gemini hem kiest.
Hoe controleer ik of Google mijn pagina heeft geïndexeerd?
Gebruik de tool URL-inspectie in Google Search Console. Voor de geïndexeerde versie toont die:
- Of de pagina is geïndexeerd, of een reden zoals "URL is niet bekend bij Google".
- De datum van de laatste crawl en of Google als desktop- of mobiele bezoeker crawlde.
- Of het ophalen van de pagina lukte en of robots.txt de crawl toestond.
- De canonical die je hebt opgegeven en de canonical die Google heeft gekozen. Als die verschillen, behandelt Google zijn eigen keuze als de gezaghebbende versie van de pagina.
Live URL testen haalt de pagina in realtime op, en Geteste pagina bekijken toont een screenshot en de HTML die Google ontving. Is de screenshot een challenge-pagina of mist je hoofdtekst in de HTML, dan ziet Google, en daarmee Gemini, je content niet. Indexering aanvragen vraagt Google de URL opnieuw te crawlen; volgens Google duurt dat meestal ongeveer een dag, zonder garantie op indexering.
Houdt Google-Extended Gemini tegen om mijn site te gebruiken?
Open je robots.txt en zoek naar een groep die Google-Extended noemt. Een Disallow: / daar vertelt Google je pagina's niet te gebruiken voor Gemini-training of voor grounding in Gemini Apps. Google zegt dat het token geen invloed heeft op opname in Google Zoeken en geen rankingsignaal is, dus deze blokkade valt makkelijk niet op: je zoekverkeer ziet er normaal uit terwijl Gemini geen antwoorden op je pagina's kan baseren. Ons aparte artikel over AI Overviews en Google-Extended behandelt wat het token in Zoeken wel en niet regelt.
Omdat het token nooit in verzoeken voorkomt, kun je het niet met curl testen of in logs terugvinden. Het bestand lezen is de enige controle:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" Het matchen is niet hoofdlettergevoelig, en als geen groep Google-Extended noemt, geldt de groep * ervoor. Veel sites voegden deze blokkade toe toen AI-training voor het eerst ter discussie stond. In ons onderzoek naar de 1.000 populairste domeinen noemden 114 van de 518 sites met een robots.txt Google-Extended en sloten 94 (18,1%) er hun homepage voor uit. Bepaal of dat nog past bij wat je wilt, nu het ook grounding dekt.
Kan een firewall Google blokkeren terwijl browsers erdoor komen?
Ja. Als botbescherming of een rate limit de crawlers van Google een 403, een 429 of een challenge-pagina geeft, kan Google de pagina niet crawlen, en na verloop van tijd kan die uit Zoeken verdwijnen en daarmee uit de grounding van Gemini. URL-inspectie is hier de beste test, omdat Google vanaf zijn eigen adressen ophaalt; een curl-test vanaf je computer laat alleen zien hoe je regels de user agent behandelen.
Om Google veilig toe te laten, verifieer je de bezoeker in plaats van op de naam te vertrouwen. Google documenteert een reverse DNS-lookup gevolgd door een forward lookup, en publiceert IP-bereiken voor zijn gangbare crawlers in common-crawlers.json:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com Vervang het voorbeeldadres door een adres uit je logs. Komen de twee lookups niet overeen, dan beweert het verzoek alleen maar dat het van Google komt.
Hoe zie ik of Gemini mijn site gebruikt of citeert?
Stel Gemini de vragen die je kopers stellen, zonder je site te noemen, en open de bronnen. Volgens het helpcentrum van Google verschijnt de knop Bronnen onderaan een antwoord of in de tekst, en opent die een paneel met gerelateerde links die openbare websites kunnen bevatten. Is er geen knop Bronnen, dan gaf Gemini bij dat antwoord geen links, en Google merkt op dat niet alle antwoorden ze bevatten. Noteer welke domeinen verschijnen en herhaal dezelfde vragen over een paar weken.
Ontwikkelaars kunnen dezelfde test uitvoeren via de Gemini API met Grounding with Google Search. Google zegt dat dit het model verbindt met realtime webcontent, en gegronde antwoorden bevatten bronvermeldingen met de URL en titel van elke bron, zodat je kunt controleren of je domein verschijnt. Antwoorden via de API kunnen verschillen van wat de Gemini-app toont.
Sommige ophaalacties rond Gemini bereiken je server wel. Google noemt door gebruikers gestarte fetchers zoals Google-GeminiNotebook, dat URL's opvraagt die gebruikers als bron aan een Gemini Notebook-project toevoegen, en Google-Agent, dat wordt gebruikt door agents op de infrastructuur van Google die op verzoek van een gebruiker handelen. Google zegt dat deze fetchers robots.txt meestal negeren omdat een gebruiker om het ophalen vroeg. Hun bezoeken laten zien dat mensen je pagina's via die producten openen; ze zijn niet de grounding-route die hierboven is beschreven.
Hebben AI Overviews, AI Mode en snippetregels invloed op Gemini?
AI Overviews en AI Mode zijn functies van Google Zoeken met hun eigen instellingen. Google noemt nosnippet, data-nosnippet, max-snippet en noindex als manieren om te beperken wat van je pagina's wordt getoond. De documentatie over de robots-metatag zegt dat nosnippet ook voorkomt dat content als directe input voor AI Overviews en AI Mode wordt gebruikt, en dat max-snippet beperkt hoeveel er gebruikt mag worden. Search Console heeft ook een sitebrede instelling Search generative AI waarmee je een site kunt uitsluiten van AI Overviews, AI Mode en generatieve AI-functies in Discover.
Geen van deze pagina's noemt de Gemini-app. Ga er niet van uit dat een snippetregel of de instelling in Search Console de grounding van Gemini verandert, of dat Google-Extended AI Overviews verandert. noindex is de uitzondering: volgens de definitie van grounding van Google kan een pagina buiten de zoekindex er niet voor worden gebruikt. Om snippetregels te vinden die je misschien vergeten bent, controleer je de HTML en de headers:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" Hoe controleert AISeeWhy dit?
De gratis controle van AISeeWhy haalt je pagina op als Googlebot en de andere AI- en zoekcrawlers naast een echte browser, past je robots.txt op elk ervan toe, inclusief het token Google-Extended, herkent challenge-pagina's en laat zien hoeveel tekst er zonder JavaScript aankomt. De AI-zichtbaarheidscontrole, in de betaalde abonnementen, stelt je vragen via de Gemini API met grounding in Google Search en je eigen sleutel, en laat zien of je merk of domein wordt genoemd of geciteerd. AI Overviews en AI Mode bevraagt hij niet.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- IP-controle voor AI-crawlers
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Kan ik gratis controleren of Gemini mijn site kan zien?
Ja. Search Console, een site:-zoekopdracht, je robots.txt en een vraag in Gemini kosten niets. De gratis controle van AISeeWhy test Googlebot, de Google-Extended-regel en 14 andere crawlers voor één pagina per dag.
Heeft Gemini een eigen crawler?
Niet voor grounding. Google zegt dat Google-Extended geen user-agentstring heeft en dat het crawlen gebeurt met zijn bestaande crawlers. Aparte, door gebruikers gestarte fetchers zoals Google-GeminiNotebook en Google-Agent bezoeken pagina's als een gebruiker daarom vraagt, en volgens Google negeren ze robots.txt meestal.
Als ik Google-Extended blokkeer, kan Gemini mijn merk dan nog noemen?
Google zegt dat het je content dan niet gebruikt voor grounding in Gemini Apps. Die regel geldt voor je eigen pagina's. Google zegt niets over content op andere sites die over jou schrijven, dus Gemini kan je merk nog steeds noemen op basis van die bronnen.
Hoe lang duurt het voordat een wijziging in robots.txt Gemini bereikt?
Google noemt geen termijn voor Gemini. De robots.txt-documentatie zegt dat Google het bestand meestal tot 24 uur in de cache bewaart, dus wacht minstens een dag voordat je opnieuw test, en langer voor pagina's die Google zelden opnieuw crawlt.
Gebruiken AI Overviews en Gemini dezelfde bronnen?
Google documenteert niet hoe die twee zich tot elkaar verhouden. Beide putten uit de index van Google, maar ze hebben verschillende instellingen: snippetregels en de instelling in Search Console voor AI Overviews en AI Mode, en Google-Extended voor grounding in Gemini. Controleer ze apart.
Hoe volg ik antwoorden van Gemini door de tijd?
Houd een vaste lijst met vragen van kopers bij, stel ze volgens een schema in Gemini en noteer welke domeinen in de bronnen verschijnen. De AI-zichtbaarheidscontrole van AISeeWhy stelt je vragen wekelijks via de Gemini API met grounding in Google Search en toont vermeldingen naast maximaal vier concurrenten. Resultaten via de API kunnen verschillen van de Gemini-app.
Bronnen
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: AI Crawler Access Report, 2026-11