AI-crawlermonitoring

Een firewallregel, een CDN-instelling of een nieuwe robots.txt kan AI-crawlers van de ene op de andere dag buitensluiten, terwijl je site er voor mensen gewoon normaal uitziet. Monitoring controleert je belangrijke pagina's opnieuw en mailt je wanneer iets nieuws ze blokkeert.

Gratis · Geen account nodig · Resultaat in 30 seconden

Abonnementen en prijzen → Bekijk een voorbeeld van een volledig rapport →

Deze tekst is automatisch vertaald uit het Engels.

Wat monitoring controleert

Elke run is dezelfde controle als de gratis controle op onze homepage. Je pagina wordt opgehaald als 16 AI- en zoekcrawlers, als curl en als desktopbrowser, elk met de gepubliceerde user agent. robots.txt wordt voor elk crawlertoken beoordeeld, en de gestructureerde gegevens, content, datums, sitemaps, hreflang en llms.txt van de pagina worden gecontroleerd. Het resultaat is een score van 0 tot 100 en een lijst bevindingen met prioriteiten P1 tot P3.

Wanneer je een e-mail krijgt

Gemonitorde pagina's worden dagelijks of wekelijks opnieuw gecontroleerd, zoals jij kiest. Je krijgt een e-mail als er een nieuw blokkerend probleem opduikt, bijvoorbeeld een crawler die nu een 403 of een challengepagina krijgt, of als de score met 10 punten of meer daalt. De e-mail zegt wat er veranderd is en linkt naar het rapport met de oplossing.

Wat het niet kan zien

Verzoeken komen van onze server met de user agent van elke crawler, niet van de eigen IP-adressen van de crawlerbeheerders. Een firewall die echte crawlers op IP vertrouwt, kan ze anders behandelen dan ons, en elke blokkadebevinding vermeldt dat. Wil je zien hoe de echte crawlers zijn beantwoord, dan leest de serverlogcontrole in de betaalde abonnementen je toegangslog en telt de bezoeken en statuscodes van elke AI-crawler.

Abonnementen met monitoring

Het gratis abonnement heeft geen monitoring: het geeft één controle per dag met de score en de eerste bevinding. Abonnementen worden maandelijks gefactureerd, zijn op elk moment op te zeggen, en elke betaling kan binnen 14 dagen volledig worden terugbetaald.

Zo begin je

  1. Voer de gratis controle uit op je belangrijkste pagina en bekijk de eerste bevinding.
  2. Kies een abonnement op de prijspagina en log in met je e-mailadres.
  3. Voeg de pagina's die je wilt volgen toe onder Monitoring in je account: de homepage, prijzen, belangrijkste product- of dienstpagina's en kernartikelen.
  4. Kies dagelijks of wekelijks. Controleer de pagina na een oplossing opnieuw om de score ervoor en erna te zien.

Veelgestelde vragen

Welke wijzigingen leiden tot een melding?

Een nieuw blokkerend probleem op een gemonitorde pagina, zoals een crawler die nu wordt geweigerd, of een scoredaling van 10 punten of meer sinds de vorige controle.

Gebruikt monitoring de echte GPTBot of ClaudeBot?

Nee. Het stuurt hun gepubliceerde user agents vanaf onze server. Dat laat zien hoe je firewall en server die user agents behandelen; de serverlogcontrole toont de echte bezoeken.

Kan ik klantsites monitoren?

Ja, met Business, Agency en Enterprise. Pro is voor persoonlijk, niet-commercieel gebruik.

Kan ik het uitproberen voordat ik betaal?

De gratis controle laat zien wat één run op een willekeurige pagina vindt. Monitoring zelf vereist een betaald abonnement, dat je op elk moment kunt opzeggen en binnen 14 dagen terugbetaald kunt krijgen.

Verwante tools en gidsen