GPTBot
GPTBot is de crawler van OpenAI voor content die kan worden gebruikt om de generatieve AI-basismodellen van het bedrijf te trainen. Als je hem in robots.txt verbiedt, geef je OpenAI aan je content niet voor training te gebruiken. Blokkeren haalt je niet uit de zoekantwoorden van ChatGPT, die afhangen van OAI-SearchBot.
Wat de crawler doet
OpenAI zegt dat GPTBot wordt gebruikt om de generatieve AI-basismodellen nuttiger en veiliger te maken. Hij crawlt content die kan worden gebruikt om die modellen te trainen, en GPTBot verbieden geeft aan dat de content van een site niet voor training mag worden gebruikt.
Of je hem toestaat is een beleidskeuze, geen kwestie van zichtbaarheid. ChatGPT-zoeken gebruikt een aparte crawler, OAI-SearchBot, en OpenAI beschrijft de twee instellingen als onafhankelijk. Als beide zijn toegestaan, zegt OpenAI dat het de resultaten van één crawl voor beide doelen kan gebruiken om dubbel crawlen te vermijden.
In ons onderzoek van 2026-11 blokkeerde 21.4% van de populaire sites met een robots.txt deze crawler. →
robots.txt-token
GPTBot
User-agentstring
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotZo sta je hem toe
User-agent: GPTBot
Allow: /Zo blokkeer je hem
User-agent: GPTBot
Disallow: /Zo verifieer je echte bezoeken
OpenAI publiceert de IP-bereiken die deze agent gebruikt als JSON-bestand. Vergelijk het bron-IP van het verzoek met die bereiken; een verzoek dat GPTBot noemt maar van een ander adres komt, is niet van OpenAI. OpenAI merkt op dat het versienummer in de user agent kan veranderen, dus match op het GPTBot-token in plaats van op de volledige string.
Controleer of je site hem toelaat →
De OpenAI-crawlers uitgelegd: GPTBot, OAI-SearchBot en ChatGPT-User →