AISeeWhy
NL
Start gratis proefperiode

De OpenAI-crawlers uitgelegd: GPTBot, OAI-SearchBot en ChatGPT-User

Gepubliceerd

Kort antwoord

OpenAI gebruikt GPTBot om content te verzamelen waarmee modellen getraind kunnen worden, OAI-SearchBot om pagina's te indexeren voor ChatGPT-zoeken en ChatGPT-User voor bezoeken waar iemand om vraagt. Als je GPTBot blokkeert, sluit je alleen training uit. Blokkeer je OAI-SearchBot, dan verdwijn je uit de zoekantwoorden van ChatGPT. Voor ChatGPT-User geldt robots.txt mogelijk niet.

Drie verschillende user agents van één bedrijf, elk met een eigen robots.txt-token, zorgen voor veel verwarring. Veel sites blokkeerden GPTBot toen die verscheen, en sommige ontdekten later dat ze daarmee ook de crawler hadden geblokkeerd die bepaalt of ChatGPT hen kan citeren, vaak door een te brede firewallregel. Dit artikel loopt elke agent langs aan de hand van de eigen documentatie van OpenAI.

Op deze pagina
  1. Wat doet GPTBot?
  2. Wat doet OAI-SearchBot?
  3. Wat doet ChatGPT-User?
  4. Wat gebeurt er als ik ze blokkeer?
  5. Welke robots.txt moet ik gebruiken voor de crawlers van OpenAI?
  6. Hoe controleer ik of de firewall ze doorlaat?

Wat doet GPTBot?

GPTBot crawlt content die gebruikt kan worden om de generatieve AI-foundation models van OpenAI te trainen. Volgens de documentatie van OpenAI geeft een Disallow voor GPTBot aan dat de content van een site niet gebruikt mag worden om die modellen te trainen.

Zijn user agent bevat het token GPTBot, bijvoorbeeld Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI merkt op dat het versienummer kan veranderen, dus match op het token en niet op de volledige string. OpenAI publiceert zijn IP-bereiken op openai.com/gptbot.json.

Of je hem toestaat, is een beleidskeuze. Sommige uitgevers willen hun content in trainingsdata hebben, andere niet. Blokkeren heeft geen invloed op ChatGPT-zoeken, want dat is een andere crawler. Als je later van gedachten verandert, is het weghalen van de regel Disallow genoeg; je hoeft niets te registreren of aan te vragen.

Wat doet OAI-SearchBot?

OAI-SearchBot is de zoekcrawler van OpenAI. Hij zorgt dat websites verschijnen in de zoekfuncties van ChatGPT. OpenAI zegt ronduit dat sites die OAI-SearchBot hebben uitgesloten niet getoond worden in de zoekantwoorden van ChatGPT.

Wil je dat ChatGPT je pagina's citeert, dan is dit de crawler die je moet toestaan, zowel in robots.txt als in je firewall. De IP-bereiken staan op openai.com/searchbot.json, zodat een firewall kan nagaan of een verzoek echt van OpenAI komt.

Wat doet ChatGPT-User?

ChatGPT-User is geen crawler in de gebruikelijke zin. Hij haalt een pagina op wanneer een ChatGPT-gebruiker of een Custom GPT erom vraagt, bijvoorbeeld als iemand je URL in een chat plakt en om een samenvatting vraagt. Volgens OpenAI wordt hij niet gebruikt om het web automatisch te crawlen.

Twee details uit de documentatie van OpenAI zijn hier belangrijk. Ten eerste: omdat deze acties door een gebruiker worden gestart, gelden robots.txt-regels mogelijk niet. Ten tweede: ChatGPT-User wordt niet gebruikt om te bepalen of content in zoekresultaten mag verschijnen. Voor zoeken telt de instelling voor OAI-SearchBot.

Wat gebeurt er als ik ze blokkeer?

OpenAI merkt ook op dat het de resultaten van één crawl voor beide doelen kan gebruiken als zowel GPTBot als OAI-SearchBot zijn toegestaan, om dubbel crawlen te voorkomen.

Welke robots.txt moet ik gebruiken voor de crawlers van OpenAI?

Voor de meeste sites die in ChatGPT-antwoorden willen verschijnen, geldt: sta de zoekcrawler toe en beslis apart over training. Dit bestand staat zoeken toe en sluit training uit:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Let op een detail uit RFC 9309: een crawler volgt de groep waarin hij genoemd wordt en negeert de groep *. In het voorbeeld hierboven zou OAI-SearchBot /admin/ in mogen, omdat zijn eigen groep geen regel Disallow: /admin/ heeft. Herhaal paden die privé moeten blijven dus in elke genoemde groep. Volgens OpenAI kunnen wijzigingen voor zoeken ongeveer 24 uur duren voordat ze worden toegepast.

Hoe controleer ik of de firewall ze doorlaat?

robots.txt legt alleen je beleid vast. De firewall of cdn bepaalt wat elk verzoek daadwerkelijk krijgt. Vraag een pagina op met de user agent van elke crawler en vergelijk statuscode en grootte van de body met een browserverzoek. Een 403, een 429 of een challenge-pagina voor de crawler, terwijl de browser een normale pagina krijgt, betekent dat de firewall je robots.txt overrulet.

AISeeWhy voert deze vergelijking uit voor alle drie de OpenAI-agents tegelijk, markeert blokkades van OAI-SearchBot en ChatGPT-User als P1 omdat ze citaten kosten, en toont een geblokkeerde GPTBot als P3, een beleidskeuze en geen fout.

Veelgestelde vragen

Is GPTBot hetzelfde als ChatGPT?

Nee. GPTBot is een crawler voor trainingsdata. ChatGPT-zoeken gebruikt OAI-SearchBot, en live bezoeken op verzoek van gebruikers komen van ChatGPT-User.

Kan ik ChatGPT-zoeken toestaan maar training blokkeren?

Ja. Sta OAI-SearchBot toe en sluit GPTBot uit in robots.txt. OpenAI beschrijft de twee instellingen als onafhankelijk.

Moet ik OpenAI blokkeren op IP-adres?

Blokkeren op IP voorkomt dat de crawler je robots.txt leest en maakt je beleid lastiger te wijzigen. Meestal is het beter het beleid in robots.txt vast te leggen en de gepubliceerde IP-bereiken te gebruiken om de crawlers van OpenAI te verifiëren, niet om ze te blokkeren.

Waarom matchen op het token en niet op de volledige user agent?

Volgens OpenAI kan het versienummer in zijn user agents veranderen, en verschillen de gepubliceerde voorbeeldstrings per crawler. Regels die matchen op GPTBot of OAI-SearchBot blijven na een update werken; regels die matchen op de exacte string kunnen ongemerkt ophouden te werken.

Bronnen

Meer artikelen