GPTBot

OpenAI · AI-trening

GPTBot er OpenAIs crawler for innhold som kan brukes til å trene selskapets generative AI-grunnmodeller. Hvis du forbyr den i robots.txt, ber du OpenAI om ikke å bruke innholdet ditt til trening. Å blokkere den fjerner deg ikke fra svarene i ChatGPT-søk, som avhenger av OAI-SearchBot.

Hva den gjør

OpenAI sier at GPTBot brukes til å gjøre de generative AI-grunnmodellene mer nyttige og sikre. Den crawler innhold som kan brukes til å trene disse modellene, og å forby GPTBot viser at et nettsteds innhold ikke skal brukes til trening.

Om du skal tillate den, er en policybeslutning, ikke et spørsmål om synlighet. ChatGPT-søk bruker en egen crawler, OAI-SearchBot, og OpenAI dokumenterer de to innstillingene som uavhengige. Når begge er tillatt, sier OpenAI at resultatet av én crawling kan brukes til begge formål for å unngå å crawle to ganger.

I undersøkelsen vår fra 2026-11 blokkerte 21.4% av de populære nettstedene med robots.txt den. →

robots.txt-token

GPTBot

User agent-streng

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Slik tillater du den

User-agent: GPTBot
Allow: /

Slik blokkerer du den

User-agent: GPTBot
Disallow: /

Slik verifiserer du ekte besøk

OpenAI publiserer IP-områdene denne agenten bruker, som en JSON-fil. Sammenlign kilde-IP-en til forespørselen med disse områdene; en forespørsel som oppgir GPTBot, men kommer fra en annen adresse, er ikke fra OpenAI. OpenAI påpeker at versjonsnummeret i user agent kan endre seg, så match på GPTBot-tokenet i stedet for hele strengen.

Sjekk om nettstedet ditt slipper den inn →

OpenAIs crawlere forklart: GPTBot, OAI-SearchBot og ChatGPT-User →