Kan ChatGPT se mit website? Sådan tjekker du det

Udgivet 2026-11-12

Kort svar

ChatGPT kan kun citere din side, hvis OpenAI's søgecrawler, OAI-SearchBot, må hente den og får den samme HTML, som en browser får. Tjek tre ting: din robots.txt forbyder ikke OAI-SearchBot, din firewall eller dit CDN svarer ikke crawleren med en 403 eller en udfordringsside, og hovedteksten står i den oprindelige HTML.

Mange ejere af websites spørger ChatGPT om deres eget produkt, ser en konkurrent blive citeret i stedet og undrer sig over, om ChatGPT overhovedet kan nå deres site. Spørgsmålet har et konkret svar, som kan afprøves. OpenAI offentliggør navnene på sine crawlere og hvad hver af dem gør, så du kan tjekke hvert led i kæden: reglerne i robots.txt, det svar din server sender, og indholdet i svaret.

På denne side

Hvilke OpenAI-crawlere har betydning for ChatGPT-svar?
Hvordan tjekker jeg min robots.txt for ChatGPT?
Kan en firewall blokere ChatGPT, selv om robots.txt tillader det?
Hvordan tester jeg, hvad OAI-SearchBot får?
Hvad hvis siden indlæses, men ChatGPT stadig ikke siger noget brugbart?
Hvordan tjekker AISeeWhy det her?

Hvilke OpenAI-crawlere har betydning for ChatGPT-svar?

OpenAI dokumenterer tre agenter, som ejere af websites typisk støder på. De har forskellige opgaver, og at blokere én blokerer ikke de andre. OpenAI oplyser, at hver robots.txt-indstilling er uafhængig.

OAI-SearchBot finder og indekserer sider til ChatGPT's søgefunktioner. OpenAI siger, at sites, der har fravalgt den, ikke vises i ChatGPT's søgesvar. Det er den, der afgør, om du kan blive citeret.
GPTBot indsamler indhold, som kan bruges til at træne OpenAI's foundation-modeller. Hvis du forbyder den med Disallow, signalerer du, at dit indhold ikke skal bruges til træning. Det fjerner dig ikke fra søgesvar.
ChatGPT-User besøger en side, når en person beder ChatGPT om det, for eksempel ved at indsætte et link. OpenAI siger, at robots.txt-regler muligvis ikke gælder for disse brugerstartede besøg, og at denne agent ikke bruges til at afgøre, om indhold vises i søgning.

Kort sagt: OAI-SearchBot styrer citater, GPTBot styrer træning, og ChatGPT-User tager sig af live-besøg efter en brugers anmodning.

Hvordan tjekker jeg min robots.txt for ChatGPT?

Åbn https://yourdomain.com/robots.txt i en browser. Led efter en gruppe, der nævner OAI-SearchBot. Findes den ikke, følger crawleren gruppen User-agent: *. Et Disallow: / i den gruppe, der gælder, blokerer hele sitet.

Tjek også, at filen overhovedet svarer. Ifølge RFC 9309 skal en crawler antage, at hele sitet er forbudt, hvis robots.txt giver en serverfejl (5xx) eller ikke kan nås. En 404 er fint: Den betyder, at der ingen regler er. En almindelig fejl er en robots.txt-adresse, der returnerer en HTML-side med status 200, for så finder crawlere ingen gyldige regler i den.

En opsætning, der beholder ChatGPT-søgning og fravælger træning, ser sådan ud:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI siger, at det kan tage omkring 24 timer, før ændringer for søgning træder i kraft, efter du har opdateret robots.txt.

Kan en firewall blokere ChatGPT, selv om robots.txt tillader det?

Ja, og det er en almindelig årsag. robots.txt er en anmodning til velopdragne crawlere, ikke en adgangskontrol. Din firewall, dit CDN eller din bot-beskyttelse afgør, hvad der faktisk sendes tilbage. Behandler den en AI-crawler som en uønsket bot, får crawleren en 403, en 429 eller en udfordringsside som Cloudflares skærm »Just a moment...«, mens folk i en browser ser siden helt normalt.

Udefra ligner det et site, der er åbent for alle. Kun en forespørgsel, der identificerer sig som crawleren, viser forskellen. Så siger robots.txt ja, serveren siger nej, og serveren vinder.

Hvordan tester jeg, hvad OAI-SearchBot får?

Send to forespørgsler til den samme URL, én med en browsers user agent og én med crawlerens, og sammenlign statuskode og størrelse. OpenAI offentliggør en eksempel-user agent for hver crawler; versionsnummeret i den kan ændre sig.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Hvis browseren får 200 med et stort indhold, og crawleren får 403, 429, 503 eller et markant mindre indhold, behandler din firewall crawleren anderledes. Én begrænsning gælder: Din test kommer fra din egen IP-adresse, ikke fra OpenAI's. Firewalls, der verificerer crawlere mod de offentliggjorte IP-intervaller (OpenAI viser dem på openai.com/searchbot.json), kan lade den rigtige crawler slippe igennem, mens de blokerer din test. En blokering i denne test fortæller stadig, hvordan firewallen behandler user agent'en, og det er værd at rette.

Hvad hvis siden indlæses, men ChatGPT stadig ikke siger noget brugbart?

Adgang er kun det første skridt. Hvis den HTML, der når frem, er en tom skal, som JavaScript udfylder senere, får crawleren muligvis næsten ingen tekst. Se den rå HTML med curl eller din browsers vis kilde: Hvis hovedteksten ikke står der, ser crawleren den sandsynligvis heller ikke.

Derefter kommer indholdssignalerne: et klart kort svar tæt på toppen af siden, overskrifter der svarer til de spørgsmål, folk stiller, en navngivet udgiver og forfatter og synlige datoer. De garanterer ikke et citat, men de gør en side nemmere at citere korrekt.

Hvordan tjekker AISeeWhy det her?

AISeeWhy henter din side som OAI-SearchBot, GPTBot, ChatGPT-User og 11 andre crawlere ved siden af en almindelig browser, læser din robots.txt efter RFC 9309-reglerne og nævner firewallen, når en svarer med en blokering eller udfordring. Hvert fund kommer med en rettelse, du kan indsætte, og den gratis test viser din score og det første fund.

Ofte stillede spørgsmål

Fjerner det mit site fra ChatGPT-søgning at blokere GPTBot?

Nej. OpenAI behandler hver crawlerindstilling som uafhængig. GPTBot vedrører træning, mens OAI-SearchBot afgør, om sider kan vises i ChatGPT's søgesvar. Du kan forbyde den ene og tillade den anden.

Følger ChatGPT-User robots.txt?

OpenAI siger, at robots.txt-regler muligvis ikke gælder, fordi disse besøg startes af en bruger. Hvis du vil stoppe dem, er en robots.txt-regel ikke en pålidelig kontrol.

Hvor lang tid går der, før en robots.txt-ændring når ChatGPT?

OpenAI siger, at det kan tage omkring 24 timer efter en opdatering af robots.txt, før dets systemer tilpasser sig for søgning.

Er det nok at være tilgængelig for at blive citeret?

Nej. Adgang gør et citat muligt, men garanterer det ikke. Hvad siden siger, og hvor klart den siger det, afgør stadig, om den bruges i et svar.