AISeeWhy
SV
Starta gratis prov

Kan ChatGPT se min webbplats? Så kollar du

Publicerad

Kort svar

ChatGPT kan bara citera din sida om OpenAI:s sökcrawler, OAI-SearchBot, får hämta den och får samma HTML som en webbläsare. Kontrollera tre saker: att din robots.txt inte nekar OAI-SearchBot, att brandväggen eller CDN:en inte svarar den med en 403 eller en utmaningssida, och att huvudtexten finns i den första HTML-koden.

Många webbplatsägare frågar ChatGPT om sin egen produkt, ser en konkurrent bli citerad i stället och undrar om ChatGPT över huvud taget kommer åt deras webbplats. Frågan har ett konkret, testbart svar. OpenAI publicerar namnen på sina crawlers och vad var och en gör, så du kan kontrollera varje länk i kedjan: reglerna i robots.txt, svaret som din server skickar och innehållet i det svaret.

På den här sidan
  1. Vilka OpenAI-crawlers är viktiga för ChatGPT-svar
  2. Hur kontrollerar jag min robots.txt för ChatGPT
  3. Kan en brandvägg blockera ChatGPT även när robots.txt tillåter det
  4. Hur testar jag vad OAI-SearchBot får
  5. Vad gör jag om sidan laddas men ChatGPT ändå inte säger något användbart
  6. Hur kontrollerar AISeeWhy det här

Vilka OpenAI-crawlers är viktiga för ChatGPT-svar

OpenAI dokumenterar tre agenter som webbplatsägare oftast stöter på. De har olika uppgifter, och att blockera en blockerar inte de andra. OpenAI anger att varje inställning i robots.txt är oberoende.

Kort sagt: OAI-SearchBot styr citeringar, GPTBot styr träning och ChatGPT-User sköter live-besök på en användares begäran.

Hur kontrollerar jag min robots.txt för ChatGPT

Öppna https://yourdomain.com/robots.txt i en webbläsare. Leta efter en grupp som nämner OAI-SearchBot. Finns ingen följer crawlern gruppen User-agent: *. En Disallow: / i den grupp som gäller blockerar hela webbplatsen.

Kontrollera också att filen över huvud taget svarar. Enligt RFC 9309 måste en crawler anta att hela webbplatsen är förbjuden om robots.txt ger ett serverfel (5xx) eller inte kan nås. Ett 404 är däremot helt okej: det betyder att det inte finns några regler. En robots.txt-adress som returnerar en HTML-sida med status 200 är ett vanligt misstag, eftersom crawlers då inte hittar några giltiga regler i den.

En konfiguration som behåller ChatGPT-sök men väljer bort träning ser ut så här:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI säger att ändringar för sök kan ta cirka 24 timmar att slå igenom efter att du har uppdaterat robots.txt.

Kan en brandvägg blockera ChatGPT även när robots.txt tillåter det

Ja, och det är en vanlig orsak. robots.txt är en begäran till välartade crawlers, inte någon åtkomstkontroll. Din brandvägg, CDN eller botskydd avgör vad som faktiskt skickas tillbaka. Om den behandlar en AI-crawler som en oönskad bot får crawlern en 403, en 429 eller en utmaningssida, till exempel Cloudflares skärm ”Just a moment...”, medan människor i en webbläsare ser sidan som vanligt.

Utifrån ser det ut som en webbplats som är öppen för alla. Bara en begäran som identifierar sig som crawlern visar skillnaden. Då säger robots.txt ja, servern säger nej, och servern vinner.

Hur testar jag vad OAI-SearchBot får

Skicka två begäranden till samma URL, en med en webbläsares user agent och en med crawlerns user agent, och jämför statuskod och storlek. OpenAI publicerar en exempel-user agent för varje crawler; versionsnumret i den kan ändras.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Får webbläsaren 200 med en stor kropp och crawlern 403, 429, 503 eller en mycket mindre kropp behandlar din brandvägg crawlern annorlunda. En begränsning finns: ditt test kommer från din egen IP-adress, inte från OpenAI:s. Brandväggar som verifierar crawlers mot de publicerade IP-intervallen (OpenAI listar dem på openai.com/searchbot.json) kan släppa igenom den riktiga crawlern medan de blockerar ditt test. Ett block i det här testet visar ändå hur brandväggen behandlar user agent, och det är värt att åtgärda.

Vad gör jag om sidan laddas men ChatGPT ändå inte säger något användbart

Åtkomst är bara första steget. Om HTML-koden som kommer fram är ett tomt skal som fylls i senare av JavaScript kan crawlern få nästan ingen text. Titta på den råa HTML-koden med curl eller webbläsarens view-source: om huvudtexten inte finns där ser crawlern den troligen inte heller.

Därefter kommer innehållssignalerna: ett tydligt kort svar nära sidans början, rubriker som motsvarar frågorna folk ställer, en namngiven utgivare och författare samt synliga datum. De garanterar inte en citering, men de gör sidan lättare att citera korrekt.

Hur kontrollerar AISeeWhy det här

AISeeWhy hämtar din sida som OAI-SearchBot, GPTBot, ChatGPT-User och 11 andra crawlers vid sidan av en vanlig webbläsare, läser din robots.txt enligt reglerna i RFC 9309 och namnger brandväggen när en sådan svarar med ett block eller en utmaning. Varje fynd levereras med en lösning att klistra in, och den kostnadsfria kontrollen visar din poäng och det första fyndet.

Vanliga frågor

Tar jag bort min webbplats från ChatGPT-sök genom att blockera GPTBot?

Nej. OpenAI behandlar varje crawler-inställning som oberoende. GPTBot gäller träning, medan OAI-SearchBot avgör om sidor kan visas i ChatGPT:s söksvar. Du kan neka den ena och tillåta den andra.

Följer ChatGPT-User robots.txt?

OpenAI säger att robots.txt-regler kanske inte gäller eftersom besöken initieras av en användare. Vill du stoppa de besöken är en robots.txt-regel ingen pålitlig kontroll.

Hur lång tid tar det innan en robots.txt-ändring når ChatGPT?

OpenAI säger att det kan ta cirka 24 timmar efter en robots.txt-uppdatering innan systemen har anpassat sig för sök.

Räcker det att vara nåbar för att bli citerad?

Nej. Åtkomst gör en citering möjlig men garanterar den inte. Vad sidan säger, och hur tydligt den säger det, avgör fortfarande om den används i ett svar.

Källor

Fler artiklar