AISeeWhy
CS
Spustit zkušební verzi zdarma

Crawlery OpenAI vysvětleně: GPTBot, OAI-SearchBot a ChatGPT-User

Publikováno

Stručná odpověď

OpenAI používá GPTBot ke sběru obsahu, který se může použít k trénování jejích modelů, OAI-SearchBot k indexování stránek pro vyhledávání ChatGPT a ChatGPT-User pro návštěvy, které požaduje člověk. Zablokování GPTBot vás vyřadí pouze z trénování. Zablokování OAI-SearchBot vás vyřadí z odpovědí vyhledávání ChatGPT. Na ChatGPT-User se robots.txt nemusí vztahovat.

Tři různé user agenty od jedné společnosti, každý s vlastním tokenem v robots.txt, způsobují spoustu zmatků. Mnoho webů zablokovalo GPTBot hned po jeho příchodu a některé později zjistily, že zablokovaly i crawler, který rozhoduje, zda je ChatGPT může citovat, často kvůli příliš široké firewallové regule. Tento článek projde každého agenta podle dokumentace samotné OpenAI.

Na této stránce
  1. Co dělá GPTBot?
  2. Co dělá OAI-SearchBot?
  3. Co dělá ChatGPT-User?
  4. Co se stane, když zablokuji jednotlivé agenty?
  5. Jaký robots.txt použít pro crawlery OpenAI?
  6. Jak si ověřím, že je firewall pouští?

Co dělá GPTBot?

GPTBot prochází obsah, který se může použít k trénování základních generativních AI modelů OpenAI. Dokumentace OpenAI uvádí, že zakázání GPTBot znamená, že obsah webu se nemá k trénování těchto modelů používat.

Jeho user agent obsahuje token GPTBot, například Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI upozorňuje, že číslo verze se může měnit, proto porovnávejte token, ne celý řetězec. OpenAI zveřejňuje své rozsahy IP na openai.com/gptbot.json.

Zda ho povolit, je otázka vaší politiky. Někteří vydavatelé chtějí mít obsah v trénovacích datech, jiní ne. Jeho zablokování vyhledávání ChatGPT neovlivní, protože to používá jiný crawler. Pokud si to později rozmyslíte, stačí odstranit řádek Disallow; nic se nemusí registrovat ani žádat.

Co dělá OAI-SearchBot?

OAI-SearchBot je vyhledávací crawler OpenAI. Zajišťuje, že se weby objevují ve vyhledávacích funkcích ChatGPT. OpenAI výslovně uvádí, že weby, které se z OAI-SearchBot odhlásily, se v odpovědích vyhledávání ChatGPT nezobrazí.

Pokud chcete, aby ChatGPT citoval vaše stránky, je to crawler, který je třeba povolit, a to v robots.txt i ve firewallu. Jeho rozsahy IP jsou zveřejněny na openai.com/searchbot.json, takže firewall může ověřit, že požadavek skutečně pochází od OpenAI.

Co dělá ChatGPT-User?

ChatGPT-User není crawler v obvyklém smyslu. Stáhne stránku, když o to požádá uživatel ChatGPT nebo vlastní GPT, například když někdo vloží vaši adresu URL do konverzace a požádá o shrnutí. OpenAI uvádí, že se nepoužívá k automatickému procházení webu.

Záleží zde na dvou detailech z dokumentace OpenAI. Zaprvé, protože tyto akce vyvolává uživatel, pravidla v robots.txt se nemusí uplatnit. Zadruhé, ChatGPT-User se nepoužívá k určení, zda se obsah může objevit ve vyhledávání. Pro vyhledávání je rozhodující nastavení OAI-SearchBot.

Co se stane, když zablokuji jednotlivé agenty?

OpenAI také upozorňuje, že pokud jsou povoleny GPTBot i OAI-SearchBot, může výsledky jednoho procházení použít pro oba účely, aby web neprocházela dvakrát.

Jaký robots.txt použít pro crawlery OpenAI?

U většiny webů, které chtějí být v odpovědích ChatGPT, povolte vyhledávací crawler a o trénování rozhodněte zvlášť. Tento soubor povoluje vyhledávání a odmítá trénování:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Všimněte si jednoho detailu z RFC 9309: crawler se řídí skupinou, která ho jmenuje, a skupinu * ignoruje. V příkladu výše by měl OAI-SearchBot přístup do /admin/, protože jeho vlastní skupina neobsahuje řádek Disallow: /admin/. Cesty, které chcete udržet soukromé, opakujte v každé jmenované skupině. OpenAI uvádí, že změny pro vyhledávání se mohou uplatnit zhruba za 24 hodin.

Jak si ověřím, že je firewall pouští?

robots.txt jen vyjadřuje vaši politiku. O tom, co každý požadavek skutečně dostane, rozhoduje firewall nebo CDN. Vyžádejte si stránku s user agentem každého crawleru a porovnejte stavový kód a velikost těla s požadavkem z prohlížeče. Pokud crawler dostane 403, 429 nebo ověřovací stránku a prohlížeč normální stránku, firewall váš robots.txt přebíjí.

AISeeWhy toto porovnání provede pro všechny tři agenty OpenAI najednou, blokace OAI-SearchBot a ChatGPT-User označí jako P1, protože stojí citace, a zablokovaný GPTBot uvede jako rozhodnutí politiky P3, ne jako chybu.

Časté dotazy

Je GPTBot totéž co ChatGPT?

Ne. GPTBot je crawler pro trénovací data. Vyhledávání ChatGPT používá OAI-SearchBot a živé návštěvy na žádost uživatelů pocházejí od ChatGPT-User.

Mohu povolit vyhledávání ChatGPT a zablokovat trénování?

Ano. V robots.txt povolte OAI-SearchBot a zakažte GPTBot. OpenAI dokumentuje obě nastavení jako nezávislá.

Mám OpenAI blokovat podle IP adresy?

Blokace podle IP crawleru zabrání číst váš robots.txt a politiku pak hůř změníte. Obvykle je lepší vyjádřit politiku v robots.txt a zveřejněné rozsahy IP použít k ověření crawlerů OpenAI, ne k jejich blokování.

Proč porovnávat token a ne celý user agent?

OpenAI uvádí, že číslo verze v jejích user agentech se může měnit a zveřejněné ukázkové řetězce se u jednotlivých crawlerů liší. Pravidla, která porovnávají GPTBot nebo OAI-SearchBot, fungují i po aktualizaci; pravidla, která porovnávají přesný řetězec, mohou tiše přestat platit.

Zdroje

Další články