Crawlery OpenAI: GPTBot, OAI-SearchBot a ChatGPT-User
OpenAI používa GPTBot na zber obsahu, na ktorom sa môžu trénovať jeho modely, OAI-SearchBot na indexovanie stránok pre vyhľadávanie v ChatGPT a ChatGPT-User na návštevy, o ktoré požiada človek. Blokovanie GPTBot vás vyradí len z trénovania. Blokovanie OAI-SearchBot vás odstráni z odpovedí vyhľadávania ChatGPT. Na ChatGPT-User sa robots.txt nemusí vzťahovať.
Traja rôzni user agenti od jednej spoločnosti, každý s vlastným tokenom v robots.txt, spôsobujú veľa zmätku. Mnohé weby zablokovali GPTBot hneď, ako sa objavil, a niektoré neskôr zistili, že zablokovali aj crawler, ktorý rozhoduje, či ich ChatGPT môže citovať, často širokým pravidlom firewallu. Tento článok prechádza každého agenta podľa vlastnej dokumentácie OpenAI.
Na tejto stránke
Čo robí GPTBot?
GPTBot prechádza obsah, ktorý sa môže použiť na trénovanie základných modelov generatívnej AI od OpenAI. Dokumentácia OpenAI uvádza, že zákaz GPTBot znamená, že obsah webu sa nemá použiť na trénovanie týchto modelov.
Jeho user agent obsahuje token GPTBot, napríklad Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI upozorňuje, že číslo verzie sa môže zmeniť, takže porovnávajte token, nie celý reťazec. OpenAI zverejňuje svoje rozsahy IP na openai.com/gptbot.json.
Či ho povoliť, je rozhodnutie o politike. Niektorí vydavatelia chcú mať svoj obsah v tréningových dátach, iní nie. Jeho blokovanie neovplyvní vyhľadávanie v ChatGPT, pretože to je iný crawler. Ak si to neskôr rozmyslíte, stačí odstrániť riadok Disallow; nič netreba registrovať ani o nič žiadať.
Čo robí OAI-SearchBot?
OAI-SearchBot je vyhľadávací crawler OpenAI. Zobrazuje weby vo funkciách vyhľadávania ChatGPT. OpenAI jasne uvádza, že weby, ktoré OAI-SearchBot odmietli, sa v odpovediach vyhľadávania ChatGPT nezobrazia.
Ak chcete, aby ChatGPT citoval vaše stránky, toto je crawler, ktorý treba povoliť, v robots.txt aj vo firewalle. Jeho rozsahy IP sú zverejnené na openai.com/searchbot.json, takže firewall môže overiť, že požiadavka naozaj prichádza od OpenAI.
Čo robí ChatGPT-User?
ChatGPT-User nie je crawler v obvyklom zmysle. Stiahne stránku, keď o ňu požiada používateľ ChatGPT alebo Custom GPT, napríklad keď niekto vloží vašu URL do chatu a požiada o zhrnutie. OpenAI uvádza, že sa nepoužíva na automatické prechádzanie webu.
Dôležité sú tu dva detaily z dokumentácie OpenAI. Po prvé, keďže tieto akcie iniciuje používateľ, pravidlá robots.txt sa na ne nemusia vzťahovať. Po druhé, ChatGPT-User sa nepoužíva na rozhodovanie, či sa obsah môže zobraziť vo vyhľadávaní. Pre vyhľadávanie platí nastavenie OAI-SearchBot.
Čo sa stane, keď zablokujem každého z nich?
- Blokovanie
GPTBot: váš obsah je označený ako nepoužiteľný na trénovanie. Vyhľadávanie v ChatGPT vás stále môže zobraziť a citovať, ak jeOAI-SearchBotpovolený. - Blokovanie
OAI-SearchBot: vaše stránky sa nezobrazia v odpovediach vyhľadávania ChatGPT. Trénovanie sa riadi samostatne cezGPTBot. - Blokovanie
ChatGPT-Userv robots.txt: OpenAI uvádza, že na tieto návštevy sa robots.txt nemusí vzťahovať, takže účinok nie je zaručený. Blokovanie vo firewalle stiahnutie zastaví a používatelia, ktorí vložia váš odkaz, dostanú namiesto obsahu chybu. - Blokovanie všetkých troch vo firewalle: ChatGPT vaše stránky nedokáže indexovať ani stiahnuť, takže od vás nemá čo citovať.
- Povolenie všetkých troch: vaše stránky sa môžu indexovať pre vyhľadávanie, sťahovať na žiadosť a cez
GPTBotpoužiť na trénovanie.
OpenAI tiež uvádza, že keď sú povolené GPTBot aj OAI-SearchBot, môže výsledky jedného prechádzania použiť na oba účely, aby neprechádzal dvakrát.
Aký robots.txt použiť pre crawlery OpenAI?
Pre väčšinu webov, ktoré sa chcú zobrazovať v odpovediach ChatGPT: povoľte vyhľadávací crawler a o trénovaní rozhodnite samostatne. Tento súbor povoľuje vyhľadávanie a odmieta trénovanie:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Všimnite si detail z RFC 9309: crawler sa riadi skupinou, ktorá ho menuje, a skupinu * ignoruje. V príklade vyššie by OAI-SearchBot smel do /admin/, pretože jeho vlastná skupina nemá riadok Disallow: /admin/. Cesty, ktoré chcete mať súkromné, zopakujte v každej pomenovanej skupine. OpenAI uvádza, že zmeny pre vyhľadávanie sa môžu prejaviť asi za 24 hodín.
Ako overiť, že ich firewall pustí?
robots.txt len vyjadruje vašu politiku. O tom, čo každá požiadavka naozaj dostane, rozhoduje firewall alebo CDN. Stiahnite stránku s user agentom každého crawlera a porovnajte stavový kód a veľkosť tela s požiadavkou prehliadača. Kód 403, 429 alebo overovacia stránka pre crawler a normálna stránka pre prehliadač znamenajú, že firewall prepisuje váš robots.txt.
AISeeWhy robí toto porovnanie pre všetkých troch agentov OpenAI naraz, blokovanie OAI-SearchBot a ChatGPT-User označí ako P1, pretože stojí citácie, a zablokovaný GPTBot uvedie ako rozhodnutie o politike s prioritou P3, nie ako chybu.
Opravy tohto problému
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Aké sú reťazce user agenta crawlerov OpenAI?
Dokumentácia OpenAI uvádza Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot pre GPTBot, reťazec podobný Chrome končiaci na compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot pre OAI-SearchBot a Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot pre ChatGPT-User. Čísla verzií sa môžu zmeniť, preto porovnávajte token. Rozsahy IP sú zverejnené na openai.com/gptbot.json, openai.com/searchbot.json a openai.com/chatgpt-user.json; overte voči nim zdrojovú IP a odlíšite skutočný crawler od napodobeniny.
Je GPTBot to isté ako ChatGPT?
Nie. GPTBot je crawler pre tréningové dáta. Vyhľadávanie v ChatGPT používa OAI-SearchBot a živé návštevy na žiadosť používateľov prichádzajú od ChatGPT-User.
Môžem povoliť vyhľadávanie v ChatGPT a zablokovať trénovanie?
Áno. V robots.txt povoľte OAI-SearchBot a zakážte GPTBot. OpenAI dokumentuje tieto dve nastavenia ako nezávislé.
Mám blokovať OpenAI podľa IP adresy?
Blokovanie podľa IP bráni crawleru prečítať váš robots.txt a sťažuje zmenu politiky. Zvyčajne je lepšie vyjadriť politiku v robots.txt a zverejnené rozsahy IP používať na overenie crawlerov OpenAI, nie na ich blokovanie.
Prečo porovnávať token, a nie celého user agenta?
OpenAI uvádza, že číslo verzie v jeho user agentoch sa môže zmeniť, a ukážkové reťazce, ktoré zverejňuje, sa medzi crawlermi líšia. Pravidlá, ktoré porovnávajú GPTBot alebo OAI-SearchBot, fungujú aj po aktualizácii; pravidlá s presným reťazcom môžu nenápadne prestať platiť.