OpenAI-jevi crawleri: GPTBot, OAI-SearchBot i ChatGPT-User
OpenAI koristi GPTBot za prikupljanje sadržaja kojim može trenirati svoje modele, OAI-SearchBot za indeksiranje stranica za pretraživanje u ChatGPT-u, a ChatGPT-User za posjete koje zatraži osoba. Blokiranje GPTBot isključuje vas samo iz treniranja. Blokiranje OAI-SearchBot uklanja vas iz odgovora pretraživanja ChatGPT-a. robots.txt se na ChatGPT-User možda ne primjenjuje.
Tri različita user agenta iste tvrtke, svaki s vlastitim tokenom u robots.txt, stvaraju mnogo zabune. Mnoge su web-stranice blokirale GPTBot čim se pojavio, a neke su kasnije otkrile da su blokirale i crawler koji odlučuje može li ih ChatGPT citirati, često širokim pravilom vatrozida. Ovaj članak prolazi kroz svakog agenta na temelju OpenAI-jeve vlastite dokumentacije.
Na ovoj stranici
Što radi GPTBot?
GPTBot prikuplja sadržaj koji se može koristiti za treniranje OpenAI-jevih temeljnih modela generativnog AI-ja. OpenAI-jeva dokumentacija navodi da zabrana za GPTBot znači da se sadržaj web-stranice ne smije koristiti za treniranje tih modela.
Njegov user agent sadrži token GPTBot, na primjer Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI napominje da se broj verzije može promijeniti, pa provjeravajte token, a ne cijeli niz. OpenAI objavljuje svoje IP raspone na openai.com/gptbot.json.
Hoćete li ga dopustiti, odluka je o pravilima. Neki izdavači žele svoj sadržaj u podacima za treniranje, drugi ne. Njegovo blokiranje ne utječe na pretraživanje u ChatGPT-u jer je to drugi crawler. Ako se kasnije predomislite, dovoljno je ukloniti redak Disallow; ništa ne treba prijaviti ni zatražiti.
Što radi OAI-SearchBot?
OAI-SearchBot je OpenAI-jev crawler za pretraživanje. Prikazuje web-stranice u značajkama pretraživanja ChatGPT-a. OpenAI jasno navodi da se web-stranice koje su isključile OAI-SearchBot neće prikazivati u odgovorima pretraživanja ChatGPT-a.
Ako želite da ChatGPT citira vaše stranice, ovo je crawler koji treba dopustiti, i u robots.txt i u vatrozidu. Njegovi IP rasponi objavljeni su na openai.com/searchbot.json, pa vatrozid može provjeriti dolazi li zahtjev stvarno od OpenAI-ja.
Što radi ChatGPT-User?
ChatGPT-User nije crawler u uobičajenom smislu. Dohvaća stranicu kad to zatraži korisnik ChatGPT-a ili Custom GPT, na primjer kad netko zalijepi vaš URL u razgovor i zatraži sažetak. OpenAI navodi da se ne koristi za automatsko indeksiranje weba.
Ovdje su važna dva detalja iz OpenAI-jeve dokumentacije. Prvo, budući da te radnje pokreće korisnik, pravila u robots.txt možda se ne primjenjuju. Drugo, ChatGPT-User ne koristi se za odlučivanje o tome smije li se sadržaj pojaviti u pretraživanju. Za pretraživanje je mjerodavna postavka za OAI-SearchBot.
Što se događa kad blokiram svakog od njih?
- Blokirate
GPTBot: vaš je sadržaj označen kao sadržaj koji se ne smije koristiti za treniranje. Pretraživanje u ChatGPT-u i dalje vas može prikazati i citirati ako jeOAI-SearchBotdopušten. - Blokirate
OAI-SearchBot: vaše se stranice neće prikazivati u odgovorima pretraživanja ChatGPT-a. Treniranjem se zasebno upravlja putemGPTBot. - Blokirate
ChatGPT-Useru robots.txt: OpenAI navodi da se robots.txt na te posjete možda ne primjenjuje, pa učinak nije zajamčen. Blokiranje na vatrozidu zaustavlja dohvaćanje, a korisnici koji zalijepe vašu poveznicu umjesto vašeg sadržaja dobivaju pogrešku. - Blokirate sva tri na vatrozidu: ChatGPT ne može ni indeksirati ni dohvatiti vaše stranice, pa nema ništa vaše što bi citirao.
- Dopustite sva tri: vaše se stranice mogu indeksirati za pretraživanje, dohvaćati na zahtjev i, putem
GPTBot, koristiti za treniranje.
OpenAI također napominje da, kad su dopušteni i GPTBot i OAI-SearchBot, rezultate jednog indeksiranja može koristiti za obje namjene kako ne bi indeksirao dvaput.
Koji robots.txt koristiti za OpenAI-jeve crawlere?
Za većinu web-stranica koje se žele pojavljivati u odgovorima ChatGPT-a: dopustite crawler za pretraživanje, a o treniranju odlučite zasebno. Ova datoteka dopušta pretraživanje i isključuje treniranje:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Obratite pozornost na detalj iz RFC 9309: crawler slijedi grupu koja ga navodi i zanemaruje grupu *. U gornjem primjeru OAI-SearchBot bi smio ući u /admin/ jer njegova vlastita grupa nema redak Disallow: /admin/. Ponovite sve putanje koje želite zadržati privatnima u svakoj imenovanoj grupi. OpenAI navodi da promjene za pretraživanje mogu trebati oko 24 sata da se primijene.
Kako potvrditi da ih vatrozid propušta?
robots.txt samo izražava vaša pravila. Vatrozid ili CDN odlučuju što svaki zahtjev stvarno dobiva. Zatražite stranicu s user agentom svakog crawlera i usporedite statusni kod i veličinu sadržaja sa zahtjevom preglednika. Kod 403, 429 ili stranica s provjerom za crawler, uz normalnu stranicu za preglednik, znači da vatrozid nadjačava vaš robots.txt.
AISeeWhy pokreće tu usporedbu za sva tri OpenAI-jeva agenta odjednom, blokade OAI-SearchBot i ChatGPT-User označava kao P1 jer koštaju citata, a blokirani GPTBot navodi kao izbor pravila P3, a ne kao pogrešku.
Ispravci za ovaj problem
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Koji su nizovi user agenta OpenAI-jevih crawlera?
OpenAI-jeva dokumentacija navodi Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot za GPTBot, niz nalik Chromeovu koji završava s compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot za OAI-SearchBot i Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot za ChatGPT-User. Brojevi verzija mogu se promijeniti, pa uspoređujte po tokenu. Rasponi IP adresa objavljeni su na openai.com/gptbot.json, openai.com/searchbot.json i openai.com/chatgpt-user.json; izvornu IP adresu provjerite prema njima kako biste pravi crawler razlikovali od imitacije.
Je li GPTBot isto što i ChatGPT?
Nije. GPTBot je crawler za podatke za treniranje. Pretraživanje u ChatGPT-u koristi OAI-SearchBot, a posjeti uživo koje zatraže korisnici dolaze od ChatGPT-User.
Mogu li dopustiti pretraživanje u ChatGPT-u, a blokirati treniranje?
Možete. U robots.txt dopustite OAI-SearchBot i zabranite GPTBot. OpenAI te dvije postavke dokumentira kao neovisne.
Trebam li blokirati OpenAI po IP adresi?
Blokiranje po IP adresi sprječava crawler da pročita vaš robots.txt i otežava promjenu vaših pravila. Obično je bolje pravila izraziti u robots.txt, a objavljene IP raspone koristiti za provjeru OpenAI-jevih crawlera, a ne za njihovo blokiranje.
Zašto provjeravati token, a ne cijeli user agent?
OpenAI navodi da se broj verzije u njegovim user agentima može promijeniti, a primjeri nizova koje objavljuje razlikuju se od crawlera do crawlera. Pravila koja traže GPTBot ili OAI-SearchBot nastavljaju raditi nakon ažuriranja; pravila koja traže točan niz mogu se neprimjetno prestati podudarati.