Краулерите на OpenAI објаснети: GPTBot, OAI-SearchBot и ChatGPT-User

Објавено · Ажурирано

Краток одговор

OpenAI користи GPTBot за собирање содржина што може да ги обучува неговите модели, OAI-SearchBot за индексирање страници за пребарувањето во ChatGPT и ChatGPT-User за посети што ги бара корисник. Блокирањето на GPTBot ве откажува само од обуката. Блокирањето на OAI-SearchBot ве отстранува од одговорите од пребарување на ChatGPT. robots.txt можеби не важи за ChatGPT-User.

Три различни user agent-и од една компанија, секој со своја ознака во robots.txt, предизвикуваат многу забуна. Многу сајтови го блокираа GPTBot кога се појави, а некои подоцна открија дека го блокирале и краулерот што одлучува дали ChatGPT може да ги цитира, често преку широко правило на заштитниот ѕид. Оваа статија го разгледува секој агент според документацијата на самиот OpenAI.

На оваа страница
  1. Што прави GPTBot?
  2. Што прави OAI-SearchBot?
  3. Што прави ChatGPT-User?
  4. Што се случува кога ќе го блокирам секој од нив?
  5. Каков robots.txt да користам за краулерите на OpenAI?
  6. Како да потврдам дека заштитниот ѕид ги пушта?

Што прави GPTBot?

GPTBot обиколува содржина што може да се користи за обука на генеративните AI основни модели на OpenAI. Документацијата на OpenAI вели дека забраната на GPTBot покажува дека содржината на сајтот не треба да се користи во обуката на тие модели.

Неговиот user agent ја содржи ознаката GPTBot, на пример Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI забележува дека бројот на верзијата може да се промени, па совпаѓајте по ознаката, а не по целиот низ. OpenAI ги објавува неговите IP опсези на openai.com/gptbot.json.

Дали ќе го дозволите е одлука за политиката. Некои издавачи сакаат нивната содржина да биде во податоците за обука, други не. Неговото блокирање не влијае на пребарувањето во ChatGPT, бидејќи тоа е друг краулер. Ако подоцна се предомислите, доволно е да го отстраните редот Disallow; нема ништо за регистрирање или барање.

Што прави OAI-SearchBot?

OAI-SearchBot е краулерот за пребарување на OpenAI. Ги прикажува веб-сајтовите во функциите за пребарување на ChatGPT. OpenAI јасно наведува дека сајтовите што се откажале од OAI-SearchBot нема да се прикажуваат во одговорите од пребарување на ChatGPT.

Ако сакате ChatGPT да ги цитира вашите страници, ова е краулерот што треба да го дозволите, и во robots.txt и во заштитниот ѕид. Неговите IP опсези се објавени на openai.com/searchbot.json, што му овозможува на заштитниот ѕид да потврди дека барањето навистина доаѓа од OpenAI.

Што прави ChatGPT-User?

ChatGPT-User не е краулер во вообичаената смисла. Презема страница кога корисник на ChatGPT или Custom GPT ќе го побара тоа, на пример кога некој ќе го залепи вашиот URL во разговор и ќе побара резиме. OpenAI наведува дека не се користи за автоматско обиколување на интернетот.

Овде се важни две ситници од документацијата на OpenAI. Прво, бидејќи овие дејства ги започнува корисник, правилата во robots.txt можеби не важат. Второ, ChatGPT-User не се користи за да се утврди дали содржината може да се појави во пребарувањето. За пребарувањето важи поставката за OAI-SearchBot.

Што се случува кога ќе го блокирам секој од нив?

OpenAI забележува и дека кога се дозволени и GPTBot и OAI-SearchBot, може да ги користи резултатите од едно обиколување за двете намени за да не обиколува двапати.

Каков robots.txt да користам за краулерите на OpenAI?

За повеќето сајтови што сакаат да се појавуваат во одговорите на ChatGPT, дозволете го краулерот за пребарување и одлучете одделно за обуката. Оваа датотека го дозволува пребарувањето и се откажува од обуката:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Имајте предвид една ситница од RFC 9309: краулерот ја следи групата што го именува и ја игнорира групата *. Во примерот погоре, OAI-SearchBot би бил пуштен во /admin/ затоа што неговата група нема ред Disallow: /admin/. Повторете ги патеките што сакате да останат приватни во секоја именувана група. OpenAI наведува дека на промените за пребарувањето може да им требаат околу 24 часа.

Како да потврдам дека заштитниот ѕид ги пушта?

robots.txt само ја наведува вашата политика. Заштитниот ѕид или CDN-от одлучува што навистина добива секое барање. Побарајте страница со user agent-от на секој краулер и споредете ги статусниот код и големината на телото со барање од прелистувач. 403, 429 или страница со предизвик за краулерот, а нормална страница за прелистувачот, значи дека заштитниот ѕид го надгласува вашиот robots.txt.

AISeeWhy ја извршува оваа споредба за сите три агенти на OpenAI одеднаш, блокирањата на OAI-SearchBot и ChatGPT-User ги означува како P1 затоа што чинат цитирања, а блокираниот GPTBot го наведува како P3 избор на политика, а не како грешка.

Поправки за овој проблем

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Кои се низите user agent на краулерите на OpenAI?

Документацијата на OpenAI ја дава Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot за GPTBot, низа слична на Chrome што завршува на compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot за OAI-SearchBot и Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot за ChatGPT-User. Броевите на верзиите може да се менуваат, па совпаѓајте според ознаката. IP опсезите се објавени на openai.com/gptbot.json, openai.com/searchbot.json и openai.com/chatgpt-user.json; проверете ја изворната IP адреса наспроти нив за да го разликувате вистинскиот краулер од имитација.

Дали GPTBot е исто што и ChatGPT?

Не. GPTBot е краулер за податоци за обука. Пребарувањето во ChatGPT користи OAI-SearchBot, а посетите во живо што ги бараат корисниците доаѓаат од ChatGPT-User.

Може ли да го дозволам пребарувањето во ChatGPT, а да ја блокирам обуката?

Да. Во robots.txt дозволете го OAI-SearchBot и забранете го GPTBot. OpenAI ги документира двете поставки како независни.

Дали треба да го блокирам OpenAI по IP адреса?

Блокирањето по IP го спречува краулерот да го прочита вашиот robots.txt и ја прави вашата политика потешка за менување. Обично е подобро политиката да ја наведете во robots.txt, а објавените IP опсези да ги користите за потврдување на краулерите на OpenAI, а не за нивно блокирање.

Зошто да се совпаѓа по ознаката, а не по целиот user agent?

OpenAI наведува дека бројот на верзијата во неговите user agent-и може да се промени, а примерните низи што ги објавува се разликуваат меѓу краулерите. Правилата што се совпаѓаат со GPTBot или OAI-SearchBot продолжуваат да работат по ажурирање; правилата што се совпаѓаат со точниот низ може тивко да престанат да се совпаѓаат.

Извори

Уште статии