Ботовете на OpenAI: GPTBot, OAI-SearchBot и ChatGPT-User
OpenAI използва GPTBot, за да събира съдържание, което може да обучава моделите ѝ, OAI-SearchBot, за да индексира страници за търсенето в ChatGPT, и ChatGPT-User за посещения, поискани от човек. Блокирането на GPTBot ви изключва само от обучението. Блокирането на OAI-SearchBot ви изважда от отговорите на търсенето в ChatGPT. robots.txt може да не се прилага за ChatGPT-User.
Три различни user agent от една компания, всеки със собствен токен в robots.txt, създават голямо объркване. Много сайтове блокираха GPTBot, когато се появи, а някои по-късно откриха, че са блокирали и бота, който решава дали ChatGPT може да ги цитира, често чрез широко правило в защитната стена. Тази статия разглежда всеки агент въз основа на собствената документация на OpenAI.
На тази страница
Какво прави GPTBot?
GPTBot обхожда съдържание, което може да се използва за обучение на базовите генеративни AI модели на OpenAI. Документацията на OpenAI казва, че забраната на GPTBot показва, че съдържанието на сайта не трябва да се използва за обучение на тези модели.
User agent му съдържа токена GPTBot, например Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI отбелязва, че номерът на версията може да се промени, затова съпоставяйте по токена, а не по целия низ. OpenAI публикува IP диапазоните му на openai.com/gptbot.json.
Дали да го разрешите, е решение на политиката ви. Някои издатели искат съдържанието им да е в данните за обучение, други не. Блокирането му не засяга търсенето в ChatGPT, защото то използва друг бот. Ако по-късно промените решението си, достатъчно е да премахнете реда Disallow; няма нищо за регистриране или заявяване.
Какво прави OAI-SearchBot?
OAI-SearchBot е ботът за търсене на OpenAI. Той показва уебсайтове във функциите за търсене на ChatGPT. OpenAI заявява ясно, че сайтовете, които са изключили OAI-SearchBot, няма да се показват в отговорите на търсенето в ChatGPT.
Ако искате ChatGPT да цитира страниците ви, това е ботът, който трябва да разрешите – и в robots.txt, и в защитната стена. IP диапазоните му са публикувани на openai.com/searchbot.json, което позволява на защитната стена да провери, че заявката наистина идва от OpenAI.
Какво прави ChatGPT-User?
ChatGPT-User не е бот в обичайния смисъл. Той изтегля страница, когато потребител на ChatGPT или Custom GPT поиска това, например когато някой постави URL адреса ви в чат и поиска обобщение. OpenAI казва, че той не се използва за автоматично обхождане на уеб.
Два детайла от документацията на OpenAI са важни тук. Първо, тъй като тези действия са по инициатива на потребител, правилата в robots.txt може да не се прилагат. Второ, ChatGPT-User не се използва, за да се реши дали съдържанието може да се появи в търсенето. За търсенето значение има настройката за OAI-SearchBot.
Какво става, когато блокирам всеки от тях?
- Блокирате
GPTBot: съдържанието ви е отбелязано като неподлежащо на използване за обучение. Търсенето в ChatGPT пак може да ви показва и цитира, акоOAI-SearchBotе разрешен. - Блокирате
OAI-SearchBot: страниците ви няма да се показват в отговорите на търсенето в ChatGPT. Обучението се управлява отделно чрезGPTBot. - Блокирате
ChatGPT-Userв robots.txt: OpenAI казва, че robots.txt може да не се прилага за тези посещения, така че ефектът не е гарантиран. Блокирането му в защитната стена спира изтеглянето и потребителите, които поставят връзката ви, получават грешка вместо съдържанието ви. - Блокирате и трите в защитната стена: ChatGPT не може нито да индексира, нито да изтегля страниците ви, така че няма какво ваше да цитира.
- Разрешавате и трите: страниците ви могат да се индексират за търсене, да се изтеглят при заявка и чрез
GPTBotда се използват за обучение.
OpenAI отбелязва също, че когато и GPTBot, и OAI-SearchBot са разрешени, тя може да използва резултатите от едно обхождане и за двете цели, за да не обхожда два пъти.
Какъв robots.txt да използвам за ботовете на OpenAI?
За повечето сайтове, които искат да се появяват в отговорите на ChatGPT, разрешете бота за търсене и решете отделно за обучението. Този файл разрешава търсенето и отказва обучението:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Обърнете внимание на един детайл от RFC 9309: ботът следва групата, която го назовава, и пренебрегва групата *. В примера по-горе OAI-SearchBot ще има достъп до /admin/, защото собствената му група няма ред Disallow: /admin/. Повторете във всяка група с конкретно име всички пътища, които искате да останат частни. OpenAI казва, че промените за търсенето може да влязат в сила за около 24 часа.
Как да потвърдя, че защитната стена ги пропуска?
robots.txt само заявява политиката ви. Защитната стена или CDN решава какво реално получава всяка заявка. Заявете страница с user agent на всеки бот и сравнете статус кода и размера на съдържанието със заявка от браузър. 403, 429 или страница за проверка за бота при нормална страница за браузъра означава, че защитната стена отменя robots.txt ви.
AISeeWhy прави това сравнение за трите агента на OpenAI наведнъж, отбелязва блокирането на OAI-SearchBot и ChatGPT-User като P1, защото струва цитирания, и посочва блокиран GPTBot като избор на политика с P3, а не като грешка.
Корекции за този проблем
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Какви са user agent низовете на ботовете на OpenAI?
Документацията на OpenAI дава Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot за GPTBot, низ в стила на Chrome, завършващ на compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot, за OAI-SearchBot и Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot за ChatGPT-User. Номерата на версиите може да се променят, затова съпоставяйте по токена. IP диапазоните са публикувани на openai.com/gptbot.json, openai.com/searchbot.json и openai.com/chatgpt-user.json; проверете IP адреса на източника спрямо тях, за да различите истински бот от имитация.
GPTBot същото ли е като ChatGPT?
Не. GPTBot е бот за данни за обучение. Търсенето в ChatGPT използва OAI-SearchBot, а посещенията на живо по заявка на потребители идват от ChatGPT-User.
Мога ли да разреша търсенето в ChatGPT, но да блокирам обучението?
Да. Разрешете OAI-SearchBot и забранете GPTBot в robots.txt. OpenAI документира двете настройки като независими.
Трябва ли да блокирам OpenAI по IP адрес?
Блокирането по IP адрес не позволява на бота да прочете robots.txt ви и затруднява промяната на политиката ви. Обикновено е по-добре да заявите политиката в robots.txt и да използвате публикуваните IP диапазони, за да проверявате ботовете на OpenAI, а не за да ги блокирате.
Защо да съпоставям по токена, а не по целия user agent?
OpenAI казва, че номерът на версията в user agent низовете ѝ може да се промени, а примерните низове, които публикува, се различават между ботовете. Правилата, които съпоставят GPTBot или OAI-SearchBot, продължават да работят след обновяване; правилата, които съпоставят точния низ, може тихо да спрат да съвпадат.