OpenAI краулерлері: GPTBot, OAI-SearchBot және ChatGPT-User
OpenAI GPTBot арқылы модельдерін оқытуы мүмкін мазмұнды жинайды, OAI-SearchBot арқылы ChatGPT іздеуі үшін беттерді индекстейді, ал ChatGPT-User адам сұраған кірулер үшін қолданылады. GPTBot бұғаттау сізді тек оқытудан шығарады. OAI-SearchBot бұғаттау сізді ChatGPT іздеу жауаптарынан алып тастайды. ChatGPT-User агентіне robots.txt қолданылмауы мүмкін.
Бір компанияның әрқайсысының өз robots.txt токені бар үш түрлі user agent-і көп шатасушылық тудырады. GPTBot пайда болғанда көп сайттар оны бұғаттады, ал кейбірі кейін ChatGPT өздеріне сілтеме бере ала ма, соны шешетін краулерді де бұғаттап қойғанын, көбіне кең файрвол ережесі арқылы, байқады. Бұл мақала әр агентті OpenAI-дың өз құжаттамасы бойынша қарастырады.
Осы бетте
GPTBot не істейді?
GPTBot OpenAI-дың генеративтік ЖИ базалық модельдерін оқытуға пайдаланылуы мүмкін мазмұнды жинайды. OpenAI құжаттамасында GPTBot краулеріне тыйым салу сайт мазмұнын осы модельдерді оқытуға пайдаланбау керектігін білдіретіні айтылған.
Оның user agent-інде GPTBot токені бар, мысалы Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI нұсқа нөмірі өзгеруі мүмкін екенін ескертеді, сондықтан толық жол бойынша емес, токен бойынша сәйкестендіріңіз. OpenAI өз IP ауқымдарын openai.com/gptbot.json мекенжайында жариялайды.
Оны өткізу-өткізбеу — саясат шешімі. Кейбір жариялаушылар мазмұнының оқыту деректерінде болғанын қалайды, басқалары қаламайды. Оны бұғаттау ChatGPT іздеуіне әсер етпейді, себебі ол басқа краулер. Кейін ойыңызды өзгертсеңіз, Disallow жолын алып тастау жеткілікті; ештеңені тіркеу немесе сұрау қажет емес.
OAI-SearchBot не істейді?
OAI-SearchBot — OpenAI іздеу краулері. Ол сайттарды ChatGPT іздеу функцияларында көрсетеді. OpenAI OAI-SearchBot краулерінен бас тартқан сайттар ChatGPT іздеу жауаптарында көрсетілмейтінін ашық айтады.
ChatGPT беттеріңізге сілтеме бергенін қаласаңыз, robots.txt-те де, файрволда да осы краулерді өткізу керек. Оның IP ауқымдары openai.com/searchbot.json мекенжайында жарияланған, бұл файрволға сұраудың шынымен OpenAI-дан келгенін растауға мүмкіндік береді.
ChatGPT-User не істейді?
ChatGPT-User әдеттегі мағынадағы краулер емес. Ол ChatGPT пайдаланушысы немесе Custom GPT сұрағанда бетті алады, мысалы біреу URL-ыңызды чатқа қойып, қысқаша мазмұнын сұрағанда. OpenAI оның вебті автоматты түрде краулинг жасауға пайдаланылмайтынын айтады.
Мұнда OpenAI құжаттамасындағы екі жайт маңызды. Біріншіден, бұл әрекеттерді пайдаланушы бастайтындықтан, robots.txt ережелері қолданылмауы мүмкін. Екіншіден, ChatGPT-User мазмұнның іздеуде көріне алатынын анықтау үшін пайдаланылмайды. Іздеу үшін маңызды баптау — OAI-SearchBot.
Әрқайсысын бұғаттасам не болады?
GPTBotбұғаттау: мазмұныңыз оқытуға пайдаланылмауы керек деп белгіленеді.OAI-SearchBotрұқсат етілсе, ChatGPT іздеуі сізді көрсетіп, сілтеме бере береді.OAI-SearchBotбұғаттау: беттеріңіз ChatGPT іздеу жауаптарында көрсетілмейді. ОқытудыGPTBotбөлек басқарады.- robots.txt-те
ChatGPT-Userбұғаттау: OpenAI бұл кірулерге robots.txt қолданылмауы мүмкін дейді, сондықтан нәтижеге кепілдік жоқ. Оны файрволда бұғаттау сұрауды тоқтатады, ал сілтемеңізді қойған пайдаланушылар мазмұныңыздың орнына қате алады. - Үшеуін де файрволда бұғаттау: ChatGPT беттеріңізді индекстей де, ала да алмайды, сондықтан онда сізден дәйексөз келтіретін ештеңе болмайды.
- Үшеуін де өткізу: беттеріңіз іздеу үшін индекстеледі, сұрау бойынша алынады және
GPTBotарқылы оқытуға пайдаланылуы мүмкін.
OpenAI сондай-ақ GPTBot пен OAI-SearchBot екеуі де рұқсат етілгенде, қайта краулинг жасамау үшін бір краулинг нәтижесін екі мақсатқа да пайдалануы мүмкін екенін атап өтеді.
OpenAI краулерлері үшін қандай robots.txt пайдалану керек?
ChatGPT жауаптарында көрінгісі келетін сайттардың көбі үшін іздеу краулерін өткізіп, оқыту туралы бөлек шешім қабылдаңыз. Бұл файл іздеуді рұқсат етіп, оқытудан бас тартады:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309-дың бір жайтына назар аударыңыз: краулер өзін атайтын топты орындайды және * тобын елемейді. Жоғарыдағы мысалда OAI-SearchBot /admin/ бөліміне кіре алады, себебі оның өз тобында Disallow: /admin/ жолы жоқ. Жабық ұстағыңыз келетін жолдарды әр аталған топта қайталаңыз. OpenAI іздеуге қатысты өзгерістердің қолданылуына шамамен 24 сағат кетуі мүмкін дейді.
Файрвол оларды өткізетінін қалай растауға болады?
robots.txt тек саясатыңызды көрсетеді. Әр сұраудың шын мәнінде не алатынын файрвол немесе CDN шешеді. Бетті әр краулердің user agent атымен сұрап, статус коды мен дене көлемін браузер сұрауымен салыстырыңыз. Краулерге 403, 429 немесе тексеру беті, ал браузерге қалыпты бет берілсе, файрвол robots.txt-ті елемей тұр деген сөз.
AISeeWhy бұл салыстыруды OpenAI-дың үш агенті үшін бірден жүргізеді, OAI-SearchBot пен ChatGPT-User бұғаттауларын сілтемелерден айыратындықтан P1 деп белгілейді, ал бұғатталған GPTBot агентін қате емес, P3 саясат таңдауы ретінде көрсетеді.
Бұл мәселені түзету жолдары
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- ЖИ краулерінің IP тексеруі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
OpenAI краулерлерінің user agent жолдары қандай?
OpenAI құжаттамасы GPTBot үшін Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot үшін compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot деп аяқталатын Chrome тәрізді жолды, ал ChatGPT-User үшін Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot жолын береді. Нұсқа нөмірлері өзгеруі мүмкін, сондықтан токенді салыстырыңыз. IP ауқымдары openai.com/gptbot.json, openai.com/searchbot.json және openai.com/chatgpt-user.json мекенжайларында жарияланған; нақты краулерді еліктеушіден ажырату үшін бастапқы IP-ді солармен тексеріңіз.
GPTBot пен ChatGPT бір нәрсе ме?
Жоқ. GPTBot — оқыту деректеріне арналған краулер. ChatGPT іздеуі OAI-SearchBot пайдаланады, ал пайдаланушылар сұраған тікелей кірулер ChatGPT-User агентінен келеді.
ChatGPT іздеуін рұқсат етіп, оқытуды бұғаттауға бола ма?
Иә. robots.txt-те OAI-SearchBot өткізіп, GPTBot краулеріне тыйым салыңыз. OpenAI бұл екі баптауды тәуелсіз деп құжаттайды.
OpenAI-ды IP мекенжайы бойынша бұғаттау керек пе?
IP бойынша бұғаттау краулерге robots.txt файлыңызды оқуға мүмкіндік бермейді және саясатыңызды өзгертуді қиындатады. Әдетте саясатты robots.txt-те көрсетіп, жарияланған IP ауқымдарын OpenAI краулерлерін бұғаттау үшін емес, растау үшін пайдаланған дұрыс.
Неге толық user agent емес, токен бойынша сәйкестендіру керек?
OpenAI user agent-теріндегі нұсқа нөмірі өзгеруі мүмкін екенін айтады, ал ол жариялайтын мысал жолдар краулерлер арасында әртүрлі. GPTBot немесе OAI-SearchBot бойынша сәйкестенетін ережелер жаңартудан кейін де жұмыс істей береді; нақты жол бойынша сәйкестенетін ережелер байқаусыз жұмысын тоқтатуы мүмкін.