OpenAI கிராலர்கள் விளக்கம்: GPTBot, OAI-SearchBot, ChatGPT-User

வெளியிடப்பட்டது · புதுப்பிக்கப்பட்டது

சுருக்கமான பதில்

தன் மாடல்களுக்குப் பயிற்சி அளிக்கக்கூடிய உள்ளடக்கத்தைச் சேகரிக்க GPTBot-ஐயும், ChatGPT தேடலுக்காகப் பக்கங்களைக் குறியிட OAI-SearchBot-ஐயும், ஒரு நபர் கேட்கும் வருகைகளுக்கு ChatGPT-User-ஐயும் OpenAI பயன்படுத்துகிறது. GPTBot-ஐத் தடுப்பது உங்களைப் பயிற்சியிலிருந்து மட்டுமே விலக்குகிறது. OAI-SearchBot-ஐத் தடுப்பது உங்களை ChatGPT தேடல் பதில்களிலிருந்து நீக்குகிறது. ChatGPT-User-க்கு robots.txt பொருந்தாமல் போகலாம்.

ஒரே நிறுவனத்திடமிருந்து மூன்று வெவ்வேறு user agents, ஒவ்வொன்றுக்கும் சொந்த robots.txt டோக்கன்; இது நிறையக் குழப்பத்தை ஏற்படுத்துகிறது. GPTBot வந்தபோது பல தளங்கள் அதைத் தடுத்தன; ChatGPT தங்களை மேற்கோள் காட்ட முடியுமா என்பதைத் தீர்மானிக்கும் கிராலரையும் தடுத்துவிட்டதைச் சில தளங்கள் பின்னர் கண்டறிந்தன, பெரும்பாலும் ஒரு பரந்த ஃபயர்வால் விதி மூலம். இந்தக் கட்டுரை OpenAI-இன் சொந்த ஆவணங்களைக் கொண்டு ஒவ்வொரு ஏஜென்ட்டையும் விளக்குகிறது.

இந்தப் பக்கத்தில்
  1. GPTBot என்ன செய்கிறது?
  2. OAI-SearchBot என்ன செய்கிறது?
  3. ChatGPT-User என்ன செய்கிறது?
  4. ஒவ்வொன்றையும் தடுத்தால் என்ன நடக்கும்?
  5. OpenAI கிராலர்களுக்கு எந்த robots.txt-ஐப் பயன்படுத்த வேண்டும்?
  6. ஃபயர்வால் அவற்றை உள்ளே விடுகிறதா என்று எப்படி உறுதிசெய்வது?

GPTBot என்ன செய்கிறது?

OpenAI-இன் generative AI அடிப்படை மாடல்களுக்குப் பயிற்சி அளிக்கப் பயன்படக்கூடிய உள்ளடக்கத்தை GPTBot கிரால் செய்கிறது. GPTBot-ஐத் தடுப்பது, தளத்தின் உள்ளடக்கம் அந்த மாடல்களின் பயிற்சியில் பயன்படக் கூடாது என்பதைக் குறிக்கிறது என்று OpenAI ஆவணங்கள் கூறுகின்றன.

அதன் user agent-இல் GPTBot டோக்கன் உள்ளது, உதாரணமாக Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. பதிப்பு எண் மாறலாம் என்று OpenAI குறிப்பிடுகிறது, எனவே முழு string-ஐ அல்லாமல் டோக்கனைப் பொருத்துங்கள். OpenAI தன் IP வரம்புகளை openai.com/gptbot.json-இல் வெளியிடுகிறது.

அதை அனுமதிப்பதா என்பது ஒரு கொள்கை முடிவு. சில வெளியீட்டாளர்கள் தங்கள் உள்ளடக்கம் பயிற்சித் தரவில் இருக்க விரும்புகிறார்கள், சிலர் விரும்புவதில்லை. அதைத் தடுப்பது ChatGPT தேடலைப் பாதிக்காது, ஏனெனில் அது வேறு கிராலர். பின்னர் மனம் மாறினால், Disallow வரியை நீக்கினால் போதும்; பதிவுசெய்யவோ கோரவோ எதுவும் இல்லை.

OAI-SearchBot என்ன செய்கிறது?

OAI-SearchBot OpenAI-இன் தேடல் கிராலர். ChatGPT-இன் தேடல் அம்சங்களில் இணையதளங்களைக் காட்டுகிறது. OAI-SearchBot-இலிருந்து விலகிய தளங்கள் ChatGPT தேடல் பதில்களில் காட்டப்படாது என்று OpenAI தெளிவாகக் கூறுகிறது.

ChatGPT உங்கள் பக்கங்களை மேற்கோள் காட்ட வேண்டுமெனில், robots.txt-இலும் உங்கள் ஃபயர்வாலிலும் அனுமதிக்க வேண்டிய கிராலர் இதுதான். அதன் IP வரம்புகள் openai.com/searchbot.json-இல் வெளியிடப்படுகின்றன; ஒரு கோரிக்கை உண்மையில் OpenAI-இடமிருந்து வருகிறதா என்று ஃபயர்வால் சரிபார்க்க இது உதவுகிறது.

ChatGPT-User என்ன செய்கிறது?

ChatGPT-User வழக்கமான அர்த்தத்தில் கிராலர் அல்ல. ஒரு ChatGPT பயனரோ Custom GPT-ஓ கேட்கும்போது, உதாரணமாக யாராவது உங்கள் URL-ஐ உரையாடலில் ஒட்டிச் சுருக்கம் கேட்கும்போது, அது ஒரு பக்கத்தைப் பெறுகிறது. வலையைத் தானியங்கியாகக் கிரால் செய்ய அது பயன்படுத்தப்படுவதில்லை என்று OpenAI கூறுகிறது.

OpenAI ஆவணங்களிலிருந்து இரண்டு விவரங்கள் இங்கே முக்கியம். முதலாவது, இந்தச் செயல்கள் பயனரால் தொடங்கப்படுவதால், robots.txt விதிகள் பொருந்தாமல் போகலாம். இரண்டாவது, உள்ளடக்கம் தேடலில் தோன்றுமா என்பதைத் தீர்மானிக்க ChatGPT-User பயன்படுத்தப்படுவதில்லை. தேடலுக்கு முக்கியமான அமைப்பு OAI-SearchBot.

ஒவ்வொன்றையும் தடுத்தால் என்ன நடக்கும்?

GPTBot, OAI-SearchBot இரண்டும் அனுமதிக்கப்பட்டிருக்கும்போது, இருமுறை கிரால் செய்வதைத் தவிர்க்க ஒரே கிராலின் முடிவுகளை இரண்டு நோக்கங்களுக்கும் பயன்படுத்தலாம் என்றும் OpenAI குறிப்பிடுகிறது.

OpenAI கிராலர்களுக்கு எந்த robots.txt-ஐப் பயன்படுத்த வேண்டும்?

ChatGPT பதில்களில் தோன்ற விரும்பும் பெரும்பாலான தளங்களுக்கு, தேடல் கிராலரை அனுமதித்து, பயிற்சி பற்றித் தனியாக முடிவு செய்யுங்கள். இந்தக் கோப்பு தேடலை அனுமதித்துப் பயிற்சியிலிருந்து விலகுகிறது:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

RFC 9309-இன் ஒரு விவரத்தைக் கவனியுங்கள்: கிராலர் தன்னைப் பெயரிடும் குழுவைப் பின்பற்றி * குழுவைப் புறக்கணிக்கிறது. மேலே உள்ள எடுத்துக்காட்டில், OAI-SearchBot-இன் சொந்தக் குழுவில் Disallow: /admin/ வரி இல்லாததால் அது /admin/-க்குள் அனுமதிக்கப்படும். தனிப்பட்டதாக வைக்க விரும்பும் பாதைகளை ஒவ்வொரு பெயரிடப்பட்ட குழுவிலும் மீண்டும் எழுதுங்கள். தேடல் மாற்றங்கள் நடைமுறைக்கு வரச் சுமார் 24 மணிநேரம் ஆகலாம் என்று OpenAI கூறுகிறது.

ஃபயர்வால் அவற்றை உள்ளே விடுகிறதா என்று எப்படி உறுதிசெய்வது?

robots.txt உங்கள் கொள்கையை மட்டுமே கூறுகிறது. ஒவ்வொரு கோரிக்கையும் உண்மையில் என்ன பெறுகிறது என்பதை ஃபயர்வால் அல்லது CDN தீர்மானிக்கிறது. ஒவ்வொரு கிராலரின் user agent-உடனும் ஒரு பக்கத்தைக் கோரி, நிலைக் குறியீட்டையும் body அளவையும் உலாவிக் கோரிக்கையுடன் ஒப்பிடுங்கள். உலாவிக்குச் சாதாரணப் பக்கமும் கிராலருக்கு 403, 429 அல்லது challenge பக்கமும் கிடைத்தால், ஃபயர்வால் உங்கள் robots.txt-ஐ மீறுகிறது என்று பொருள்.

AISeeWhy மூன்று OpenAI ஏஜென்ட்களுக்கும் இந்த ஒப்பீட்டை ஒரே நேரத்தில் இயக்குகிறது, மேற்கோள்களை இழக்கச் செய்வதால் OAI-SearchBot, ChatGPT-User தடைகளை P1 எனக் குறிக்கிறது, தடுக்கப்பட்ட GPTBot-ஐப் பிழையாக அல்லாமல் P3 கொள்கைத் தேர்வாகப் பட்டியலிடுகிறது.

இந்தச் சிக்கலுக்கான திருத்தங்கள்

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

OpenAI கிராலர்களின் user agent string-கள் என்ன?

OpenAI-இன் ஆவணம் GPTBot-க்கு Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot-க்கு compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-இல் முடியும் Chrome போன்ற string, ChatGPT-User-க்கு Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot ஆகியவற்றைத் தருகிறது. பதிப்பு எண்கள் மாறலாம், எனவே டோக்கனில் பொருத்துங்கள். IP வரம்புகள் openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json-இல் வெளியிடப்பட்டுள்ளன; உண்மையான கிராலரைப் போலியிலிருந்து பிரித்தறிய மூல IP-ஐ அவற்றுடன் சரிபாருங்கள்.

GPTBot-உம் ChatGPT-உம் ஒன்றா?

இல்லை. GPTBot பயிற்சித் தரவுக்கான கிராலர். ChatGPT தேடல் OAI-SearchBot-ஐப் பயன்படுத்துகிறது; பயனர்கள் கோரும் நேரலை வருகைகள் ChatGPT-User-இடமிருந்து வருகின்றன.

ChatGPT தேடலை அனுமதித்துப் பயிற்சியைத் தடுக்க முடியுமா?

ஆம். robots.txt-இல் OAI-SearchBot-ஐ அனுமதித்து GPTBot-ஐத் தடுங்கள். OpenAI இந்த இரண்டு அமைப்புகளையும் தனித்தவையாக ஆவணப்படுத்துகிறது.

OpenAI-ஐ IP முகவரி மூலம் தடுக்க வேண்டுமா?

IP மூலம் தடுத்தால் கிராலர் உங்கள் robots.txt-ஐப் படிக்க முடியாது, உங்கள் கொள்கையை மாற்றுவதும் கடினமாகும். பொதுவாக robots.txt-இல் கொள்கையைத் தெரிவித்து, வெளியிடப்பட்ட IP வரம்புகளை OpenAI கிராலர்களைத் தடுக்க அல்லாமல் சரிபார்க்கப் பயன்படுத்துவதே சிறந்தது.

முழு user agent-ஐ அல்லாமல் டோக்கனை ஏன் பொருத்த வேண்டும்?

தன் user agents-இல் உள்ள பதிப்பு எண் மாறலாம் என்றும், தான் வெளியிடும் எடுத்துக்காட்டு strings கிராலருக்குக் கிராலர் வேறுபடுகின்றன என்றும் OpenAI கூறுகிறது. GPTBot அல்லது OAI-SearchBot-ஐப் பொருத்தும் விதிகள் புதுப்பிப்புக்குப் பிறகும் செயல்படும்; சரியான string-ஐப் பொருத்தும் விதிகள் அமைதியாகப் பொருந்துவதை நிறுத்தலாம்.

மூலங்கள்

மேலும் கட்டுரைகள்