OpenAI ക്രോളറുകൾ: GPTBot, OAI-SearchBot, ChatGPT-User
മോഡലുകളെ പരിശീലിപ്പിച്ചേക്കാവുന്ന ഉള്ളടക്കം ശേഖരിക്കാൻ GPTBot-ഉം ChatGPT സെർച്ചിനായി പേജുകൾ ഇൻഡക്സ് ചെയ്യാൻ OAI-SearchBot-ഉം ഒരാൾ ആവശ്യപ്പെടുന്ന സന്ദർശനങ്ങൾക്ക് ChatGPT-User-ഉം OpenAI ഉപയോഗിക്കുന്നു. GPTBot-നെ തടയുന്നത് നിങ്ങളെ പരിശീലനത്തിൽ നിന്ന് മാത്രം ഒഴിവാക്കുന്നു. OAI-SearchBot-നെ തടയുന്നത് നിങ്ങളെ ChatGPT സെർച്ച് ഉത്തരങ്ങളിൽ നിന്ന് നീക്കം ചെയ്യുന്നു. robots.txt ChatGPT-User-ന് ബാധകമാകണമെന്നില്ല.
ഒരേ കമ്പനിയിൽ നിന്നുള്ള മൂന്ന് വ്യത്യസ്ത യൂസർ ഏജന്റുകൾ, ഓരോന്നിനും സ്വന്തം robots.txt ടോക്കൺ — ഇത് വലിയ ആശയക്കുഴപ്പമുണ്ടാക്കുന്നു. GPTBot പ്രത്യക്ഷപ്പെട്ടപ്പോൾ പല സൈറ്റുകളും അതിനെ തടഞ്ഞു, ChatGPT-ക്ക് തങ്ങളെ ഉദ്ധരിക്കാനാകുമോ എന്ന് തീരുമാനിക്കുന്ന ക്രോളറിനെയും തങ്ങൾ തടഞ്ഞുവെന്ന് ചിലർ പിന്നീട് കണ്ടെത്തി, പലപ്പോഴും ഒരു വിശാലമായ ഫയർവാൾ നിയമം വഴി. OpenAI-യുടെ സ്വന്തം ഡോക്യുമെന്റേഷൻ ഉപയോഗിച്ച് ഈ ലേഖനം ഓരോ ഏജന്റിനെയും പരിശോധിക്കുന്നു.
ഈ പേജിൽ
GPTBot എന്ത് ചെയ്യുന്നു?
OpenAI-യുടെ ജനറേറ്റീവ് AI ഫൗണ്ടേഷൻ മോഡലുകളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിച്ചേക്കാവുന്ന ഉള്ളടക്കം GPTBot ക്രോൾ ചെയ്യുന്നു. GPTBot-നെ വിലക്കുന്നത് ഒരു സൈറ്റിന്റെ ഉള്ളടക്കം ആ മോഡലുകളുടെ പരിശീലനത്തിൽ ഉപയോഗിക്കരുതെന്ന് സൂചിപ്പിക്കുന്നുവെന്ന് OpenAI-യുടെ ഡോക്യുമെന്റേഷൻ പറയുന്നു.
അതിന്റെ യൂസർ ഏജന്റിൽ GPTBot എന്ന ടോക്കൺ ഉണ്ട്, ഉദാഹരണത്തിന് Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. പതിപ്പ് നമ്പർ മാറിയേക്കാമെന്ന് OpenAI ചൂണ്ടിക്കാട്ടുന്നു, അതിനാൽ മുഴുവൻ സ്ട്രിംഗല്ല, ടോക്കൺ ഒത്തുനോക്കുക. OpenAI അതിന്റെ IP ശ്രേണികൾ openai.com/gptbot.json-ൽ പ്രസിദ്ധീകരിക്കുന്നു.
അതിനെ അനുവദിക്കണോ എന്നത് ഒരു നയപരമായ തീരുമാനമാണ്. ചില പ്രസാധകർ തങ്ങളുടെ ഉള്ളടക്കം പരിശീലന ഡാറ്റയിൽ വേണമെന്ന് ആഗ്രഹിക്കുന്നു, മറ്റുള്ളവർ അങ്ങനെയല്ല. അതിനെ തടയുന്നത് ChatGPT സെർച്ചിനെ ബാധിക്കില്ല, കാരണം അത് മറ്റൊരു ക്രോളറാണ്. പിന്നീട് മനസ്സ് മാറിയാൽ, Disallow വരി നീക്കം ചെയ്താൽ മതി; രജിസ്റ്റർ ചെയ്യാനോ അഭ്യർത്ഥിക്കാനോ ഒന്നുമില്ല.
OAI-SearchBot എന്ത് ചെയ്യുന്നു?
OAI-SearchBot OpenAI-യുടെ സെർച്ച് ക്രോളറാണ്. ChatGPT-യുടെ സെർച്ച് ഫീച്ചറുകളിൽ ഇത് വെബ്സൈറ്റുകൾ കാണിക്കുന്നു. OAI-SearchBot-ൽ നിന്ന് ഒഴിവായ സൈറ്റുകൾ ChatGPT സെർച്ച് ഉത്തരങ്ങളിൽ കാണിക്കില്ലെന്ന് OpenAI വ്യക്തമായി പറയുന്നു.
ChatGPT നിങ്ങളുടെ പേജുകൾ ഉദ്ധരിക്കണമെങ്കിൽ, robots.txt-ലും ഫയർവാളിലും അനുവദിക്കേണ്ട ക്രോളർ ഇതാണ്. അതിന്റെ IP ശ്രേണികൾ openai.com/searchbot.json-ൽ പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്, ഒരു അഭ്യർത്ഥന യഥാർത്ഥത്തിൽ OpenAI-യിൽ നിന്നാണോ എന്ന് സ്ഥിരീകരിക്കാൻ ഇത് ഫയർവാളിനെ സഹായിക്കുന്നു.
ChatGPT-User എന്ത് ചെയ്യുന്നു?
ChatGPT-User സാധാരണ അർത്ഥത്തിലുള്ള ക്രോളറല്ല. ഒരു ChatGPT ഉപയോക്താവോ Custom GPT-യോ ആവശ്യപ്പെടുമ്പോൾ, ഉദാഹരണത്തിന് ആരെങ്കിലും നിങ്ങളുടെ URL ഒരു ചാറ്റിൽ ഒട്ടിച്ച് സംഗ്രഹം ചോദിക്കുമ്പോൾ, ഇത് ഒരു പേജ് എടുക്കുന്നു. വെബ് സ്വയമേവ ക്രോൾ ചെയ്യാൻ ഇത് ഉപയോഗിക്കുന്നില്ലെന്ന് OpenAI പറയുന്നു.
OpenAI-യുടെ ഡോക്യുമെന്റേഷനിലെ രണ്ട് വിശദാംശങ്ങൾ ഇവിടെ പ്രധാനമാണ്. ഒന്ന്, ഈ പ്രവൃത്തികൾ ഒരു ഉപയോക്താവ് ആരംഭിക്കുന്നതിനാൽ robots.txt നിയമങ്ങൾ ബാധകമാകണമെന്നില്ല. രണ്ട്, ഉള്ളടക്കം സെർച്ചിൽ പ്രത്യക്ഷപ്പെടാമോ എന്ന് നിർണ്ണയിക്കാൻ ChatGPT-User ഉപയോഗിക്കുന്നില്ല. സെർച്ചിന് പ്രധാനം OAI-SearchBot ക്രമീകരണമാണ്.
ഓരോന്നിനെയും തടഞ്ഞാൽ എന്ത് സംഭവിക്കും?
GPTBotതടഞ്ഞാൽ: നിങ്ങളുടെ ഉള്ളടക്കം പരിശീലനത്തിന് ഉപയോഗിക്കരുതെന്ന് അടയാളപ്പെടുത്തുന്നു.OAI-SearchBotഅനുവദിക്കപ്പെട്ടിട്ടുണ്ടെങ്കിൽ ChatGPT സെർച്ചിന് നിങ്ങളെ തുടർന്നും കാണിക്കാനും ഉദ്ധരിക്കാനും കഴിയും.OAI-SearchBotതടഞ്ഞാൽ: നിങ്ങളുടെ പേജുകൾ ChatGPT സെർച്ച് ഉത്തരങ്ങളിൽ കാണിക്കില്ല. പരിശീലനംGPTBotവഴി വെവ്വേറെ നിയന്ത്രിക്കപ്പെടുന്നു.- robots.txt-ൽ
ChatGPT-Userതടഞ്ഞാൽ: ഈ സന്ദർശനങ്ങൾക്ക് robots.txt ബാധകമാകണമെന്നില്ലെന്ന് OpenAI പറയുന്നു, അതിനാൽ ഫലം ഉറപ്പില്ല. ഫയർവാളിൽ തടയുന്നത് ഫെച്ച് നിർത്തുന്നു, നിങ്ങളുടെ ലിങ്ക് ഒട്ടിക്കുന്ന ഉപയോക്താക്കൾക്ക് നിങ്ങളുടെ ഉള്ളടക്കത്തിന് പകരം ഒരു പിശക് ലഭിക്കുന്നു. - മൂന്നിനെയും ഫയർവാളിൽ തടഞ്ഞാൽ: ChatGPT-ക്ക് നിങ്ങളുടെ പേജുകൾ ഇൻഡക്സ് ചെയ്യാനോ എടുക്കാനോ കഴിയില്ല, അതിനാൽ ഉദ്ധരിക്കാൻ നിങ്ങളുടേതായി ഒന്നുമില്ല.
- മൂന്നിനെയും അനുവദിച്ചാൽ: നിങ്ങളുടെ പേജുകൾ സെർച്ചിനായി ഇൻഡക്സ് ചെയ്യാം, അഭ്യർത്ഥനപ്രകാരം എടുക്കാം,
GPTBotവഴി പരിശീലനത്തിനും ഉപയോഗിക്കാം.
GPTBot-ഉം OAI-SearchBot-ഉം അനുവദിക്കപ്പെടുമ്പോൾ, രണ്ടുതവണ ക്രോൾ ചെയ്യുന്നത് ഒഴിവാക്കാൻ ഒരു ക്രോളിന്റെ ഫലങ്ങൾ രണ്ട് ആവശ്യങ്ങൾക്കും ഉപയോഗിച്ചേക്കാമെന്നും OpenAI ചൂണ്ടിക്കാട്ടുന്നു.
OpenAI-യുടെ ക്രോളറുകൾക്ക് ഏത് robots.txt ഉപയോഗിക്കണം?
ChatGPT ഉത്തരങ്ങളിൽ പ്രത്യക്ഷപ്പെടാൻ ആഗ്രഹിക്കുന്ന മിക്ക സൈറ്റുകളും സെർച്ച് ക്രോളറിനെ അനുവദിക്കുകയും പരിശീലനത്തെക്കുറിച്ച് വെവ്വേറെ തീരുമാനിക്കുകയും ചെയ്യണം. ഈ ഫയൽ സെർച്ച് അനുവദിക്കുകയും പരിശീലനത്തിൽ നിന്ന് ഒഴിവാകുകയും ചെയ്യുന്നു:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309-ലെ ഒരു വിശദാംശം ശ്രദ്ധിക്കുക: ഒരു ക്രോളർ അതിന്റെ പേരുള്ള ഗ്രൂപ്പ് പിന്തുടരുകയും * ഗ്രൂപ്പ് അവഗണിക്കുകയും ചെയ്യുന്നു. മുകളിലെ ഉദാഹരണത്തിൽ, OAI-SearchBot-ന്റെ സ്വന്തം ഗ്രൂപ്പിൽ Disallow: /admin/ വരി ഇല്ലാത്തതിനാൽ അതിന് /admin/-ൽ പ്രവേശിക്കാം. സ്വകാര്യമായി സൂക്ഷിക്കേണ്ട പാത്തുകൾ പേരുള്ള ഓരോ ഗ്രൂപ്പിലും ആവർത്തിക്കുക. സെർച്ച് മാറ്റങ്ങൾ പ്രയോഗിക്കാൻ ഏകദേശം 24 മണിക്കൂർ എടുത്തേക്കാമെന്ന് OpenAI പറയുന്നു.
ഫയർവാൾ അവയെ കടത്തിവിടുന്നുണ്ടെന്ന് എങ്ങനെ ഉറപ്പാക്കാം?
robots.txt നിങ്ങളുടെ നയം പ്രസ്താവിക്കുക മാത്രമാണ് ചെയ്യുന്നത്. ഓരോ അഭ്യർത്ഥനയ്ക്കും യഥാർത്ഥത്തിൽ എന്ത് ലഭിക്കുന്നുവെന്ന് ഫയർവാളോ CDN-ഓ തീരുമാനിക്കുന്നു. ഓരോ ക്രോളറിന്റെയും യൂസർ ഏജന്റ് ഉപയോഗിച്ച് ഒരു പേജ് അഭ്യർത്ഥിച്ച് സ്റ്റാറ്റസ് കോഡും ബോഡി വലിപ്പവും ഒരു ബ്രൗസർ അഭ്യർത്ഥനയുമായി താരതമ്യം ചെയ്യുക. ബ്രൗസറിന് സാധാരണ പേജും ക്രോളറിന് 403, 429 അല്ലെങ്കിൽ ചലഞ്ച് പേജും ലഭിക്കുന്നുവെങ്കിൽ, ഫയർവാൾ നിങ്ങളുടെ robots.txt-നെ മറികടക്കുന്നു എന്നാണ് അർത്ഥം.
AISeeWhy മൂന്ന് OpenAI ഏജന്റുകൾക്കും ഒരേസമയം ഈ താരതമ്യം നടത്തുന്നു, ഉദ്ധരണികൾ നഷ്ടപ്പെടുത്തുന്നതിനാൽ OAI-SearchBot, ChatGPT-User എന്നിവയുടെ തടയലുകൾ P1 ആയി അടയാളപ്പെടുത്തുന്നു, തടയപ്പെട്ട GPTBot-നെ പിശകായല്ല, P3 നയപരമായ തീരുമാനമായി പട്ടികപ്പെടുത്തുന്നു.
ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- AI ക്രോളർ IP പരിശോധന
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
OpenAI ക്രോളറുകളുടെ യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ ഏതൊക്കെ?
OpenAI-യുടെ ഡോക്യുമെന്റേഷൻ GPTBot-ന് Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot-ന് compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-ൽ അവസാനിക്കുന്ന Chrome പോലുള്ള സ്ട്രിംഗ്, ChatGPT-User-ന് Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot എന്നിവ നൽകുന്നു. പതിപ്പ് നമ്പറുകൾ മാറിയേക്കാം, അതിനാൽ ടോക്കണുമായി പൊരുത്തപ്പെടുത്തുക. IP ശ്രേണികൾ openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json എന്നിവയിൽ പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്; യഥാർത്ഥ ക്രോളറെ അനുകരണത്തിൽ നിന്ന് വേർതിരിക്കാൻ ഉറവിട IP അവയുമായി ഒത്തുനോക്കുക.
GPTBot-ഉം ChatGPT-യും ഒന്നാണോ?
അല്ല. GPTBot പരിശീലന ഡാറ്റയ്ക്കുള്ള ക്രോളറാണ്. ChatGPT സെർച്ച് OAI-SearchBot ഉപയോഗിക്കുന്നു, ഉപയോക്താക്കൾ ആവശ്യപ്പെടുന്ന തത്സമയ സന്ദർശനങ്ങൾ ChatGPT-User-ൽ നിന്നാണ് വരുന്നത്.
ChatGPT സെർച്ച് അനുവദിച്ച് പരിശീലനം തടയാനാകുമോ?
അതെ. robots.txt-ൽ OAI-SearchBot അനുവദിക്കുകയും GPTBot വിലക്കുകയും ചെയ്യുക. OpenAI ഈ രണ്ട് ക്രമീകരണങ്ങളും സ്വതന്ത്രമായാണ് രേഖപ്പെടുത്തുന്നത്.
IP വിലാസം വഴി OpenAI-യെ തടയണോ?
IP വഴി തടയുന്നത് ക്രോളറിനെ നിങ്ങളുടെ robots.txt വായിക്കുന്നതിൽ നിന്ന് തടയുകയും നിങ്ങളുടെ നയം മാറ്റുന്നത് ബുദ്ധിമുട്ടാക്കുകയും ചെയ്യുന്നു. നയം robots.txt-ൽ പ്രസ്താവിക്കുകയും പ്രസിദ്ധീകരിച്ച IP ശ്രേണികൾ OpenAI-യുടെ ക്രോളറുകളെ തടയാനല്ല, സ്ഥിരീകരിക്കാൻ ഉപയോഗിക്കുകയും ചെയ്യുന്നതാണ് സാധാരണയായി നല്ലത്.
മുഴുവൻ യൂസർ ഏജന്റിന് പകരം ടോക്കൺ ഒത്തുനോക്കുന്നത് എന്തുകൊണ്ട്?
തങ്ങളുടെ യൂസർ ഏജന്റുകളിലെ പതിപ്പ് നമ്പർ മാറിയേക്കാമെന്ന് OpenAI പറയുന്നു, അത് പ്രസിദ്ധീകരിക്കുന്ന ഉദാഹരണ സ്ട്രിംഗുകൾ ക്രോളറുകൾക്കിടയിൽ വ്യത്യസ്തവുമാണ്. GPTBot അല്ലെങ്കിൽ OAI-SearchBot ഒത്തുനോക്കുന്ന നിയമങ്ങൾ ഒരു അപ്ഡേറ്റിന് ശേഷവും പ്രവർത്തിക്കും; കൃത്യമായ സ്ട്രിംഗ് ഒത്തുനോക്കുന്ന നിയമങ്ങൾ നിശ്ശബ്ദമായി പൊരുത്തപ്പെടാതാകാം.