શું ChatGPT મારી વેબસાઇટ જોઈ શકે છે? કેવી રીતે તપાસવું

તમારું પેજ પેસ્ટ કરો અને લગભગ 30 સેકન્ડમાં જુઓ કે ChatGPTના ક્રૉલર તેને મેળવી, વાંચી અને ટાંકી શકે છે કે નહીં, અને ન શકે તો શું બદલવું.

મફત · સાઇન-અપ નહીં · 30 સેકંડમાં પરિણામ

robots.txt, ક્રૉલર પ્રમાણે

OAI-SearchBot, ChatGPT-User અને GPTBot RFC 9309ના નિયમો મુજબ અલગ અલગ વાંચવામાં આવે છે, તેથી તમે જુઓ છો કે કયો મંજૂર છે અને કઈ લાઇન નિર્ણય કરે છે.

ફાયરવૉલ અને CDN બ્લૉક

તમારું પેજ 14 ક્રૉલર તરીકે અને સામાન્ય બ્રાઉઝર તરીકે મંગાવવામાં આવે છે. ફક્ત ક્રૉલરને મળતો 403, 429 કે ચેલેન્જ પેજ ચિહ્નિત થાય છે, અને તેની પાછળના ફાયરવૉલનું નામ બતાવવામાં આવે છે.

ક્રૉલરને ખરેખર શું મળે છે

દરેક ક્રૉલર માટે સ્ટેટસ, સાઇઝ અને રીડાયરેક્ટને બ્રાઉઝરને મળતા પરિણામ સાથે સરખાવવામાં આવે છે, તેથી લોકોને આપે તેના કરતાં ક્રૉલરને ઓછું આપતું પેજ તરત દેખાઈ આવે છે.

દરેક તારણ માટે ઉકેલ

દરેક તારણ સાથે કરવાનો ફેરફાર આપવામાં આવે છે. મફત તપાસમાં તમારો સ્કોર અને પહેલું તારણ દેખાય છે; સંપૂર્ણ રિપોર્ટ $29 છે, એક જ વાર.

ટૂંકો જવાબ

ChatGPT તમારા પેજને ત્યારે જ ટાંકી શકે છે જ્યારે OpenAIનો સર્ચ ક્રૉલર, OAI-SearchBot, તેને મેળવી શકે અને તેને બ્રાઉઝર જેવું જ HTML મળે. ત્રણ વસ્તુ તપાસો: તમારી robots.txt OAI-SearchBotને મનાઈ કરતી નથી, તમારું ફાયરવૉલ કે CDN તેને 403 કે ચેલેન્જ પેજ આપતું નથી, અને મુખ્ય લખાણ શરૂઆતના HTMLમાં છે. વાંચી શકાવું એ ભલામણ થવા જેવું નથી: ChatGPT તમારી સાઇટનું નામ લે છે કે નહીં તે જોવા, તેને તમારા ગ્રાહકો પૂછે એવા પ્રશ્નો પૂછો અને નોંધો કે તે કઈ સાઇટ ટાંકે છે.

3 પગલાંમાં જાતે તપાસો

  1. તમારી robots.txt વાંચો

    https://your-site.com/robots.txt ખોલો. OAI-SearchBot, ChatGPT-User કે User-agent: * માટેના કોઈ ગ્રૂપે પેજને મનાઈ કરવી ન જોઈએ. GPTBot ફક્ત ટ્રેનિંગ માટે મહત્ત્વનો છે.

  2. ક્રૉલરને શું મળે છે તે ચકાસો

    પેજ OAI-SearchBot તરીકે મંગાવો, અથવા મફત તપાસ ચલાવો. તેણે બ્રાઉઝરને મળતા લખાણ સાથે 200 આપવો જોઈએ, 403 કે ચેલેન્જ પેજ નહીં.

  3. ChatGPTને પૂછો

    સર્ચ ચાલુ રાખીને તેને તમારા URLનો સારાંશ આપવા અને તમારા ખરીદદારો પૂછે એવા એક પ્રશ્નનો જવાબ આપવા કહો, પછી તે જે સ્રોતો બતાવે તે જુઓ. ઍક્સેસ બરાબર હોય અને છતાં તમે ન દેખાતા હો, તો કારણ કન્ટેન્ટ છે.

વારંવાર પૂછાતા પ્રશ્નો

શું હું મફતમાં તપાસી શકું કે ChatGPT મારી સાઇટ જોઈ શકે છે કે નહીં?

હા. તમારી robots.txt વાંચવી, OAI-SearchBot યુઝર એજન્ટ સાથે curl વિનંતી અને ChatGPTમાં એક પ્રશ્ન, આ બધું મફત છે. AISeeWhyની મફત તપાસ એકાઉન્ટ વગર દિવસમાં એક પેજ માટે ક્રૉલર ટેસ્ટ ચલાવે છે.

ChatGPT મારી સાઇટની ભલામણ કરે છે કે નહીં તે કેવી રીતે તપાસવું?

Search ચાલુ રાખીને ChatGPTને તમારા ગ્રાહકો પૂછે એવા પ્રશ્નો પૂછો, અને નોંધો કે તે તમારી સાઇટનું નામ લે છે કે લિંક આપે છે કે નહીં અને તેના બદલે કયા સ્પર્ધકોનાં નામ આપે છે. જવાબો દરેક રનમાં બદલાય છે, તેથી દરેક પ્રશ્ન ફરી પૂછો અને થોડાં અઠવાડિયાં સુધી ફરી તપાસો. AISeeWhyની AI માં દૃશ્યતા તપાસ તમારી પોતાની API કી વડે તમારા પ્રશ્નો ChatGPT, Claude, Perplexity અને Gemini દ્વારા ચલાવે છે અને વધુમાં વધુ ચાર સ્પર્ધકોની બાજુમાં ઉલ્લેખ ટ્રૅક કરે છે. API દ્વારા મળતા જવાબો ChatGPT ઍપ બતાવે છે તેનાથી અલગ હોઈ શકે છે.

ChatGPT મારી સાઇટ કેમ શોધી શકતું નથી?

મોટે ભાગે robots.txtમાં OAI-SearchBotને મનાઈ હોય છે, ફાયરવૉલ તેને 403 કે ચેલેન્જ પેજ આપે છે, કે લખાણ ફક્ત JavaScript ચાલ્યા પછી દેખાય છે. જો ત્રણે બરાબર હોય, તો કદાચ તમારું પેજ ChatGPT ટાંકે છે તે પેજ કરતાં પ્રશ્નનો જવાબ ઓછો સીધો આપે છે.

શું GPTBot બ્લૉક કરવાથી મારી સાઇટ ChatGPT સર્ચમાંથી દૂર થાય છે?

ના. OpenAI દરેક ક્રૉલર સેટિંગને સ્વતંત્ર ગણે છે. GPTBot ટ્રેનિંગ સાથે સંબંધિત છે, જ્યારે OAI-SearchBot નક્કી કરે છે કે પેજ ChatGPTના સર્ચ જવાબોમાં બતાવી શકાય કે નહીં. તમે એકને મનાઈ કરીને બીજાને મંજૂરી આપી શકો છો.

શું ChatGPT-User robots.txtનું પાલન કરે છે?

OpenAI કહે છે કે આ મુલાકાતો યુઝર શરૂ કરે છે, તેથી robots.txtના નિયમો લાગુ ન પણ પડે. જો તમારે એ મુલાકાતો રોકવી હોય, તો robots.txt નિયમ ભરોસાપાત્ર નિયંત્રણ નથી.

robots.txtનો ફેરફાર ChatGPT સુધી પહોંચતાં કેટલો સમય લાગે?

OpenAI કહે છે કે robots.txt અપડેટ પછી સર્ચ માટે તેની સિસ્ટમ ગોઠવાતાં લગભગ 24 કલાક લાગી શકે છે.

શું પહોંચી શકાય એટલું ટંકાવા માટે પૂરતું છે?

ના. ઍક્સેસથી હવાલો શક્ય બને છે; તેની ગૅરંટી મળતી નથી. પેજ શું કહે છે, અને કેટલું સ્પષ્ટ કહે છે, તે જ નક્કી કરે છે કે જવાબમાં તેનો ઉપયોગ થાય કે નહીં.

સંપૂર્ણ માર્ગદર્શિકા વાંચો

ઘણા સાઇટ માલિકો ChatGPTને પોતાના પ્રોડક્ટ વિશે પૂછે છે, તેના બદલે કોઈ સ્પર્ધકને ટંકાયેલો જુએ છે, અને વિચારે છે કે ChatGPT તેમની સાઇટ સુધી પહોંચી પણ શકે છે કે નહીં. આ પ્રશ્નનો નક્કર, ચકાસી શકાય એવો જવાબ છે. OpenAI તેના ક્રૉલરનાં નામ અને દરેક શું કરે છે તે પ્રકાશિત કરે છે, તેથી તમે સાંકળની દરેક કડી તપાસી શકો: robots.txtના નિયમો, તમારું સર્વર જે જવાબ મોકલે છે, અને એ જવાબમાંનું કન્ટેન્ટ.

5 મિનિટની તપાસ, પગલું-દર-પગલું

  1. https://your-site.com/robots.txt ખોલો અને ખાતરી કરો કે OAI-SearchBot, ChatGPT-User કે User-agent: * માટેનું કોઈ જૂથ પેજની મનાઈ કરતું નથી. GPTBot ફક્ત ટ્રેનિંગ માટે મહત્ત્વનો છે.
  2. AISeeWhy પર પેજની મફત તપાસ ચલાવો અથવા OAI-SearchBot યુઝર એજન્ટ સાથે એક વિનંતી મોકલો: તેને સ્ટેટસ 200 અને બ્રાઉઝરને મળે છે તે જ લખાણ મળવું જોઈએ, 403 કે ચેલેન્જ પેજ નહીં.
  3. પેજનો સોર્સ જુઓ અને ખાતરી કરો કે મુખ્ય લખાણ HTMLમાં છે, પછીથી JavaScript વડે ઉમેરાયેલું નથી.
  4. Search ચાલુ રાખીને ChatGPTને તમારા URLનો સારાંશ આપવા અને તમારા ગ્રાહકો પૂછે એવા એક પ્રશ્નનો જવાબ આપવા કહો. તે જે સ્રોતો બતાવે તે જુઓ.

જો પગલું 1 કે 2 નિષ્ફળ જાય, તો પહેલાં તે સુધારો: નીચેના વિભાગો તે કેવી રીતે કરવું તે બતાવે છે. જો ચારેય પગલાં પાસ થાય અને છતાં ChatGPT તમને ટાંકે નહીં, તો કારણ કન્ટેન્ટ છે, ઍક્સેસ નહીં.

ChatGPTના જવાબો માટે OpenAIના કયા ક્રૉલર મહત્ત્વના છે?

OpenAI ત્રણ એજન્ટ દસ્તાવેજમાં જણાવે છે જેમનો સાઇટ માલિકોને સામાન્ય રીતે સામનો થાય છે. તેમનાં કામ અલગ છે, અને એકને બ્લૉક કરવાથી બીજા બ્લૉક થતા નથી. OpenAI જણાવે છે કે દરેક robots.txt સેટિંગ સ્વતંત્ર છે.

  • OAI-SearchBot ChatGPTની સર્ચ સુવિધાઓ માટે પેજ શોધે અને ઇન્ડેક્સ કરે છે. OpenAI કહે છે કે તેમાંથી બહાર નીકળેલી સાઇટ ChatGPTના સર્ચ જવાબોમાં બતાવાશે નહીં. તમે ટંકાઈ શકો કે નહીં તે આ જ નક્કી કરે છે.
  • GPTBot એવું કન્ટેન્ટ ભેગું કરે છે જેનો ઉપયોગ OpenAIનાં ફાઉન્ડેશન મૉડલની ટ્રેનિંગમાં થઈ શકે. તેને મનાઈ કરવાથી જણાવાય છે કે તમારું કન્ટેન્ટ ટ્રેનિંગમાં ન વપરાવું જોઈએ. તે તમને સર્ચ જવાબોમાંથી દૂર કરતું નથી.
  • ChatGPT-User ત્યારે પેજ ખોલે છે જ્યારે કોઈ વ્યક્તિ ChatGPTને એમ કરવા કહે, ઉદાહરણ તરીકે લિંક પેસ્ટ કરીને. OpenAI કહે છે કે યુઝરે શરૂ કરેલી આ મુલાકાતો પર robots.txtના નિયમો લાગુ ન પણ પડે, અને કન્ટેન્ટ સર્ચમાં દેખાય કે નહીં તે નક્કી કરવા આ એજન્ટ વપરાતો નથી.

ટૂંકમાં: OAI-SearchBot હવાલા નિયંત્રિત કરે છે, GPTBot ટ્રેનિંગ નિયંત્રિત કરે છે, અને ChatGPT-User યુઝરની વિનંતી પર લાઇવ મુલાકાતો સંભાળે છે.

ChatGPT માટે મારી robots.txt કેવી રીતે તપાસવી?

બ્રાઉઝરમાં https://yourdomain.com/robots.txt ખોલો. OAI-SearchBotનું નામ ધરાવતું જૂથ શોધો. જો એવું ન હોય, તો ક્રૉલર User-agent: * જૂથને અનુસરે છે. જે જૂથ લાગુ પડે તેમાંનું Disallow: / આખી સાઇટ બ્લૉક કરે છે.

ફાઇલ જવાબ આપે છે કે નહીં તે પણ તપાસો. RFC 9309 મુજબ, જો robots.txt સર્વર એરર (5xx) આપે કે પહોંચી ન શકાય, તો ક્રૉલરે માની લેવું પડે કે આખી સાઇટ મનાઈમાં છે. 404 બરાબર છે: તેનો અર્થ છે કોઈ નિયમ નથી. સ્ટેટસ 200 સાથે HTML પેજ આપતું robots.txt સરનામું સામાન્ય ભૂલ છે, કારણ કે ક્રૉલરને પછી તેમાં કોઈ માન્ય નિયમ મળતો નથી.

ChatGPT સર્ચ ચાલુ રાખતું અને ટ્રેનિંગમાંથી બહાર નીકળતું સેટઅપ આવું દેખાય છે:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI કહે છે કે robots.txt અપડેટ કર્યા પછી સર્ચ માટેના ફેરફારો લાગુ થતાં લગભગ 24 કલાક લાગી શકે છે.

robots.txt મંજૂરી આપે છતાં શું ફાયરવૉલ ChatGPTને બ્લૉક કરી શકે?

હા, અને આ સામાન્ય કારણ છે. robots.txt સારું વર્તન કરતા ક્રૉલરને કરેલી વિનંતી છે, ઍક્સેસ કંટ્રોલ નથી. ખરેખર શું પાછું મોકલાય છે તે તમારું ફાયરવૉલ, CDN કે બૉટ પ્રોટેક્શન નક્કી કરે છે. જો તે AI ક્રૉલરને અનિચ્છનીય બૉટ ગણે, તો ક્રૉલરને 403, 429 કે Cloudflareની "Just a moment..." સ્ક્રીન જેવું ચેલેન્જ પેજ મળે છે, જ્યારે બ્રાઉઝરમાં લોકોને પેજ સામાન્ય રીતે દેખાય છે.

બહારથી આ બધા માટે ખુલ્લી સાઇટ જેવું લાગે છે. ફક્ત પોતાને ક્રૉલર તરીકે ઓળખાવતી વિનંતી જ ફરક બતાવે છે. આ કિસ્સામાં robots.txt હા કહે છે, સર્વર ના કહે છે, અને સર્વર જીતે છે.

OAI-SearchBotને શું મળે છે તે કેવી રીતે ચકાસવું?

એ જ URLને બે વિનંતી મોકલો, એક બ્રાઉઝર યુઝર એજન્ટ સાથે અને એક ક્રૉલરના યુઝર એજન્ટ સાથે, અને સ્ટેટસ કોડ અને કદ સરખાવો. OpenAI દરેક ક્રૉલર માટે ઉદાહરણ યુઝર એજન્ટ પ્રકાશિત કરે છે; તેમાંનો વર્ઝન નંબર બદલાઈ શકે છે.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

જો બ્રાઉઝરને મોટા body સાથે 200 મળે અને ક્રૉલરને 403, 429, 503 કે ઘણું નાનું body મળે, તો તમારું ફાયરવૉલ ક્રૉલર સાથે અલગ વર્તન કરે છે. એક મર્યાદા છે: તમારો ટેસ્ટ OpenAIના નહીં પણ તમારા પોતાના IP સરનામા પરથી આવે છે. પ્રકાશિત IP રેન્જ સામે ક્રૉલર ચકાસતાં ફાયરવૉલ (OpenAI તેમને openai.com/searchbot.json પર આપે છે) તમારો ટેસ્ટ બ્લૉક કરીને પણ સાચા ક્રૉલરને પસાર થવા દઈ શકે છે. આ ટેસ્ટમાં બ્લૉક હજી બતાવે છે કે ફાયરવૉલ યુઝર એજન્ટ સાથે કેવું વર્તન કરે છે, અને તે સુધારવા જેવું છે.

પેજ લોડ થાય છતાં ChatGPT કંઈ ઉપયોગી ન કહે તો શું?

ઍક્સેસ ફક્ત પહેલું પગલું છે. જો પહોંચતું HTML એક ખાલી ખોખું હોય જે પછી JavaScriptથી ભરાય, તો ક્રૉલરને લગભગ કોઈ લખાણ ન મળે. curl કે તમારા બ્રાઉઝરના view-sourceથી કાચું HTML જુઓ: જો મુખ્ય લખાણ ત્યાં ન હોય, તો ક્રૉલરને પણ કદાચ તે દેખાતું નથી.

એ પછી કન્ટેન્ટના સંકેતો આવે છે: પેજની ઉપર નજીક સ્પષ્ટ ટૂંકો જવાબ, લોકો પૂછે છે તે પ્રશ્નો સાથે મેળ ખાતાં હેડિંગ, નામવાળા પ્રકાશક અને લેખક, અને દેખાતી તારીખો. આ હવાલાની ગૅરંટી આપતાં નથી, પણ પેજને સાચી રીતે ટાંકવું સરળ બનાવે છે.

AISeeWhy આ કેવી રીતે તપાસે છે?

AISeeWhy તમારું પેજ સામાન્ય બ્રાઉઝરની સાથે OAI-SearchBot, GPTBot, ChatGPT-User અને બીજા 11 ક્રૉલર તરીકે મેળવે છે, RFC 9309ના નિયમો મુજબ તમારી robots.txt વાંચે છે અને બ્લૉક કે ચેલેન્જ આપતા ફાયરવૉલનું નામ જણાવે છે. દરેક તારણ સાથે પેસ્ટ કરવાનો સુધારો આવે છે, અને મફત તપાસ તમારો સ્કોર અને પહેલું તારણ બતાવે છે.

આ સમસ્યાના સુધારા

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

સ્રોતો

વધુ લેખો

પ્રકાશિત · અપડેટ થયું