પેજનું સરનામું દાખલ કરો: અમે સાઇટની robots.txt વાંચીએ છીએ અને દરેક AI અને સર્ચ ક્રૉલર માટે બતાવીએ છીએ કે તે એ પેજ મેળવી શકે કે નહીં. અથવા robots.txt પ્રકાશિત કરતાં પહેલાં તેને ચકાસવા અહીં પેસ્ટ કરો.
robots.txt ફક્ત એક વિનંતી છે. robots.txt જે ક્રૉલરને મંજૂરી આપે તેને પણ ફાયરવૉલ કે બૉટ પ્રોટેક્શન બ્લૉક કરી શકે છે; પૂરી તપાસ એ ચકાસે છે. પૂરી તપાસ ચલાવો →
દરેક ક્રૉલર એ જૂથને અનુસરે છે જેમાં તેનું ટોકન હોય (ઉદાહરણ તરીકે GPTBot કે PerplexityBot); કોઈ જૂથમાં ન હોય તો જ તે User-agent: *ને અનુસરે છે. એક જૂથમાં સૌથી લાંબો મેળ ખાતો નિયમ જીતે છે, અને બરાબરીમાં Allow જીતે છે. GPTBot, ClaudeBot કે Google-Extended જેવા ટ્રેનિંગ ક્રૉલરને બ્લૉક કરવાથી તમારું કન્ટેન્ટ મૉડલની ટ્રેનિંગથી દૂર રહે છે; OAI-SearchBot, ChatGPT-User કે PerplexityBot જેવા સર્ચ અને યુઝર ક્રૉલરને બ્લૉક કરવાથી તમારાં પેજ AI જવાબોથી દૂર રહે છે.
માર્ગદર્શિકા
robots.txt ટેસ્ટર કેવી રીતે વાપરવું
આ લખાણ અંગ્રેજીમાંથી મશીન દ્વારા અનુવાદિત થયું છે.
આ robots.txt ટેસ્ટર શું તપાસે છે
પેજનું સરનામું દાખલ કરો. ટેસ્ટર તે સરનામાની સ્કીમ અને હોસ્ટ લે છે, તે હોસ્ટના રૂટમાંથી /robots.txt વાંચે છે અને તમારા પેજના પાથ માટે તેના નિયમો તપાસે છે. તે 16 ક્રૉલરમાંથી દરેક માટે એક જ પ્રશ્નનો જવાબ આપે છે: શું આ ક્રૉલર આ પેજ મેળવી શકે છે?
ક્રૉલરને તેમના કામ પ્રમાણે જૂથમાં બતાવ્યા છે. ટ્રેનિંગ ક્રૉલર AI મૉડલ માટે પેજ એકઠાં કરે છે: GPTBot, ClaudeBot, CCBot, Bytespider અને Meta-ExternalAgent, ઉપરાંત ફક્ત robots.txtમાં વપરાતા ટોકન Google-Extended અને Applebot-Extended, જે પોતે ક્યારેય મુલાકાત લેતા નથી પણ Google અને Appleને જણાવે છે કે તેઓ પહેલેથી મેળવેલાં પેજ વાપરી શકે કે નહીં. સર્ચ ક્રૉલર એ ઇન્ડેક્સ બનાવે છે જેને AI જવાબો અને સર્ચ પરિણામો ટાંકે છે: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot અને Applebot. કોઈ વ્યક્તિ આસિસ્ટન્ટને પેજ ખોલવાનું કહે ત્યારે યુઝર એજન્ટ તે પેજ મેળવે છે: ChatGPT-User, Claude-User અને Perplexity-User.
સરનામાને બદલે તમે robots.txt પેસ્ટ પણ કરી શકો છો. ત્યારે કંઈ મેળવવામાં આવતું નથી: ટેસ્ટર તમે પેસ્ટ કરેલું લખાણ તપાસે છે, તેથી પ્રકાશિત કરતાં પહેલાં ફેરફાર અજમાવી શકો છો. પેસ્ટ કરેલું લખાણ ફક્ત જવાબ આપવા માટે વપરાય છે અને સેવ થતું નથી.
પરિણામો કેવી રીતે વાંચવાં
કોષ્ટકમાં દરેક ક્રૉલર માટે એક હરોળ હોય છે. તમારા પાથની કૉલમમાં મંજૂરી છે અથવા બ્લૉક છે લખેલું હોય છે. છેલ્લી કૉલમ જણાવે છે કે ફાઇલના કયા ભાગે નિર્ણય લીધો:
પોતાનું જૂથ: ફાઇલમાં આ ક્રૉલરના ટોકન સાથેની User-agent લાઇન છે, અને તેના માટે ફક્ત તે જૂથના નિયમો ગણાય છે.
User-agent: *: કોઈ જૂથ આ ક્રૉલરનું નામ લેતું નથી, તેથી તે બધા માટેના જૂથને અનુસરે છે.
કોઈ નિયમ નથી: કોઈ જૂથ લાગુ પડતું નથી, તેથી પેજને મંજૂરી છે.
કોષ્ટકની નીચે ફાઇલમાં આપેલી Sitemap લાઇનો અને હોય તો તેની Content-Signal લાઇન દેખાય છે. જો સરનામાએ ટેક્સ્ટ ફાઇલને બદલે વેબ પેજ આપ્યું, અથવા કોઈ ફાઇલ ન આપી, તો ટેસ્ટર તે જણાવે છે: /robots.txt પરના HTML પેજને ક્રૉલર ગેરહાજર ફાઇલ ગણે છે.
મંજૂરી છે લખેલી હરોળનો અર્થ ફક્ત એટલો છે કે robots.txt તે ક્રૉલરને રોકતી નથી. તેનો અર્થ એ નથી કે ક્રૉલર મુલાકાત લેશે, અને તે તમારા ફાયરવૉલ વિશે કંઈ કહેતી નથી.
ક્રૉલર પોતાના નિયમો કેવી રીતે પસંદ કરે છે
robots.txtનું ધોરણ RFC 9309 ત્રણ નિયમો નક્કી કરે છે, જે લગભગ દરેક અણધાર્યા પરિણામને સમજાવે છે. ક્રૉલર પહેલાં એવાં જૂથ શોધે છે જેનો User-agent તેના ટોકન સાથે મેળ ખાય, અક્ષરોના કેસને અવગણીને. જો તેને એવું જૂથ મળે, તો તે ફક્ત તે જૂથોને અનુસરે છે અને User-agent: *ને સંપૂર્ણપણે અવગણે છે. પસંદ કરેલા જૂથમાં સૌથી લાંબો મેળ ખાતો પાથ ધરાવતો નિયમ જીતે છે, અને જો Allow અને Disallow સમાન લંબાઈથી મેળ ખાય, તો Allow જીતે છે.
આ ફાઇલ સાથે GPTBot દરેક પેજ પરથી બ્લૉક છે, કારણ કે તેનું પોતાનું જૂથ છે. બીજો દરેક ક્રૉલર /private/press/kit.pdf મેળવી શકે છે, કારણ કે Allow: /private/press/ એ Disallow: /private/ કરતાં લાંબો છે, અને /private/notes/ પરથી બ્લૉક છે. બંને પાથ ટેસ્ટરમાં તપાસો અને નિર્ણય એક જૂથમાંથી બીજા જૂથમાં બદલાતો દેખાશે.
ઉદાહરણો સાથે સામાન્ય ભૂલો
એક નીચે એક લખેલી User-agent લાઇનો એક જ જૂથ બનાવે છે. User-agent: GPTBot, પછી User-agent: OAI-SearchBot, પછી Disallow: / ધરાવતી ફાઇલ બંને ક્રૉલરને બ્લૉક કરે છે, તેથી ટ્રેનિંગ રોકવા માગતી સાઇટ ChatGPT સર્ચમાંથી પણ ગાયબ થઈ જાય છે.
OpenAIનું ખોટું ટોકન બ્લૉક કરવું. GPTBot ટ્રેનિંગ ડેટા એકઠો કરે છે; OAI-SearchBot નક્કી કરે છે કે ChatGPT સર્ચ તમને બતાવી અને ટાંકી શકે કે નહીં. ટ્રેનિંગ રોકવા OAI-SearchBot કે ChatGPT-User બ્લૉક કરવાથી તેના બદલે તમે જવાબોમાંથી બહાર થઈ જાઓ છો.
એક અક્ષર નિયમને ઉલટાવી દે છે. પછી કશું ન હોય તેવો Disallow: બધાને મંજૂરી આપે છે; Disallow: / બધું બ્લૉક કરે છે.
પાથ કેસ-સેન્સિટિવ હોય છે. Disallow: /Blog/ એ /blog/ને બ્લૉક કરતો નથી.
વાઇલ્ડકાર્ડ સાવધાનીથી વાપરો. Disallow: /*.pdf એ /file.pdf?download=1ને પણ બ્લૉક કરે છે; Disallow: /*.pdf$ ફક્ત .pdfથી પૂરાં થતાં સરનામાં બ્લૉક કરે છે.
ફાઇલ ખોટા હોસ્ટ પર છે. robots.txt ફક્ત તે સ્કીમ અને હોસ્ટ માટે ગણાય છે જ્યાંથી તે અપાય છે, તેથી www.example.com, example.com અને shop.example.com દરેકને પોતાની ફાઇલ જોઈએ.
સર્વર એરરથી જવાબ આપે છે. 4xx જવાબનો અર્થ છે કે ક્રૉલર બધું મેળવી શકે છે. 5xx જવાબ કે ટાઇમઆઉટનો અર્થ છે કે ફાઇલ ફરી વાંચી શકાય ત્યાં સુધી તેમણે બધું મનાઈમાં છે એમ માનવું પડે, તેથી બગડેલી /robots.txt બધું ક્રૉલિંગ રોકી શકે છે.
ક્રૉલર જેનું પાલન કરતા નથી એવા નિયમો. Noindex: અને Crawl-delay: RFC 9309નો ભાગ નથી, અને Google બંનેને અવગણે છે.
robots.txt પેજને સર્ચમાંથી દૂર કરશે એવી અપેક્ષા. તે ક્રૉલિંગ રોકે છે, ઇન્ડેક્સિંગ નહીં: બ્લૉક થયેલું સરનામું તેના લખાણ વગર પણ યાદીમાં દેખાઈ શકે છે. પેજને ઇન્ડેક્સની બહાર રાખવા ક્રૉલિંગને મંજૂરી આપો અને noindex મેટા ટૅગ કે હેડર વાપરો.
ટ્રેનિંગ, સર્ચ અને યુઝર ક્રૉલર: દરેકને બ્લૉક કરવાથી શું થાય છે
ટ્રેનિંગ ક્રૉલરને બ્લૉક કરવું એ નીતિનો નિર્ણય છે. તે તમારાં પેજને ભવિષ્યના મૉડલ ટ્રેનિંગથી દૂર રાખે છે અને AI સર્ચ આજે તમને ટાંકી શકે કે નહીં તેના પર અસર કરતું નથી. OAI-SearchBot, Claude-SearchBot કે PerplexityBot જેવા સર્ચ ક્રૉલરને બ્લૉક કરવાથી તમારાં પેજ તે આસિસ્ટન્ટના જવાબોની બહાર રહે છે. Googlebot કે Bingbotને બ્લૉક કરવાથી તમે તે સર્ચ એન્જિનમાંથી અને તેમના પર બનેલાં AI ફીચરમાંથી બહાર થઈ જાઓ છો.
ChatGPT-User જેવા યુઝર એજન્ટ તમારું પેજ માગનાર વ્યક્તિ વતી કામ કરે છે. કેટલીક કંપનીઓ કહે છે કે આવી વિનંતીઓ માટે આ એજન્ટ robots.txtનું પાલન ન પણ કરે, તેથી તેમના માટેનો નિયમ વિનંતી છે, ગૅરંટી નહીં. જો તમારે ટ્રેનિંગ બંધ અને AI સર્ચ ચાલુ જોઈએ, તો ટ્રેનિંગ ટોકન બ્લૉક કરો અને સર્ચ તથા યુઝર ટોકનને અડશો નહીં.
પ્રકાશિત કરતાં પહેલાં ટેસ્ટ કરો, પછી ફરી ટેસ્ટ કરો
તમારો ડ્રાફ્ટ ટેસ્ટરમાં પેસ્ટ કરો, પ્રોડક્ટ કે કિંમતના પેજ જેવા મહત્ત્વના પેજનો પાથ દાખલ કરો અને તમારા માટે મહત્ત્વના દરેક ક્રૉલરની હરોળ વાંચો. તમે બ્લૉક કરવા માગતા હતા તે પાથ સાથે ફરી કરો. પરિણામો તમારા ઇરાદા સાથે મેળ ખાય ત્યારે ફાઇલ પ્રકાશિત કરો અને લાઇવ સરનામા સાથે ટેસ્ટર ફરી ચલાવો, જે સાબિત કરે છે કે સર્વર તમે એડિટ કરેલી ફાઇલ જ આપે છે.
ક્રૉલર robots.txt કૅશ કરે છે; ઉદાહરણ તરીકે, Google સામાન્ય રીતે 24 કલાકમાં પોતાની નકલ રિફ્રેશ કરે છે. ફેરફાર તેમના વર્તનમાં દેખાતાં એક દિવસ લાગી શકે છે, અને Google Search Consoleમાંનો robots.txt રિપોર્ટ Googleએ છેલ્લે મેળવેલી નકલ બતાવે છે.
robots.txt ક્રૉલરને મંજૂરી આપે છતાં તે બ્લૉક હોય ત્યારે
robots.txt ફક્ત વિનંતી છે. લોકોને પેજ મળતું હોય ત્યારે પણ ફાયરવૉલ, બૉટ પ્રોટેક્શન સેવા કે CDN નિયમ ક્રૉલરને 403 કે ચેલેન્જ પેજ આપી શકે છે. ટેસ્ટર તે જોઈ શકતો નથી, કારણ કે તે ફક્ત એક ફાઇલ વાંચે છે. પૂરી તપાસ તમારું પેજ દરેક ક્રૉલરના યુઝર એજન્ટ સાથે અને સાથે સામાન્ય બ્રાઉઝર તરીકે મેળવે છે અને કયા ક્રૉલરને અલગ જવાબ મળે છે તે HTTP સ્ટેટસ અને ફાયરવૉલની સિગ્નેચર સાથે બતાવે છે.
વારંવાર પૂછાતા પ્રશ્નો
શું આ Googleના robots.txt Tester જેવું જ છે?
ના. Googleએ 2023માં પોતાનો અલગ robots.txt Tester બંધ કર્યો; હવે Search Consoleમાંનો robots.txt રિપોર્ટ ફક્ત Googleના ક્રૉલર માટે Googleએ મેળવેલી ફાઇલ અને પાર્સિંગ એરર બતાવે છે. આ ટેસ્ટર એ જ RFC 9309 નિયમો એકસાથે 16 AI અને સર્ચ ક્રૉલર પર લાગુ કરે છે.
શું મંજૂરી છેનો અર્થ એ છે કે ક્રૉલર મારું પેજ વાંચશે કે ટાંકશે?
ના. તેનો અર્થ છે કે robots.txt તેની મનાઈ કરતી નથી. ક્રૉલરને પેજ મળે કે નહીં તે તમારા સર્વર અને ફાયરવૉલ પર આધાર રાખે છે, અને આસિસ્ટન્ટ તેને ટાંકે કે નહીં તે તમારા કન્ટેન્ટ અને પૂછેલા પ્રશ્ન પર આધાર રાખે છે.
કોઈ ક્રૉલર માટે "કોઈ નિયમ નથી" કેમ દેખાય છે?
તમારી ફાઇલમાં તેના ટોકન માટે કોઈ જૂથ નથી અને User-agent: * જૂથ પણ નથી, તેથી તેને કશું લાગુ પડતું નથી અને દરેક પાથને મંજૂરી છે.
શું હું હજી પ્રકાશિત ન થયેલી robots.txt ટેસ્ટ કરી શકું?
હા. લખાણ બીજા ફીલ્ડમાં પેસ્ટ કરો અને ટેસ્ટ કરવાનો પાથ દાખલ કરો. તમારી સાઇટ પરથી કશું મેળવવામાં આવતું નથી, અને પેસ્ટ કરેલું લખાણ સેવ થતું નથી.
શું ટેસ્ટર GPTBot કે બીજા ક્રૉલર તરીકે વિનંતીઓ મોકલે છે?
ના. તે ફક્ત તમારી robots.txt વાંચે છે અને નિયમો લાગુ કરે છે. દરેક ક્રૉલરને તમારા સર્વર પાસેથી ખરેખર શું મળે છે તે જોવા પૂરી તપાસ ચલાવો.
હું તેને કેટલી વાર વાપરી શકું?
તે મફત છે અને એકાઉન્ટની જરૂર નથી. તે બધા માટે ઉપલબ્ધ રહે તે માટે દરેક નેટવર્ક કલાકમાં મર્યાદિત સંખ્યામાં જ ટેસ્ટ ચલાવી શકે છે.