કયા AI ક્રૉલર તમારી સાઇટ વાંચી શકે તે પસંદ કરો અને બનેલી robots.txt કૉપિ કરો. સામાન્ય પસંદગી એ છે કે GPTBot અને ClaudeBot જેવા AI ટ્રેનિંગ ક્રૉલરને બ્લૉક કરવા પણ OAI-SearchBot અને PerplexityBot જેવા AI સર્ચ ક્રૉલરને મંજૂરી આપવી, જેથી તમારાં પેજ AI જવાબોમાં દેખાતાં રહે અને તેમનો હવાલો અપાતો રહે.
યુઝરની વિનંતીથી fetch કરતા એજન્ટને બ્લૉક કરવાની અસર મર્યાદિત છે: કેટલીક કંપનીઓ કહે છે કે આ એજન્ટ robots.txt કદાચ ન અનુસરે, કારણ કે પેજ કોઈ વ્યક્તિએ માંગ્યું છે. પ્રકાશિત કરતાં પહેલાં પરિણામ robots.txt ચેકરથી ચકાસો. AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર →
તેનો ઉપયોગ કેવી રીતે કરવો
ફાઇલ તમારા ડોમેનના root પર મૂકો (https://example.com/robots.txt). જો બીજા ક્રૉલર માટે તમારા નિયમો પહેલેથી હોય, તો તે રાખો અને ફક્ત AI જૂથો ઉમેરો. દરેક ક્રૉલર ફાઇલ ફરી વાંચે ત્યારે ફેરફારો લાગુ થાય છે, સામાન્ય રીતે એક દિવસમાં.
આ લખાણ અંગ્રેજીમાંથી મશીન દ્વારા અનુવાદિત થયું છે.
જનરેટર શું લખે છે
તમારી સાઇટ વાંચી શકે તેવા ક્રૉલર પર ટિક કરો અને જેમને બ્લૉક કરવા હોય તેમની ટિક કાઢો. જનરેટર દરેક બ્લૉક થયેલા ક્રૉલર માટે એક જૂથ ધરાવતી robots.txt લખે છે, User-agent: <token> અને પછી Disallow: /, પછી બાકી બધાને મંજૂરી આપતું છેલ્લું User-agent: * જૂથ. sitemapનું સરનામું ઉમેરો તો તે Sitemap લાઇન ઉમેરે છે. Content-Signal વિકલ્પો પર ટિક કરો તો તે તમારું કન્ટેન્ટ કેવી રીતે વાપરી શકાય તે જણાવતી Content-Signal લાઇન ઉમેરે છે.
તમારા બ્રાઉઝરમાંથી કશું બહાર જતું નથી: તમે ક્લિક કરો તેમ ફાઇલ પેજ પર જ બને છે, અને તમે તેને આઉટપુટ બૉક્સમાંથી કૉપિ કરો છો.
કયા પ્રીસેટથી શરૂ કરવું
બધાને મંજૂરી: દરેક ક્રૉલર દરેક પેજ વાંચી શકે છે. મળવા અને ટંકાવા માગતી મોટા ભાગની સાઇટ માટે યોગ્ય.
ટ્રેનિંગ બ્લૉક, AI સર્ચને મંજૂરી: GPTBot, ClaudeBot, CCBot અને Google-Extended જેવા ટ્રેનિંગ ક્રૉલર બ્લૉક થાય છે; OAI-SearchBot, Claude-SearchBot, PerplexityBot અને ChatGPT-User જેવા સર્ચ અને યુઝર ક્રૉલરને મંજૂરી રહે છે. તમારાં પેજ AI જવાબોમાં દેખાઈ અને ટંકાઈ શકે છે.
બધા AI ક્રૉલર બ્લૉક: યાદીમાંનો દરેક AI ક્રૉલર બ્લૉક થાય છે. તે ક્રૉલર AI જવાબો માટે તમારાં પેજ મેળવશે નહીં, જેનો અર્થ સામાન્ય રીતે આસિસ્ટન્ટ તરફથી ઓછા ઉલ્લેખ અને ઓછો ટ્રાફિક છે.
ઉદાહરણ: ટ્રેનિંગ બ્લૉક, AI સર્ચને મંજૂરી
દરેક બ્લૉક થયેલા ક્રૉલરનું પોતાનું જૂથ છે, તેથી તેનો Disallow: / ફક્ત તેને જ લાગુ પડે છે. OAI-SearchBot અને Googlebot સહિત બાકીના બધા ક્રૉલર User-agent: * પર પહોંચે છે અને બધું વાંચી શકે છે. Content-Signal લાઇન તેને વાંચતા ક્રૉલર માટે એ જ ઇરાદો ફરી જણાવે છે: સર્ચ અને રિયલ-ટાઇમ જવાબો હા, ટ્રેનિંગ ના.
બદલો નહીં, ભેગું કરો. જો તમારી હાલની robots.txtમાં ઍડમિન વિભાગ, કાર્ટ કે સર્ચ પેજ માટે નિયમો હોય, તો તેમને નવી ફાઇલના User-agent: * જૂથમાં કૉપિ કરો, નહીં તો તે વિભાગો બધા ક્રૉલર માટે ખુલ્લા થઈ જશે.
ફાઇલ દરેક હોસ્ટના રૂટમાં મૂકો: https://example.com/robots.txt. સબડોમેનને પોતાની ફાઇલ જોઈએ.
તેને સ્ટેટસ 200 સાથે સાદા ટેક્સ્ટ તરીકે આપો. તે સરનામે HTML પેજ કે એરર robots.txt તરીકે કામ કરતાં નથી.
પરિણામ robots.txt ટેસ્ટરમાં પેસ્ટ કરો અને તમારા માટે મહત્ત્વના ક્રૉલર માટે થોડા સાચા પાથ તપાસો.
યાદ રાખો કે robots.txt વિનંતી છે. તમે મંજૂરી આપેલા ક્રૉલરને ફાયરવૉલ બ્લૉક કરે, તો ફાઇલ તે સુધારી શકતી નથી; પૂરી તપાસ તે બતાવે છે.
સામાન્ય ભૂલો
ટ્રેનિંગ રોકવા OAI-SearchBot કે PerplexityBot બ્લૉક કરવા. તે સર્ચ ક્રૉલર છે; તેમને બ્લૉક કરવાથી તમે જવાબોમાંથી બહાર થઈ જાઓ છો.
તેમાંથી ફક્ત એકને બ્લૉક કરવો હોય ત્યારે એક Disallow: /ની ઉપર ઘણી User-agent લાઇનો લખવી: એક નીચે એક લખેલી લાઇનો એક જૂથ બનાવે છે.
ChatGPT-User જેવા યુઝરની વિનંતી પર પેજ મેળવતા fetchers બ્લૉકનું પાલન કરશે એવી અપેક્ષા. કેટલીક કંપનીઓ કહે છે કે કોઈ વ્યક્તિએ પેજ માગ્યું હોય ત્યારે આ એજન્ટ robots.txtનું પાલન ન પણ કરે.
Crawl-delay કે Noindex લાઇનો ઉમેરવી. તે RFC 9309નો ભાગ નથી અને Google બંનેને અવગણે છે.
વારંવાર પૂછાતા પ્રશ્નો
શું GPTBotને બ્લૉક કરવાથી મારી સાઇટ ChatGPTમાંથી દૂર થશે?
ના. GPTBot ટ્રેનિંગ ડેટા એકઠો કરે છે. ChatGPT સર્ચ OAI-SearchBot વાપરે છે, અને ChatGPT-User લોકોએ માગેલાં પેજ ખોલે છે. ટંકાવા માગતા હો તો તેમને મંજૂરી રાખો.
Content-Signal શું છે?
robots.txtમાંની એક લાઇન જે જણાવે છે કે તમારું કન્ટેન્ટ કેવી રીતે વાપરી શકાય: search, ai-input (રિયલ-ટાઇમ જવાબો) અને ai-train (ટ્રેનિંગ), દરેક હા કે ના. સપોર્ટ કંપની પ્રમાણે અલગ હોય છે; ક્રૉલર જે નિયમ પાળે છે તે ક્રૉલર-વિશિષ્ટ જૂથો જ રહે છે.
શું Google-Extended Google Searchને અસર કરે છે?
ના. તે ફક્ત robots.txtમાં વપરાતું ટોકન છે જે નિયંત્રિત કરે છે કે Google તમારાં પેજ તેના AI મૉડલ માટે વાપરી શકે કે નહીં; તે Google Searchમાં ક્રૉલિંગ કે રેન્કિંગ બદલતું નથી.
શું મારી પસંદગી ક્યાંય મોકલવામાં આવે છે?
ના. જનરેટર તમારા બ્રાઉઝરમાં ચાલે છે અને તમે ફાઇલ ટેસ્ટ કરવાનું પસંદ ન કરો ત્યાં સુધી અમારા સર્વરને કશું મોકલાતું નથી.