AI ક્રૉલર માટે robots.txt જનરેટર

કયા AI ક્રૉલર તમારી સાઇટ વાંચી શકે તે પસંદ કરો અને બનેલી robots.txt કૉપિ કરો. સામાન્ય પસંદગી એ છે કે GPTBot અને ClaudeBot જેવા AI ટ્રેનિંગ ક્રૉલરને બ્લૉક કરવા પણ OAI-SearchBot અને PerplexityBot જેવા AI સર્ચ ક્રૉલરને મંજૂરી આપવી, જેથી તમારાં પેજ AI જવાબોમાં દેખાતાં રહે અને તેમનો હવાલો અપાતો રહે.

આનાથી શરૂ કરો
AI ટ્રેનિંગ
AI સર્ચ
યુઝરની વિનંતીથી fetch
Content-Signal (વૈકલ્પિક): તમે જેની મંજૂરી આપો છો તે પર ટિક કરો

યુઝરની વિનંતીથી fetch કરતા એજન્ટને બ્લૉક કરવાની અસર મર્યાદિત છે: કેટલીક કંપનીઓ કહે છે કે આ એજન્ટ robots.txt કદાચ ન અનુસરે, કારણ કે પેજ કોઈ વ્યક્તિએ માંગ્યું છે. પ્રકાશિત કરતાં પહેલાં પરિણામ robots.txt ચેકરથી ચકાસો. AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર →

તેનો ઉપયોગ કેવી રીતે કરવો

ફાઇલ તમારા ડોમેનના root પર મૂકો (https://example.com/robots.txt). જો બીજા ક્રૉલર માટે તમારા નિયમો પહેલેથી હોય, તો તે રાખો અને ફક્ત AI જૂથો ઉમેરો. દરેક ક્રૉલર ફાઇલ ફરી વાંચે ત્યારે ફેરફારો લાગુ થાય છે, સામાન્ય રીતે એક દિવસમાં.

પૂરી તપાસ ચલાવો →

માર્ગદર્શિકા

robots.txt જનરેટર કેવી રીતે વાપરવું

આ લખાણ અંગ્રેજીમાંથી મશીન દ્વારા અનુવાદિત થયું છે.

જનરેટર શું લખે છે

તમારી સાઇટ વાંચી શકે તેવા ક્રૉલર પર ટિક કરો અને જેમને બ્લૉક કરવા હોય તેમની ટિક કાઢો. જનરેટર દરેક બ્લૉક થયેલા ક્રૉલર માટે એક જૂથ ધરાવતી robots.txt લખે છે, User-agent: <token> અને પછી Disallow: /, પછી બાકી બધાને મંજૂરી આપતું છેલ્લું User-agent: * જૂથ. sitemapનું સરનામું ઉમેરો તો તે Sitemap લાઇન ઉમેરે છે. Content-Signal વિકલ્પો પર ટિક કરો તો તે તમારું કન્ટેન્ટ કેવી રીતે વાપરી શકાય તે જણાવતી Content-Signal લાઇન ઉમેરે છે.

તમારા બ્રાઉઝરમાંથી કશું બહાર જતું નથી: તમે ક્લિક કરો તેમ ફાઇલ પેજ પર જ બને છે, અને તમે તેને આઉટપુટ બૉક્સમાંથી કૉપિ કરો છો.

કયા પ્રીસેટથી શરૂ કરવું

ઉદાહરણ: ટ્રેનિંગ બ્લૉક, AI સર્ચને મંજૂરી

દરેક બ્લૉક થયેલા ક્રૉલરનું પોતાનું જૂથ છે, તેથી તેનો Disallow: / ફક્ત તેને જ લાગુ પડે છે. OAI-SearchBot અને Googlebot સહિત બાકીના બધા ક્રૉલર User-agent: * પર પહોંચે છે અને બધું વાંચી શકે છે. Content-Signal લાઇન તેને વાંચતા ક્રૉલર માટે એ જ ઇરાદો ફરી જણાવે છે: સર્ચ અને રિયલ-ટાઇમ જવાબો હા, ટ્રેનિંગ ના.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

પ્રકાશિત કરતાં પહેલાં

સામાન્ય ભૂલો

વારંવાર પૂછાતા પ્રશ્નો

શું GPTBotને બ્લૉક કરવાથી મારી સાઇટ ChatGPTમાંથી દૂર થશે?

ના. GPTBot ટ્રેનિંગ ડેટા એકઠો કરે છે. ChatGPT સર્ચ OAI-SearchBot વાપરે છે, અને ChatGPT-User લોકોએ માગેલાં પેજ ખોલે છે. ટંકાવા માગતા હો તો તેમને મંજૂરી રાખો.

Content-Signal શું છે?

robots.txtમાંની એક લાઇન જે જણાવે છે કે તમારું કન્ટેન્ટ કેવી રીતે વાપરી શકાય: search, ai-input (રિયલ-ટાઇમ જવાબો) અને ai-train (ટ્રેનિંગ), દરેક હા કે ના. સપોર્ટ કંપની પ્રમાણે અલગ હોય છે; ક્રૉલર જે નિયમ પાળે છે તે ક્રૉલર-વિશિષ્ટ જૂથો જ રહે છે.

શું Google-Extended Google Searchને અસર કરે છે?

ના. તે ફક્ત robots.txtમાં વપરાતું ટોકન છે જે નિયંત્રિત કરે છે કે Google તમારાં પેજ તેના AI મૉડલ માટે વાપરી શકે કે નહીં; તે Google Searchમાં ક્રૉલિંગ કે રેન્કિંગ બદલતું નથી.

શું મારી પસંદગી ક્યાંય મોકલવામાં આવે છે?

ના. જનરેટર તમારા બ્રાઉઝરમાં ચાલે છે અને તમે ફાઇલ ટેસ્ટ કરવાનું પસંદ ન કરો ત્યાં સુધી અમારા સર્વરને કશું મોકલાતું નથી.

સંબંધિત ટૂલ અને માર્ગદર્શિકાઓ