robots.txt OAI-SearchBotને મનાઈ કરે છે
તમારી robots.txtમાં એવો Disallow નિયમ છે જે આ ક્રૉલરના ટોકન માટે આ પેજ સાથે મેળ ખાય છે. ઑડિટ RFC 9309 લાગુ કરે છે: ક્રૉલરનો પોતાનો ગ્રૂપ હોય તો તે, નહીં તો * ગ્રૂપ, અને સૌથી લાંબો મેળ ખાતો નિયમ જીતે છે. જો તમે ક્રૉલરને આવવા દેવા માગતા હો, તો તેના માટે Allow ઉમેરો અથવા નિયમ દૂર કરો.
તેનો અર્થ
તમારી robots.txtના નિયમો OAI-SearchBotને / મેળવતાં રોકે છે.
AI સર્ચ માટે તે કેમ મહત્ત્વનું છે
સારી રીતે વર્તતા AI ક્રૉલર robots.txtનું પાલન કરે છે. જો OAI-SearchBot, Claude-SearchBot કે PerplexityBotને મનાઈ હોય, તો પેજ તેમના સર્ચ index માટે મેળવાતું નથી, તેથી તેમના જવાબોમાં તે ટાંકી શકાતું નથી. GPTBot, ClaudeBot, Google-Extended કે Applebot-Extended જેવાં ટ્રેનિંગ ટોકનને મનાઈ કરવાથી ફક્ત મૉડલ ટ્રેનિંગ માટેનો ઉપયોગ અટકે છે.
ઘણી સાઇટ ભૂલથી AI ક્રૉલરને બ્લૉક કરે છે: Googlebot સિવાય બધું મનાઈ કરતું ટેમ્પ્લેટ, કે staging પરથી રહી ગયેલો Disallow: / સાથેનો User-agent: * ગ્રૂપ. ધ્યાન રાખો કે Applebotનો પોતાનો ગ્રૂપ ન હોય ત્યારે તે Googlebot ગ્રૂપ વાપરે છે.
તેને કેવી રીતે સુધારવું
- તારણમાં નિયમ શોધો: તે ક્રૉલર ટોકન અને પાથનું નામ આપે છે. AISeeWhy રિપોર્ટ પુરાવો અને પેસ્ટ કરવા તૈયાર સુધારો બતાવે છે; પરિણામની ખાતરી કરવા પછી "ફરી તપાસો" ચલાવો.
- પેજને મનાઈ કરતા દરેક ગ્રૂપમાંથી ક્રૉલરનું ટોકન દૂર કરો, પછી
Allow: /સાથે તેનો પોતાનો ગ્રૂપ ઉમેરો. ચોક્કસ ગ્રૂપ એ ક્રૉલર માટે*ગ્રૂપની જગ્યા લે છે, તેથી*હેઠળના નિયમો હવે તેને લાગુ પડતા નથી. - WordPress પર, તપાસો કે robots.txt web rootમાં સાચી ફાઇલ છે કે Yoast કે Rank Math જેવા SEO plugin દ્વારા બનાવાય છે, અને તેમાં જ ફેરફાર કરો. Shopify પર,
robots.txt.liquidથીમ ટેમ્પ્લેટમાં ફેરફાર કરો. - Cloudflare પર, તપાસો કે managed robots.txt સેટિંગ તમારી પોતાની ફાઇલ ઉપરાંત AI ક્રૉલરના નિયમો ઉમેરે છે કે નહીં.
- તમારી નીતિ હોય તો ટ્રેનિંગ ટોકનને મનાઈ રહેવા દો; અલગ ટોકન વાપરતા સર્ચ ક્રૉલરને તેની અસર થતી નથી.
ઉદાહરણ
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / સુધારાની ખાતરી કેવી રીતે કરવી
ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.