robots.txt OAI-SearchBotને મનાઈ કરે છે

ટૂંકો જવાબ

તમારી robots.txtમાં એવો Disallow નિયમ છે જે આ ક્રૉલરના ટોકન માટે આ પેજ સાથે મેળ ખાય છે. ઑડિટ RFC 9309 લાગુ કરે છે: ક્રૉલરનો પોતાનો ગ્રૂપ હોય તો તે, નહીં તો * ગ્રૂપ, અને સૌથી લાંબો મેળ ખાતો નિયમ જીતે છે. જો તમે ક્રૉલરને આવવા દેવા માગતા હો, તો તેના માટે Allow ઉમેરો અથવા નિયમ દૂર કરો.

robots.disallowed · પ્રાથમિકતા: P1–P3, ક્રૉલરના પ્રકાર મુજબ

તેનો અર્થ

તમારી robots.txtના નિયમો OAI-SearchBotને / મેળવતાં રોકે છે.

AI સર્ચ માટે તે કેમ મહત્ત્વનું છે

સારી રીતે વર્તતા AI ક્રૉલર robots.txtનું પાલન કરે છે. જો OAI-SearchBot, Claude-SearchBot કે PerplexityBotને મનાઈ હોય, તો પેજ તેમના સર્ચ index માટે મેળવાતું નથી, તેથી તેમના જવાબોમાં તે ટાંકી શકાતું નથી. GPTBot, ClaudeBot, Google-Extended કે Applebot-Extended જેવાં ટ્રેનિંગ ટોકનને મનાઈ કરવાથી ફક્ત મૉડલ ટ્રેનિંગ માટેનો ઉપયોગ અટકે છે.

ઘણી સાઇટ ભૂલથી AI ક્રૉલરને બ્લૉક કરે છે: Googlebot સિવાય બધું મનાઈ કરતું ટેમ્પ્લેટ, કે staging પરથી રહી ગયેલો Disallow: / સાથેનો User-agent: * ગ્રૂપ. ધ્યાન રાખો કે Applebotનો પોતાનો ગ્રૂપ ન હોય ત્યારે તે Googlebot ગ્રૂપ વાપરે છે.

તેને કેવી રીતે સુધારવું

  1. તારણમાં નિયમ શોધો: તે ક્રૉલર ટોકન અને પાથનું નામ આપે છે. AISeeWhy રિપોર્ટ પુરાવો અને પેસ્ટ કરવા તૈયાર સુધારો બતાવે છે; પરિણામની ખાતરી કરવા પછી "ફરી તપાસો" ચલાવો.
  2. પેજને મનાઈ કરતા દરેક ગ્રૂપમાંથી ક્રૉલરનું ટોકન દૂર કરો, પછી Allow: / સાથે તેનો પોતાનો ગ્રૂપ ઉમેરો. ચોક્કસ ગ્રૂપ એ ક્રૉલર માટે * ગ્રૂપની જગ્યા લે છે, તેથી * હેઠળના નિયમો હવે તેને લાગુ પડતા નથી.
  3. WordPress પર, તપાસો કે robots.txt web rootમાં સાચી ફાઇલ છે કે Yoast કે Rank Math જેવા SEO plugin દ્વારા બનાવાય છે, અને તેમાં જ ફેરફાર કરો. Shopify પર, robots.txt.liquid થીમ ટેમ્પ્લેટમાં ફેરફાર કરો.
  4. Cloudflare પર, તપાસો કે managed robots.txt સેટિંગ તમારી પોતાની ફાઇલ ઉપરાંત AI ક્રૉલરના નિયમો ઉમેરે છે કે નહીં.
  5. તમારી નીતિ હોય તો ટ્રેનિંગ ટોકનને મનાઈ રહેવા દો; અલગ ટોકન વાપરતા સર્ચ ક્રૉલરને તેની અસર થતી નથી.

ઉદાહરણ

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

સુધારાની ખાતરી કેવી રીતે કરવી

ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.

મારું પેજ તપાસો →

સંબંધિત માર્ગદર્શિકાઓ

બધાં તારણો અને સ્કોર કેવી રીતે ગણાય છે