robots.txt GPTBotને મંજૂરી આપે છે, પણ સર્વર તેને બ્લૉક કરે છે

ટૂંકો જવાબ

તમારી robots.txt આ ક્રૉલરને પેજ મેળવવાની મંજૂરી આપે છે, પણ તેના યુઝર એજન્ટવાળી વિનંતી સર્વર, CDN કે ફાયરવૉલે બ્લૉક કરી. જાહેર કરેલી નીતિ અને સાચું વર્તન મેળ ખાતાં નથી. ફાયરવૉલના નિયમને robots.txt મુજબ બદલો, અથવા જો તમે ક્રૉલરને બ્લૉક કરવા માગતા હો તો robots.txtમાં તેને મનાઈ કરો.

robots.access_conflict · પ્રાથમિકતા: P1–P3, ક્રૉલરના પ્રકાર મુજબ

તેનો અર્થ

તમારા નિયમો GPTBotને આવવા દે છે, છતાં તેના યુઝર એજન્ટવાળી વિનંતી બ્લૉક થઈ. ફાયરવૉલ કે CDN તમારી જાહેર કરેલી નીતિને ઓવરરાઇડ કરે છે.

AI સર્ચ માટે તે કેમ મહત્ત્વનું છે

ક્રૉલર robots.txtને તમારી નીતિ ગણે છે. જ્યારે તે હા કહે અને સર્વર 403 કહે, ત્યારે ક્રૉલર વિનંતીઓ વેડફે છે, પછીથી ફરી પ્રયાસ કરી શકે છે, અને પેજ છતાં જવાબ એન્જિનના indexમાં પહોંચતું નથી. ટીમો ઘણી વાર માને છે કે તેઓ AI સર્ચને આવવા દે છે કારણ કે robots.txt એમ કહે છે, જ્યારે કોઈ બૉટ નિયમ ચૂપચાપ તેને બ્લૉક કરે છે.

તપાસ ચકાસણી વગરના IP સરનામા પરથી ચાલે છે. જે નિયમ ક્રૉલરને ફક્ત તેની પ્રકાશિત IP રેન્જમાંથી જ આવવા દે છે, જે યોગ્ય સેટઅપ છે, તે પણ અહીં દેખાઈ શકે છે, ભલે સાચો ક્રૉલર અંદર આવી શકતો હોય. કંઈ બદલતાં પહેલાં કયો નિયમ લાગુ પડ્યો તે તપાસો.

તેને કેવી રીતે સુધારવું

  1. તારણમાં robots.txt ગ્રૂપ અને બ્લૉક થયેલી વિનંતીનું સ્ટેટસ સરખાવો. AISeeWhy રિપોર્ટ પુરાવો અને પેસ્ટ કરવા તૈયાર સુધારો બતાવે છે; પરિણામની ખાતરી કરવા પછી "ફરી તપાસો" ચલાવો.
  2. વિનંતી બ્લૉક કરનાર નિયમ શોધો: Cloudflare પર Security → Events અને AI Crawl Control તથા Bot Fight Mode સેટિંગ તપાસો; બીજા CDN પર bot management લૉગ તપાસો.
  3. જો તમે ક્રૉલરને આવવા દેવા માગતા હો, તો તેના માટે અપવાદ ઉમેરો; જો બહાર રાખવા માગતા હો, તો તેના ટોકન માટે Disallow ગ્રૂપ ઉમેરો, જેથી તમારી નીતિ એક જ જગ્યાએ જાહેર થાય.

સુધારાની ખાતરી કેવી રીતે કરવી

ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.

મારું પેજ તપાસો →

સંબંધિત માર્ગદર્શિકાઓ

બધાં તારણો અને સ્કોર કેવી રીતે ગણાય છે