GPTBotને ખાલી પેજ મળે છે
ક્રૉલરને સ્ટેટસ 200 મળ્યું, પણ સાચું પેજ નહીં. તેનું દેખાતું લખાણ બ્રાઉઝરને મળેલા લખાણના 15%થી ઓછું છે, અથવા તેમાં "access denied" કે "are you a robot" જેવું બ્લૉકનું વાક્ય છે જે બ્રાઉઝરના પેજમાં નથી. આ ખાલી પેજ આપતો બૉટ નિયમ શોધો અને ક્રૉલરને આખું પેજ જોવા દો.
તેનો અર્થ
GPTBot યુઝર એજન્ટવાળી વિનંતીને સ્ટેટસ 200 મળ્યું, પણ પેજનું લખાણ બ્લૉકની સૂચના છે અથવા બ્રાઉઝરને મળે છે તેના કરતાં ઘણું ટૂંકું છે.
AI સર્ચ માટે તે કેમ મહત્ત્વનું છે
soft block 403 કરતાં પકડવો વધુ મુશ્કેલ છે, કારણ કે લૉગ અને uptime મોનિટર 200 બતાવે છે. ક્રૉલરને જે લખાણ મળે તે જ સાચવે છે, તેથી જવાબ એન્જિન તમારા કન્ટેન્ટને બદલે "enable JavaScript and cookies" કહેતું પેજ index કરી શકે છે, અથવા પેજને પાતળું ગણીને પડતું મૂકી શકે છે.
આ તપાસ ત્યારે જ ચાલે છે જ્યારે બ્રાઉઝર વર્ઝનમાં ઓછામાં ઓછા 200 અક્ષરનું લખાણ હોય. બંને જવાબ એક જ સર્વર પરથી થોડી ક્ષણના અંતરે મેળવાય છે, તેથી લખાણમાં મોટો તફાવત નેટવર્ક કે કન્ટેન્ટ બદલાવાથી નહીં, પણ તમારી સિસ્ટમ ક્રૉલરના યુઝર એજન્ટ સાથે કેવું વર્તન કરે છે તેનાથી આવે છે.
તેને કેવી રીતે સુધારવું
- રિપોર્ટના પુરાવામાં લખાણની લંબાઈ અને મળેલું વાક્ય બ્રાઉઝર વર્ઝન સાથે સરખાવો. AISeeWhy રિપોર્ટ પુરાવો અને પેસ્ટ કરવા તૈયાર સુધારો બતાવે છે; પરિણામની ખાતરી કરવા પછી "ફરી તપાસો" ચલાવો.
- એવાં bot-management ફીચર શોધો જે ભૂલને બદલે વચગાળાનું પેજ આપે છે: Cloudflareનાં challenge કે JavaScript detection પેજ, Imperva અને Akamaiનાં બૉટ પેજ, કે "verify you are human" plugin.
- બૉટને અલગ ટેમ્પ્લેટ આપતા dynamic rendering કે cache નિયમો તપાસો, અને અજાણ્યા મુલાકાતીઓ માટે પેજ બદલી નાખતાં A/B ટેસ્ટિંગ કે geo ટૂલ પણ તપાસો.
- ખાલી પેજ આપતા નિયમમાં ક્રૉલર માટે અપવાદ ઉમેરો, અને તમારું પ્લેટફૉર્મ ટેકો આપે ત્યાં IP રેન્જ કે reverse DNSથી ચકાસો.
સુધારાની ખાતરી કેવી રીતે કરવી
ફેરફાર પછી રિપોર્ટ પર "ફરી તપાસો" દબાવો: તે બતાવે છે કે શું સુધર્યું અને સ્કોર કેવી રીતે બદલાયો.