તમારા સર્વર લૉગમાંથી IP સરનામું પેસ્ટ કરો અને જુઓ કે તે કોઈ ક્રૉલરની સત્તાવાર રીતે પ્રકાશિત IP રેન્જમાં છે કે નહીં. પોતાને GPTBot કે PerplexityBot કહેતી પણ બીજા સરનામેથી આવતી વિનંતી એ ક્રૉલર નથી, અને AI જવાબોમાં દૃશ્યતા ગુમાવ્યા વગર તમે તેને બ્લૉક કરી શકો છો.
કયા ક્રૉલર પોતાનાં IP સરનામાં પ્રકાશિત કરે છે?
OpenAI, Perplexity, Google, Microsoft અને Apple પોતાના ક્રૉલરની IP રેન્જ JSON ફાઇલો તરીકે પ્રકાશિત કરે છે, જે અમે દરરોજ વાંચીએ છીએ. કેટલીક બીજી AI કંપનીઓ રેન્જ પ્રકાશિત કરતી નથી; તેમના માટે reverse DNS કે કંપનીના દસ્તાવેજ જ એકમાત્ર તપાસ છે. લૉગમાંની દરેક AI ક્રૉલર મુલાકાત એકસાથે જોવા, તમારા AISeeWhy એકાઉન્ટમાં લૉગ અપલોડ કરો.
આ લખાણ અંગ્રેજીમાંથી મશીન દ્વારા અનુવાદિત થયું છે.
આ IP તપાસ શું કરે છે
તમારા સર્વર કે ફાયરવૉલ લૉગમાંથી એક IPv4 કે IPv6 સરનામું પેસ્ટ કરો. તપાસ તેને ક્રૉલર ચલાવતી કંપનીઓ પોતે પ્રકાશિત કરે છે તે IP રેન્જમાં શોધે છે: GPTBot, OAI-SearchBot અને ChatGPT-User માટે OpenAI, PerplexityBot અને Perplexity-User માટે Perplexity, Googlebot માટે Google, Bingbot માટે Microsoft અને Applebot માટે Apple. અમે તે પ્રકાશિત યાદીઓ દરરોજ વાંચીએ છીએ. જવાબમાં એ દરેક ક્રૉલરનું નામ હોય છે જેની રેન્જમાં આ સરનામું છે, અથવા જણાવે છે કે કોઈની રેન્જમાં નથી.
પરિણામ કેવી રીતે વાંચવું
ક્રૉલરની પ્રકાશિત રેન્જમાં: વિનંતી તે કંપનીના નેટવર્કમાંથી આવી હતી. મેળ ખાતા યુઝર એજન્ટ સાથે, તે સાચો ક્રૉલર હતો તેનો મજબૂત પુરાવો છે.
કોઈ પ્રકાશિત રેન્જમાં નથી: જો વિનંતીએ યાદીમાંના ક્રૉલરમાંથી એક હોવાનો દાવો કર્યો હોય, તો તે એવો નહોતો. બીજા કોઈએ નામ વાપર્યું, અને AI જવાબોમાં દૃશ્યતા ગુમાવ્યા વગર તમે તે સરનામું બ્લૉક કરી શકો છો.
આની સાથે સરખામણી કરી: જે ક્રૉલરની રેન્જ સરખાવાઈ તેમની યાદી. આ યાદીમાં ન હોય તેવા ક્રૉલરની અહીં પુષ્ટિ થઈ શકતી નથી કે તેને નકારી શકાતો નથી.
કોઈ પણ GPTBot હોવાનો દાવો કેમ કરી શકે છે
યુઝર એજન્ટ એ ક્લાયન્ટ મોકલે છે તે લખાણની એક લાઇન છે, અને કોઈ પણ તેમાં GPTBot કે Googlebot લખી શકે છે. સાદાં ફિલ્ટર પાર કરવા સ્ક્રેપર આવું કરે છે. એટલે જ ફક્ત યુઝર એજન્ટ જોતા ફાયરવૉલ બંને દિશામાં છેતરાઈ શકે છે: તે નકલી ક્રૉલરને અંદર આવવા દે છે, અથવા નકલી ક્રૉલર સામે લખેલો નિયમ સાચાને પણ બ્લૉક કરે છે. IP સરનામાને કંપનીની પ્રકાશિત યાદી સાથે મેળવવું એ જ તેમને અલગ પાડવાની રીત છે.
જે ક્રૉલરની કંપનીઓ અમે વાંચીએ છીએ એવી રેન્જ પ્રકાશિત નથી કરતી, તેમના માટે કંપનીનું પોતાનું દસ્તાવેજીકરણ વાપરો. Google, Microsoft અને Apple DNS તપાસને પણ સપોર્ટ કરે છે: સરનામાનું હોસ્ટ નામ શોધો, તપાસો કે તે googlebot.com, google.com, search.msn.com કે applebot.apple.com જેવા કંપનીના ડોમેનથી પૂરું થાય છે, પછી તે હોસ્ટ નામ ફરી શોધો અને ખાતરી કરો કે તે એ જ સરનામું આપે છે.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
સામાન્ય ભૂલો
નકલી ક્રૉલરનો દુરુપયોગ જોઈને ક્રૉલરને નામથી બ્લૉક કરવો. તેના બદલે દુરુપયોગ કરતાં સરનામાં બ્લૉક કરો, નહીં તો સાચો ક્રૉલર પણ ગુમાવશો.
યુઝર એજન્ટમાં GPTBot હોય તેવી કોઈ પણ વિનંતીને મંજૂરી આપવી. તમારા ફાયરવૉલ નિયમમાં યુઝર એજન્ટ સાથે પ્રકાશિત રેન્જ પણ જોડો.
પ્રૉક્સીનું સરનામું તપાસવું. CDN કે લોડ બૅલેન્સરની પાછળ તમારો સર્વર મુલાકાતીને બદલે પ્રૉક્સીને લૉગ કરી શકે છે; ક્લાયન્ટનું સરનામું ધરાવતું હેડર વાપરો.
રેન્જની જૂની નકલ રાખવી. કંપનીઓ તેમને બદલે છે; મહિનાઓ જૂની યાદી પરથી બનાવેલા નિયમો સાચા ક્રૉલરને બ્લૉક કરી શકે છે.
એક સરનામાથી આખા લૉગ સુધી
આ તપાસ એક સમયે એક સરનામાનો જવાબ આપે છે. તમારા AISeeWhy એકાઉન્ટમાં, પેઇડ પ્લાન પરની સર્વર-લૉગ તપાસ આખો ઍક્સેસ લૉગ વાંચે છે, દરેક AI ક્રૉલરની મુલાકાતો ગણે છે, આ પ્રકાશિત રેન્જ વડે સાચા ક્રૉલરને ઢોંગીઓથી અલગ પાડે છે અને તમારા સર્વરે તેમને કેવો જવાબ આપ્યો તે બતાવે છે.
વારંવાર પૂછાતા પ્રશ્નો
શું આ તપાસમાં ClaudeBot દેખાય છે?
હાલમાં નહીં: તપાસમાં તે ક્રૉલર આવરી લેવાય છે જેમની પ્રકાશિત રેન્જ ફાઇલો અમે વાંચીએ છીએ, અને તે પરિણામની નીચે આપેલા છે. બીજા ક્રૉલર માટે કંપનીનું દસ્તાવેજીકરણ અનુસરો.
સરનામું Googlebotની રેન્જમાં છે પણ યુઝર એજન્ટ કંઈક બીજું કહે છે. તેનો અર્થ શું છે?
વિનંતી Googleના નેટવર્કમાંથી આવી હતી. Google ઘણા ક્રૉલર અને fetchers ચલાવે છે; કયો તે યુઝર એજન્ટ જણાવે છે. તે Google હોવાનો ઢોંગ કરતો ત્રીજો પક્ષ નહોતો.
શું હું એકસાથે ઘણાં સરનામાં તપાસી શકું?
આ મફત ટૂલથી નહીં. તેની દરેક મુલાકાત તપાસવા લૉગ તમારા એકાઉન્ટમાં અપલોડ કરો.
શું હું દાખલ કરું તે સરનામું સંગ્રહાય છે?
તે તપાસનો જવાબ આપવા વપરાય છે અને તમારી વિનંતી સાથે સેવ થતું નથી.