દસમાંથી ચાર બિઝનેસ વેબસાઇટ્સ AI ક્રૉલર્સને પાછા કાઢે છે
US, UK અને ફ્રાન્સની 165 બિઝનેસ વેબસાઇટ્સના અમારા ઑડિટમાં, 38% એ સર્વર પર ઓછામાં ઓછા એક AI ક્રૉલરને પાછો કાઢ્યો, લગભગ હંમેશાં ટ્રેનિંગ કે સ્ક્રેપર બૉટને. લગભગ દસમાંથી એક સાઇટે PerplexityBot કે OAI-SearchBot જેવા AI સર્ચ ક્રૉલરને પણ નકાર્યો, જે ક્રૉલર્સ ટાંકવામાં આવે તેવું કરી શકે છે. દરેક ક્રૉલર માટે એક વિનંતીથી તમારી સાઇટ તપાસો.
તમે ChatGPT ને તમારા પોતાના પ્રોડક્ટ વિશે પૂછો અને તે એક હરીફ, એક રિવ્યૂ સાઇટ અને એક ફોરમ થ્રેડનું નામ આપે છે. ક્યારેક એ સામગ્રીનો પ્રશ્ન હોય છે. ઘણી વાર એ ફાયરવૉલ છે જે AI ક્રૉલર્સને ના કહે છે, અને તમારી ટીમમાં કોઈએ તે જોયું નથી કારણ કે સાઇટ બ્રાઉઝરમાં ચાલે છે.
આ પેજ પર
અમે શું ટેસ્ટ કર્યું?
અમે એ જ સરનામાંથી એક પેજ ઘણી વાર મંગાવીએ છીએ: એક વાર સામાન્ય બ્રાઉઝર તરીકે, અને પછી 14 AI અને સર્ચ ક્રૉલર્સ તરીકે એક-એક વાર, જેમાં OpenAI ના GPTBot, OAI-SearchBot અને ChatGPT-User, Anthropic ના ClaudeBot અને Claude-SearchBot, અને Perplexity ના PerplexityBot સામેલ છે. જો બ્રાઉઝરને પેજ મળે અને ક્રૉલરને 401, 403, 406, 429, 451, 503 કે ચેલેન્જ પેજ મળે, તો સાઇટ તે ક્રૉલરને પાછો કાઢી રહી છે.
નમૂનામાં US, UK અને ફ્રાન્સની 218 બિઝનેસ વેબસાઇટ્સ છે, જેનું ઑડિટ 18 થી 21 નવેમ્બર 2026 દરમિયાન થયું. 165 પર અમે આખો ટેસ્ટ ચલાવી શક્યા. બાકીની 53 એ અમારી સાદી બ્રાઉઝર વિનંતી પણ નકારી કે જવાબ આપ્યો નહીં, તેથી અનુમાન કરવાને બદલે અમે તેમને બહાર રાખી.
અમને શું મળ્યું?
- ટેસ્ટ થઈ શકે તેવી સાઇટ્સમાંથી 38% (165 માંથી 63) એ ઓછામાં ઓછા એક AI ક્રૉલરને પાછો કાઢ્યો.
- એમાંની દરેક સાઇટે ઓછામાં ઓછા એક ટ્રેનિંગ કે સ્ક્રેપર ક્રૉલરને નકાર્યો.
Bytespiderને બધી સાઇટ્સમાંથી 35% એ,ClaudeBotને 13% એ અનેGPTBotને 11% એ નકાર્યો. - 10% સાઇટ્સ (16) એ ઓછામાં ઓછા એક AI સર્ચ ક્રૉલરને પણ નકાર્યો, અને 5% (8) એ એવા ક્રૉલરને નકાર્યો જે કોઈ વ્યક્તિ અસિસ્ટન્ટને પૂછે ત્યારે પેજ લાઇવ ખોલે છે.
- સૌથી મહત્ત્વના સર્ચ ક્રૉલર્સ
PerplexityBot(11 સાઇટ્સ) અનેOAI-SearchBot(5 સાઇટ્સ) હતા. - અમે ટેસ્ટ કરેલા કોઈ પણ ક્રૉલરને નકારનાર 66 સાઇટ્સમાંથી 32 પાછળ Cloudflare હતું. બીજી 30 માટે કયા ફાયરવૉલે જવાબ આપ્યો તે અમે કહી શક્યા નહીં.
આવું કેમ થાય છે, અને ક્યારે એ પસંદગી હોય છે?
આમાંનું ઘણું કદાચ ઇરાદાપૂર્વકનું છે. ઘણા માલિકો નથી ઇચ્છતા કે તેમની સામગ્રી મૉડલ્સને ટ્રેન કરવામાં વપરાય, અને સ્ક્રેપર્સને અટકાવતી બૉટ-પ્રોટેક્શન સેટિંગ્સ ચાલુ કરવી સહેલી છે. એ યોગ્ય પસંદગી છે.
મુશ્કેલી એ છે કે AI કંપનીઓ ટ્રેનિંગ માટે અને સર્ચ માટે અલગ ક્રૉલર્સ ચલાવે છે. ટ્રેનિંગ ક્રૉલરને રોકવા માટે સર્ચ ક્રૉલરને રોકવું જરૂરી નથી, અને જવાબમાં તમારું પેજ ટાંકવામાં આવે તેવું સર્ચ ક્રૉલર જ કરી શકે છે.
શું સૌથી મોટી સાઇટ્સ વધુ સારું કરે છે?
ખરેખર નહીં. સૌથી લોકપ્રિય 1,000 ડોમેન્સ પરના અમારા robots.txt રિપોર્ટમાં, robots.txt ધરાવતી સાઇટ્સમાંથી 29.9% ઓછામાં ઓછા એક AI ટ્રેનિંગ ક્રૉલરને બ્લૉક કરે છે, અને તેમાંથી 63.2% ઓછામાં ઓછા એક AI સર્ચ કે યુઝર ક્રૉલરને પણ બ્લૉક કરે છે. ફક્ત 11.0% ટ્રેનિંગ બ્લૉક કરે છે અને દરેક AI સર્ચ ક્રૉલરને મંજૂરી આપે છે, જે સેટઅપ મોટા ભાગનાએ કદાચ ઇચ્છ્યું હતું.
મારી પોતાની સાઇટ દસ મિનિટમાં કેવી રીતે તપાસું?
yoursite.com/robots.txtખોલો. તમને જે AI ક્રૉલર્સની ચિંતા છે તે દરેક માટે જુઓ કે કોઈ ગ્રૂપ તેનું નામ લે છે કે નહીં અને ગ્રૂપ શું કહે છે. ક્રૉલરનું નામ લેતું ગ્રૂપ સામાન્ય*ગ્રૂપને પૂરેપૂરું બદલી નાખે છે.- ફાઇલ શું કહે છે તે નહીં, સર્વર શું કરે છે તે ટેસ્ટ કરો. તમારું મુખ્ય પેજ બ્રાઉઝર તરીકે અને ક્રૉલર તરીકે મંગાવો. 403, 429,
Just a moment...શીર્ષકવાળું પેજ, કે બ્રાઉઝરના જવાબ કરતાં ઘણો નાનો જવાબ એ ફાયરવૉલ બ્લૉકની નિશાની છે. - અસિસ્ટન્ટને પૂછો. સર્ચ ચાલુ રાખીને ChatGPT કે Perplexity ને તમારા ખરીદદારો પૂછે તેવા પ્રશ્નો પૂછો અને જુઓ કે તે કઈ સાઇટ્સ ટાંકે છે. જો પ્રવેશ બરાબર હોય અને છતાં તમે ગેરહાજર હો, તો સમસ્યા પ્રવેશની નહીં, સામગ્રીની છે.
આ આંકડા કેટલા વિશ્વસનીય છે?
તેમને વસ્તી ગણતરી નહીં, એક પેટર્ન ગણો. નમૂનો રેન્ડમ નથી: આ કંપનીઓ જાહેરાત લાઇબ્રેરી, જૉબ બોર્ડ અને નકશા લિસ્ટિંગ દ્વારા મળી છે. અમે એક સરનામાંથી user agent દ્વારા ટેસ્ટ કરીએ છીએ, જ્યારે અસલી ક્રૉલર્સ તેમના વેન્ડર્સે પ્રકાશિત કરેલા સરનામાંથી આવે છે, તેથી કેટલાક ફાયરવૉલ અસલી ક્રૉલર્સ સાથે અલગ વર્તન કરશે. અને બ્લૉક હંમેશાં ભૂલ હોતી નથી.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
કેટલી વેબસાઇટ્સ AI ક્રૉલર્સને બ્લૉક કરે છે?
ટેસ્ટ થઈ શકે તેવી 165 બિઝનેસ વેબસાઇટ્સના અમારા ઑડિટમાં, 38% એ સર્વર પર ઓછામાં ઓછા એક AI ક્રૉલરને પાછો કાઢ્યો, મોટે ભાગે ટ્રેનિંગ અને સ્ક્રેપર બૉટ્સને. લગભગ 10% એ AI સર્ચ ક્રૉલરને પણ નકાર્યો.
GPTBot ને બ્લૉક કરવાથી મારી સાઇટ ChatGPT સર્ચમાંથી બહાર રહે છે?
ના. OpenAI કહે છે કે તેના ક્રૉલર્સ માટેની દરેક robots.txt સેટિંગ સ્વતંત્ર છે: GPTBot ટ્રેનિંગ સાથે સંબંધિત છે, OAI-SearchBot ChatGPT સર્ચ સાથે. એકને બ્લૉક કરવાથી બીજું બ્લૉક થતું નથી.
robots.txt વિના સાઇટ ક્રૉલરને કેવી રીતે બ્લૉક કરી શકે?
ફાયરવૉલ, CDN કે બૉટ-પ્રોટેક્શન નિયમ ક્રૉલરને 403, 429 કે ચેલેન્જ પેજથી જવાબ આપી શકે છે. robots.txt આ ક્યારેય બતાવતું નથી, તેથી પેજને ક્રૉલર તરીકે મંગાવીને તે ટેસ્ટ કરવું પડે છે.
ક્રૉલરને પાછો કાઢવો હંમેશાં ભૂલ હોય છે?
ના. ઘણા માલિકો ટ્રેનિંગ ક્રૉલર્સ અને સ્ક્રેપર્સને દૂર રાખવા માંગે છે. ભૂલ એ છે કે અકસ્માતે સર્ચ ક્રૉલર્સને બ્લૉક કરી દેવા, કારણ કે તમારું પેજ ટાંકવાનું કામ તેઓ જ કરી શકે છે.
સ્રોતો
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)