અમે સૌથી લોકપ્રિય 10,000 સાઇટના robots.txt વાંચ્યા. AI ક્રોલર અંગે તેઓ આ કરે છે
Tranco ટોચના 10,000 માંથી જે 6,192 ડોમેન robots.txt આપે છે, તેમાંથી 23.2% ઓછામાં ઓછું એક AI ટ્રેનિંગ ક્રોલર બ્લૉક કરે છે અને 12.3% ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર બ્લૉક કરે છે. ટ્રેનિંગ બ્લૉક કરનારી 51.6% સાઇટ AI સર્ચ પણ બ્લૉક કરે છે. માત્ર 11.2% સાઇટ દરેક AI સર્ચ ક્રોલરને મંજૂરી આપીને ટ્રેનિંગમાંથી બહાર રહે છે.
નવેમ્બરમાં અમે સૌથી લોકપ્રિય 1,000 ડોમેનના robots.txt વાંચ્યા હતા. આ વખતે એ જ પદ્ધતિથી 10,000 વાંચ્યા, અને સાઇટ નાની થતાં ચિત્ર કેવું બદલાય છે તે પણ તપાસ્યું. મુખ્ય તારણ યથાવત છે: ટ્રેનિંગ બ્લૉક કરવી અને સર્ચ બ્લૉક કરવી બે અલગ બાબતો હોવા છતાં તેને એક જ નિર્ણય ગણવામાં આવે છે.
આ પેજ પર
અમે તે કેવી રીતે માપ્યું?
અમે Tranco યાદી (લિસ્ટ ID JZWZY) ના ટોચના 10,000 ડોમેન લીધા અને 21 નવેમ્બર 2026 ના રોજ AISeeWhy ના પોતાના યુઝર એજન્ટ તરીકે દરેક ડોમેનનું હોમ પેજ, robots.txt અને llms.txt એક વાર મેળવ્યાં. દરેક robots.txt ને અમે RFC 9309 મુજબ હોમ પેજ (/) અને 16 AI તથા સર્ચ ક્રોલર માટે ચકાસ્યું.
10,000 માંથી 6,192 ડોમેને robots.txt આપ્યું (સફળ જવાબ, જે HTML પેજ નથી). 1,121 એ 4xx આપ્યો, એટલે કોઈ નિયમ નથી અને દરેક ક્રોલરને મંજૂરી છે, અને 2,687 એ robots.txt આપ્યું જ નહીં (HTTPS સાઇટ નથી, ભૂલો, ટાઇમઆઉટ અથવા તેની જગ્યાએ HTML પેજ). નીચેની બધી ટકાવારી 6,192 ની છે. યાદીમાં CDN અને API પણ છે જે કોઈ વેબસાઇટ આપતા નથી.
અમને શું મળ્યું?
- 23.2% (1,437 ડોમેન) ઓછામાં ઓછું એક AI ટ્રેનિંગ ક્રોલર બ્લૉક કરે છે.
- 12.3% (762) ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર બ્લૉક કરે છે, એટલે તેના પર આધારિત જવાબોમાં આ પેજનો ઉપયોગ કે ઉલ્લેખ થવો જોઈએ નહીં.
- ટ્રેનિંગ ક્રોલર બ્લૉક કરનારા ડોમેનમાંથી 51.6% (1,437 માંથી 742) ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર પણ બ્લૉક કરે છે.
- માત્ર 11.2% (695) પસંદગીયુક્ત માર્ગ અપનાવે છે: તેઓ ટ્રેનિંગ ક્રોલર બ્લૉક કરે છે અને દરેક AI સર્ચ તથા યુઝર ક્રોલરને મંજૂરી આપે છે.
- 6.5% (401) પોતાની AI પસંદગીઓ
Content-Signalથી જણાવે છે. - બધા 10,000 ડોમેનમાંથી 12.4% (1,240)
llms.txtપ્રકાશિત કરે છે. - સરખામણી માટે, 2.0% (124) હોમ પેજ પર
Googlebotને બ્લૉક કરે છે.
કયા ક્રોલર સૌથી વધુ બ્લૉક થાય છે?
જે 6,192 ડોમેનનું robots.txt તે ક્રોલર માટે હોમ પેજને મનાઈ કરે છે તેમનો હિસ્સો:
- ટ્રેનિંગ ક્રોલર:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%. - ટ્રેનિંગ ક્રોલર:
Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%. PerplexityBot10.4% સાથે સૌથી વધુ બ્લૉક થતું AI સર્ચ ક્રોલર છે, તેની પાછળOAI-SearchBot7.0% અનેClaude-SearchBot7.0% છે.- વ્યક્તિ પૂછે ત્યારે પેજ ખોલતા ક્રોલર:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%.
શું મોટી સાઇટ વધુ બ્લૉક કરે છે?
હા, અને તેઓ ટ્રેનિંગ અને સર્ચને વધુ વાર ભેળવી દે છે. અમે યાદીને રેન્ક પ્રમાણે વહેંચી:
- રેન્ક 1 થી 1,000 (robots.txt ધરાવતા 560 ડોમેન): 28.6% ટ્રેનિંગ બ્લૉક કરે છે, 18.6% AI સર્ચ બ્લૉક કરે છે, અને ટ્રેનિંગ બ્લૉક કરનારાઓમાંથી 63.1% AI સર્ચ પણ બ્લૉક કરે છે.
- રેન્ક 1,001 થી 3,000 (1,256 ડોમેન): 23.5%, 13.5% અને 55.6%.
- રેન્ક 3,001 થી 10,000 (4,376 ડોમેન): 22.4%, 11.2% અને 48.6%.
પસંદગીયુક્ત માર્ગ દરેક કદમાં ભાગ્યે જ અપનાવાય છે: ત્રણેય જૂથોના ડોમેનમાં અનુક્રમે 10.5%, 10.4% અને 11.5%.
અમારા 12 નવેમ્બરના અહેવાલ પછી કંઈ બદલાયું છે?
અમે એ જ યાદી સાથે પ્રથમ 1,000 ડોમેન ફરી ચકાસ્યા. પરિણામ આશરે એક પોઇન્ટની અંદર સ્થિર છે: 28.6% ટ્રેનિંગ બ્લૉક કરે છે (12 નવેમ્બરે 29.9%), 18.6% AI સર્ચ બ્લૉક કરે છે (19.5%), અને ટ્રેનિંગ બ્લૉક કરનારાઓમાંથી 63.1% AI સર્ચ પણ બ્લૉક કરે છે (63.2%). ભાજકની સંખ્યા થોડી અલગ છે (હવે robots.txt ધરાવતા 560 ડોમેન, ત્યારે 518), કારણ કે આ વખતે ડોમેનને મેળવતાં પહેલાં તેના મુખ્ય હોસ્ટ પરના રીડાયરેક્ટને અનુસરવામાં આવ્યું છે.
તમારા robots.txt માટે આનો શો અર્થ છે?
મોટા ભાગની AI કંપનીઓ ટ્રેનિંગ અને સર્ચ માટે અલગ ક્રોલર દસ્તાવેજિત કરે છે અને કહે છે કે સેટિંગ સ્વતંત્ર છે. GPTBot ને મનાઈ કરવાથી OAI-SearchBot પર અસર થતી નથી, અને ClaudeBot ને મનાઈ કરવાથી Claude-SearchBot પર અસર થતી નથી. જો તમે ટ્રેનિંગમાંથી બહાર રહેવા માગતા હો અને છતાં ઉલ્લેખ પામવા માગતા હો, તો ટ્રેનિંગ ટોકન બ્લૉક કરો અને સર્ચ તથા યુઝર ટોકનને મંજૂરી આપો, અને ખાનગી પાથ દરેક ગ્રૂપમાં ફરીથી લખો, કારણ કે નામવાળું ગ્રૂપ * પાસેથી કંઈ વારસામાં લેતું નથી.
આ આંકડા કેટલા વિશ્વસનીય છે?
આ હોમ પેજ માટેના robots.txt નિયમો છે, જે એક દિવસે એક પાર્સરથી વાંચવામાં આવ્યા. તેમાં ફાયરવોલ બ્લૉક માપવામાં આવ્યા નથી, જે robots.txt માં મંજૂર ક્રોલરને પણ નકારી શકે છે. દરેક સાઇટનો ઇરાદો શો હતો તે તેમાંથી કહી શકાય નહીં, અને Tranco યાદીમાં એવા ડોમેન પણ છે જે કોઈ વેબસાઇટ આપતા નથી. સર્ચ ક્રોલરને બ્લૉક કરતો નિયમ ભૂલનો પુરાવો નથી, માત્ર એવી પસંદગીનો પુરાવો છે જે ઘણી વાર ફરક જાણ્યા વિના કરવામાં આવે છે. તમે આ પેજની લિંક સાથે આ આંકડા ટાંકી શકો છો.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- llms.txt ચેકર અને વેલિડેટર
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
લોકપ્રિય સાઇટનો કેટલો હિસ્સો AI ક્રોલર બ્લૉક કરે છે?
Tranco ટોચના 10,000 માંથી robots.txt આપતા 6,192 ડોમેનમાં, 23.2% ઓછામાં ઓછું એક AI ટ્રેનિંગ ક્રોલર બ્લૉક કરે છે અને 12.3% ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર બ્લૉક કરે છે.
જે સાઇટ AI ટ્રેનિંગ બ્લૉક કરે છે તે AI સર્ચ પણ બ્લૉક કરે છે?
ઘણી વાર. ટ્રેનિંગ ક્રોલર બ્લૉક કરનારી 51.6% સાઇટ ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર પણ બ્લૉક કરે છે, જોકે વેન્ડરો તેમને સ્વતંત્ર સેટિંગવાળા અલગ ક્રોલર તરીકે દસ્તાવેજિત કરે છે.
કયું AI ક્રોલર સૌથી વધુ બ્લૉક થાય છે?
ટ્રેનિંગ ક્રોલરમાં Bytespider (18.7%) અને CCBot (18.5%), પછી GPTBot (17.4%). AI સર્ચ ક્રોલરમાં PerplexityBot સૌથી વધુ બ્લૉક થાય છે, 10.4% ડોમેન પર.
તમારા 1,000 સાઇટના અહેવાલ કરતાં આંકડા કેમ અલગ છે?
પ્રથમ 1,000 ડોમેન લગભગ સરખી ટકાવારી આપે છે (29.9% અને 19.5% સામે 28.6% અને 18.6%). 10,000 સાઇટના આંકડા ઓછા છે કારણ કે નાની સાઇટ ઓછું બ્લૉક કરે છે.
સ્રોતો
- AISeeWhy: AI ક્રોલર એક્સેસ રિપોર્ટ, 2026-11
- Tranco: સંશોધન-કેન્દ્રિત ટોચની સાઇટ્સનું રેન્કિંગ
- RFC 9309: રોબોટ્સ એક્સક્લુઝન પ્રોટોકોલ
- OpenAI: OpenAI ક્રોલરનો પરિચય
- Anthropic: શું Anthropic વેબ પરથી ડેટા ક્રોલ કરે છે, અને સાઇટ માલિકો ક્રોલરને કેવી રીતે બ્લૉક કરી શકે?
- Perplexity: Perplexity ક્રોલર