અમે સૌથી લોકપ્રિય 10,000 સાઇટના robots.txt વાંચ્યા. AI ક્રોલર અંગે તેઓ આ કરે છે

પ્રકાશિત

ટૂંકો જવાબ

Tranco ટોચના 10,000 માંથી જે 6,192 ડોમેન robots.txt આપે છે, તેમાંથી 23.2% ઓછામાં ઓછું એક AI ટ્રેનિંગ ક્રોલર બ્લૉક કરે છે અને 12.3% ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર બ્લૉક કરે છે. ટ્રેનિંગ બ્લૉક કરનારી 51.6% સાઇટ AI સર્ચ પણ બ્લૉક કરે છે. માત્ર 11.2% સાઇટ દરેક AI સર્ચ ક્રોલરને મંજૂરી આપીને ટ્રેનિંગમાંથી બહાર રહે છે.

નવેમ્બરમાં અમે સૌથી લોકપ્રિય 1,000 ડોમેનના robots.txt વાંચ્યા હતા. આ વખતે એ જ પદ્ધતિથી 10,000 વાંચ્યા, અને સાઇટ નાની થતાં ચિત્ર કેવું બદલાય છે તે પણ તપાસ્યું. મુખ્ય તારણ યથાવત છે: ટ્રેનિંગ બ્લૉક કરવી અને સર્ચ બ્લૉક કરવી બે અલગ બાબતો હોવા છતાં તેને એક જ નિર્ણય ગણવામાં આવે છે.

આ પેજ પર
  1. અમે તે કેવી રીતે માપ્યું?
  2. અમને શું મળ્યું?
  3. કયા ક્રોલર સૌથી વધુ બ્લૉક થાય છે?
  4. શું મોટી સાઇટ વધુ બ્લૉક કરે છે?
  5. અમારા 12 નવેમ્બરના અહેવાલ પછી કંઈ બદલાયું છે?
  6. તમારા robots.txt માટે આનો શો અર્થ છે?
  7. આ આંકડા કેટલા વિશ્વસનીય છે?

અમે તે કેવી રીતે માપ્યું?

અમે Tranco યાદી (લિસ્ટ ID JZWZY) ના ટોચના 10,000 ડોમેન લીધા અને 21 નવેમ્બર 2026 ના રોજ AISeeWhy ના પોતાના યુઝર એજન્ટ તરીકે દરેક ડોમેનનું હોમ પેજ, robots.txt અને llms.txt એક વાર મેળવ્યાં. દરેક robots.txt ને અમે RFC 9309 મુજબ હોમ પેજ (/) અને 16 AI તથા સર્ચ ક્રોલર માટે ચકાસ્યું.

10,000 માંથી 6,192 ડોમેને robots.txt આપ્યું (સફળ જવાબ, જે HTML પેજ નથી). 1,121 એ 4xx આપ્યો, એટલે કોઈ નિયમ નથી અને દરેક ક્રોલરને મંજૂરી છે, અને 2,687 એ robots.txt આપ્યું જ નહીં (HTTPS સાઇટ નથી, ભૂલો, ટાઇમઆઉટ અથવા તેની જગ્યાએ HTML પેજ). નીચેની બધી ટકાવારી 6,192 ની છે. યાદીમાં CDN અને API પણ છે જે કોઈ વેબસાઇટ આપતા નથી.

અમને શું મળ્યું?

કયા ક્રોલર સૌથી વધુ બ્લૉક થાય છે?

જે 6,192 ડોમેનનું robots.txt તે ક્રોલર માટે હોમ પેજને મનાઈ કરે છે તેમનો હિસ્સો:

શું મોટી સાઇટ વધુ બ્લૉક કરે છે?

હા, અને તેઓ ટ્રેનિંગ અને સર્ચને વધુ વાર ભેળવી દે છે. અમે યાદીને રેન્ક પ્રમાણે વહેંચી:

પસંદગીયુક્ત માર્ગ દરેક કદમાં ભાગ્યે જ અપનાવાય છે: ત્રણેય જૂથોના ડોમેનમાં અનુક્રમે 10.5%, 10.4% અને 11.5%.

અમારા 12 નવેમ્બરના અહેવાલ પછી કંઈ બદલાયું છે?

અમે એ જ યાદી સાથે પ્રથમ 1,000 ડોમેન ફરી ચકાસ્યા. પરિણામ આશરે એક પોઇન્ટની અંદર સ્થિર છે: 28.6% ટ્રેનિંગ બ્લૉક કરે છે (12 નવેમ્બરે 29.9%), 18.6% AI સર્ચ બ્લૉક કરે છે (19.5%), અને ટ્રેનિંગ બ્લૉક કરનારાઓમાંથી 63.1% AI સર્ચ પણ બ્લૉક કરે છે (63.2%). ભાજકની સંખ્યા થોડી અલગ છે (હવે robots.txt ધરાવતા 560 ડોમેન, ત્યારે 518), કારણ કે આ વખતે ડોમેનને મેળવતાં પહેલાં તેના મુખ્ય હોસ્ટ પરના રીડાયરેક્ટને અનુસરવામાં આવ્યું છે.

તમારા robots.txt માટે આનો શો અર્થ છે?

મોટા ભાગની AI કંપનીઓ ટ્રેનિંગ અને સર્ચ માટે અલગ ક્રોલર દસ્તાવેજિત કરે છે અને કહે છે કે સેટિંગ સ્વતંત્ર છે. GPTBot ને મનાઈ કરવાથી OAI-SearchBot પર અસર થતી નથી, અને ClaudeBot ને મનાઈ કરવાથી Claude-SearchBot પર અસર થતી નથી. જો તમે ટ્રેનિંગમાંથી બહાર રહેવા માગતા હો અને છતાં ઉલ્લેખ પામવા માગતા હો, તો ટ્રેનિંગ ટોકન બ્લૉક કરો અને સર્ચ તથા યુઝર ટોકનને મંજૂરી આપો, અને ખાનગી પાથ દરેક ગ્રૂપમાં ફરીથી લખો, કારણ કે નામવાળું ગ્રૂપ * પાસેથી કંઈ વારસામાં લેતું નથી.

આ આંકડા કેટલા વિશ્વસનીય છે?

આ હોમ પેજ માટેના robots.txt નિયમો છે, જે એક દિવસે એક પાર્સરથી વાંચવામાં આવ્યા. તેમાં ફાયરવોલ બ્લૉક માપવામાં આવ્યા નથી, જે robots.txt માં મંજૂર ક્રોલરને પણ નકારી શકે છે. દરેક સાઇટનો ઇરાદો શો હતો તે તેમાંથી કહી શકાય નહીં, અને Tranco યાદીમાં એવા ડોમેન પણ છે જે કોઈ વેબસાઇટ આપતા નથી. સર્ચ ક્રોલરને બ્લૉક કરતો નિયમ ભૂલનો પુરાવો નથી, માત્ર એવી પસંદગીનો પુરાવો છે જે ઘણી વાર ફરક જાણ્યા વિના કરવામાં આવે છે. તમે આ પેજની લિંક સાથે આ આંકડા ટાંકી શકો છો.

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

લોકપ્રિય સાઇટનો કેટલો હિસ્સો AI ક્રોલર બ્લૉક કરે છે?

Tranco ટોચના 10,000 માંથી robots.txt આપતા 6,192 ડોમેનમાં, 23.2% ઓછામાં ઓછું એક AI ટ્રેનિંગ ક્રોલર બ્લૉક કરે છે અને 12.3% ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર બ્લૉક કરે છે.

જે સાઇટ AI ટ્રેનિંગ બ્લૉક કરે છે તે AI સર્ચ પણ બ્લૉક કરે છે?

ઘણી વાર. ટ્રેનિંગ ક્રોલર બ્લૉક કરનારી 51.6% સાઇટ ઓછામાં ઓછું એક AI સર્ચ કે યુઝર ક્રોલર પણ બ્લૉક કરે છે, જોકે વેન્ડરો તેમને સ્વતંત્ર સેટિંગવાળા અલગ ક્રોલર તરીકે દસ્તાવેજિત કરે છે.

કયું AI ક્રોલર સૌથી વધુ બ્લૉક થાય છે?

ટ્રેનિંગ ક્રોલરમાં Bytespider (18.7%) અને CCBot (18.5%), પછી GPTBot (17.4%). AI સર્ચ ક્રોલરમાં PerplexityBot સૌથી વધુ બ્લૉક થાય છે, 10.4% ડોમેન પર.

તમારા 1,000 સાઇટના અહેવાલ કરતાં આંકડા કેમ અલગ છે?

પ્રથમ 1,000 ડોમેન લગભગ સરખી ટકાવારી આપે છે (29.9% અને 19.5% સામે 28.6% અને 18.6%). 10,000 સાઇટના આંકડા ઓછા છે કારણ કે નાની સાઇટ ઓછું બ્લૉક કરે છે.

સ્રોતો

વધુ લેખો