વેબસાઇટ AI ક્રૉલરને બ્લૉક કરે છે કે નહીં, કેવી રીતે તપાસવું
કોઈપણ સરનામું પેસ્ટ કરો અને જુઓ કે તે GPTBot, ClaudeBot, PerplexityBot અને બીજા AI ક્રૉલરને બ્લૉક કરે છે કે નહીં: robots.txtમાં, ફાયરવૉલમાં, કે બંનેમાં.
મફત · સાઇન-અપ નહીં · 30 સેકંડમાં પરિણામ
કયા ક્રૉલર બ્લૉક છે
ટ્રેનિંગ, સર્ચ અને યુઝર ક્રૉલર અલગ અલગ બતાવવામાં આવે છે, કારણ કે GPTBot બ્લૉક કરવાથી OAI-SearchBot બ્લૉક થતો નથી, અને ClaudeBot બ્લૉક કરવાથી Claude-SearchBot બ્લૉક થતો નથી.
નિર્ણય કરતી લાઇન
દરેક ક્રૉલર માટે robots.txt RFC 9309ના નિયમો મુજબ વાંચવામાં આવે છે: તેનું નામ આપતો ગ્રૂપ, અથવા ફૉલબૅક તરીકે User-agent: *, અને જે નિયમ લાગુ પડે છે તે.
ફાયરવૉલની મનાઈ
પેજ 14 ક્રૉલર તરીકે અને સામાન્ય બ્રાઉઝર તરીકે મંગાવવામાં આવે છે. બ્લૉક અને ચેલેન્જ પેજ ચિહ્નિત થાય છે અને જવાબ આપનાર ફાયરવૉલનું નામ બતાવવામાં આવે છે.
દરેક તારણ માટે ઉકેલ
દરેક તારણ સાથે કરવાનો ફેરફાર આપવામાં આવે છે. મફત તપાસમાં તમારો સ્કોર અને પહેલું તારણ દેખાય છે; સંપૂર્ણ રિપોર્ટ $29 છે, એક જ વાર.
સાઇટ AI ક્રૉલરને બે જગ્યાએ બ્લૉક કરી શકે છે: robots.txtમાં, જે ક્રૉલરને દૂર રહેવા વિનંતી કરે છે, અને સર્વર કે ફાયરવૉલમાં, જે તેમને ખરેખર નકારે છે. robots.txtમાં દરેક ક્રૉલરનો ટોકન શોધો, ન મળે તો User-agent: * જુઓ, પછી પેજને ક્રૉલર તરીકે મેળવો અને બ્રાઉઝરને મળેલા પેજ સાથે સરખાવો. એક બ્રાઉઝર એક્સ્ટેન્શન 16 AI ક્રૉલર માટે robots.txtવાળો ભાગ એક ક્લિકમાં કરી આપે છે.
3 પગલાંમાં જાતે તપાસો
- ક્રૉલર પસંદ કરો
દરેક AI કંપની અલગ અલગ ક્રૉલર ચલાવે છે. ટ્રેનિંગ:
GPTBot,ClaudeBot. સર્ચ:OAI-SearchBot,Claude-SearchBot,PerplexityBot. વ્યક્તિની વિનંતી પર:ChatGPT-User,Claude-User,Perplexity-User. - તેના માટે robots.txt વાંચો
https://example.com/robots.txtખોલો અને ક્રૉલરનું નામ આપતો ગ્રૂપ શોધો. એવો કોઈ ગ્રૂપ ન હોય તોUser-agent: *ગ્રૂપ લાગુ પડે છે; બંને ન હોય તો બધું મંજૂર છે. - ક્રૉલર તરીકે પેજ મેળવો
ક્રૉલરના યુઝર એજન્ટથી પેજ મંગાવો અને સ્ટેટસ તથા સાઇઝને બ્રાઉઝરના પરિણામ સાથે સરખાવો. 403, ચેલેન્જ પેજ, અથવા ઘણું નાનું 200 એટલે ફાયરવૉલ તેને નકારે છે.
વારંવાર પૂછાતા પ્રશ્નો
શું robots.txt વગરની સાઇટ AI ક્રૉલર માટે ખુલ્લી છે?
હા, robots.txtની દૃષ્ટિએ. robots.txt માટે 404 એટલે કોઈ નિયમ નથી, તેથી દરેક ક્રૉલર દરેક પેજ મેળવી શકે છે. છતાં ફાયરવૉલ ક્રૉલરને બ્લૉક કરી શકે છે.
શું એક્સ્ટેન્શન ફાયરવૉલના બ્લૉક બતાવે છે?
ના. તે તમારા બ્રાઉઝરમાંથી robots.txt વાંચે છે, જે બતાવે છે કે સાઇટ ક્રૉલરને શું કરવા કહે છે. ફાયરવૉલ અને બૉટ સુરક્ષાના બ્લૉક જોવા ક્રૉલર તરીકે મોકલેલી વિનંતી જોઈએ, અને એ કામ aiseewhy.com પરની સંપૂર્ણ તપાસ કરે છે.
શું હું એવી સાઇટ તપાસી શકું જે મારી નથી?
હા. robots.txt જાહેર છે, અને એક્સ્ટેન્શન સાઇટે પ્રકાશિત કરેલી માત્ર robots.txt અને llms.txt ફાઇલો વાંચે છે, એ જ ફાઇલો જે દરેક ક્રૉલર વાંચે છે.
સંપૂર્ણ માર્ગદર્શિકા વાંચો
કોઈ ફેરફાર પછી તમે તમારી પોતાની સાઇટ તપાસી રહ્યા હો કે કોઈ બીજાની સાઇટ પર આધાર રાખતાં પહેલાં તેને જોઈ રહ્યા હો, “શું આ સાઇટ AI ક્રૉલરને બ્લૉક કરે છે?” આ પ્રશ્નનો ચોક્કસ જવાબ હોય છે. જવાબ એ વાત પર આધાર રાખે છે કે તમે કયા ક્રૉલરની વાત કરો છો, કારણ કે AI કંપનીઓ ટ્રેનિંગ, સર્ચ અને સીધી મુલાકાતો માટે અલગ અલગ ક્રૉલર ચલાવે છે, અને સાઇટ દરેક સાથે જુદું વર્તન કરી શકે છે. આ માર્ગદર્શિકા સૌથી ઝડપીથી લઈને સૌથી સંપૂર્ણ સુધીની ત્રણ તપાસ બતાવે છે.
સાઇટ AI ક્રૉલરને ક્યાં બ્લૉક કરી શકે છે?
ત્રણ સ્તર હોય છે, અને પેજનો ઉપયોગ કરવા ક્રૉલરે ત્રણેય પાર કરવા પડે છે.
- robots.txt: નિયમોની એક જાહેર ફાઇલ, જે નિયમ પાળતા ક્રૉલર કંઈ પણ મેળવતાં પહેલાં વાંચે છે. તે એક વિનંતી છે, તાળું નથી.
- સર્વર, CDN કે ફાયરવૉલ: ખરેખર શું પાછું મોકલવું તે આ નક્કી કરે છે. robots.txt મંજૂરી આપે તોપણ બૉટ સુરક્ષાનો કોઈ નિયમ ક્રૉલરને 403, 429 કે ચેલેન્જ પેજ આપી શકે છે.
- પેજ પોતે: જો મુખ્ય લખાણ JavaScript ચાલ્યા પછી જ દેખાય, તો શરૂઆતનું HTML વાંચતા ક્રૉલરને લગભગ ખાલી પેજ મળે છે, ભલે તેને કોઈએ બ્લૉક ન કર્યો હોય.
મોટાભાગની ઝડપી તપાસ માત્ર પહેલો સ્તર જુએ છે. શરૂઆત માટે એ સારું છે, બસ બાકીના બે સ્તર યાદ રાખો.
એક AI ક્રૉલર માટે robots.txt કેવી રીતે વાંચવી?
બ્રાઉઝરમાં https://example.com/robots.txt ખોલો અને તે ક્રૉલરને લાગુ પડતું જૂથ શોધો. જૂથ એક કે વધુ User-agent લાઇનથી શરૂ થાય છે. ક્રૉલર એ જૂથ વાપરે છે જેમાં તેના ટોકનનું નામ હોય, જેમ કે GPTBot; મેળ કરતી વખતે નાના-મોટા અક્ષરનો ફરક પડતો નથી. જો કોઈ જૂથમાં તેનું નામ ન હોય, તો તે User-agent: * જૂથ વાપરે છે. બેમાંથી એકેય ન હોય, તો બધું મંજૂર છે.
જૂથની અંદર સૌથી લાંબા મેળ ખાતા પાથવાળો નિયમ લાગુ પડે છે, અને Allow અને Disallow સરખા લાંબા હોય ત્યારે Allow લાગુ પડે છે. એટલે નીચેની ફાઇલ GPTBotને આખી સાઇટ પરથી બ્લૉક કરે છે, પણ બીજા દરેક ક્રૉલરને અંદર આવવા દે છે:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / ફાઇલ કેવી રીતે જવાબ આપે છે તે પણ જુઓ. RFC 9309 મુજબ 404 એટલે કોઈ નિયમ નથી, તેથી બધું મંજૂર છે. સર્વર એરર (5xx) કે કોઈ જવાબ ન મળે તો ક્રૉલરે આખી સાઇટને મનાઈવાળી ગણવી પડે છે. robots.txtના સરનામે HTML પેજ પાછું આવવું એ સામાન્ય ભૂલ છે: ક્રૉલરને તેમાં કોઈ માન્ય નિયમ મળતા નથી.
બધા AI ક્રૉલર એક સાથે કેવી રીતે તપાસવા?
એકથી વધુ ક્રૉલરની ચિંતા હોય ત્યારે ફાઇલ હાથે વાંચવી ધીમી પડે છે. દરેક AI કંપની જુદાં જુદાં કામ માટે ઘણા ક્રૉલર ચલાવે છે:
- ટ્રેનિંગ ક્રૉલર મૉડલની ટ્રેનિંગ માટે કન્ટેન્ટ એકઠું કરે છે:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, ઉપરાંતGoogle-ExtendedઅનેApplebot-Extendedટોકન, જે ફક્ત robots.txtમાં દેખાય છે. - સર્ચ ક્રૉલર પેજને ઇન્ડેક્સ કરે છે, જેથી AI જવાબો તેમને ટાંકી શકે:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - યુઝર ક્રૉલર ત્યારે પેજ મેળવે છે જ્યારે કોઈ વ્યક્તિ આસિસ્ટન્ટને એમ કરવા કહે:
ChatGPT-User,Claude-User,Perplexity-User.
Chrome માટેનું મફત AI ક્રૉલર ચેકર એક્સ્ટેન્શન આ કામ એક ક્લિકમાં કરે છે. કોઈ પણ પેજ ખોલો, આઇકન પર ક્લિક કરો, અને તે એ સાઇટની robots.txt વાંચીને 16 ક્રૉલરમાંથી દરેક માટે બતાવે છે કે પેજને મંજૂરી છે કે નહીં અને કઈ લાઇન એ નક્કી કરે છે. તે Content-Signal પસંદગીઓ, સાઇટ પર llms.txt છે કે નહીં, અને robots.txtમાં આપેલા સાઇટમૅપ પણ બતાવે છે. તે તમારા બ્રાઉઝરમાં ચાલે છે, એકાઉન્ટની જરૂર નથી, અને તમે જે સાઇટ પર ક્લિક કરો માત્ર તે જ વાંચે છે.
Chrome વગર, aiseewhy.com પરનું મફત robots.txt ચેકર તમે પેસ્ટ કરેલા URL માટે એ જ જવાબ આપે છે.
ફાયરવૉલ તેમને અંદર આવવા દે છે કે નહીં, કેવી રીતે તપાસવું?
robots.txt બતાવે છે કે સાઇટ શું માંગે છે. ક્રૉલરને ખરેખર શું મળે છે તે જોવા પેજ બે વાર માંગો, એક વાર બ્રાઉઝર તરીકે અને એક વાર ક્રૉલરના યુઝર એજન્ટ સાથે, અને સ્ટેટસ કોડ તથા જવાબના કદની સરખામણી કરો:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page જો બ્રાઉઝરને 200 મળે અને ક્રૉલરને 403, 429 કે 503, અથવા ઘણું નાનું પેજ મળે, તો ફાયરવૉલ કે બૉટ સુરક્ષા ક્રૉલર સાથે જુદું વર્તન કરે છે. દરેક બહારની તપાસની એક મર્યાદા છે: વિનંતી તમારા નેટવર્કથી જાય છે, AI કંપનીના નેટવર્કથી નહીં. જે ફાયરવૉલ ક્રૉલરને તેમના પ્રકાશિત IP સરનામાં પરથી ઓળખીને ભરોસો કરે છે, તે અસલી ક્રૉલર સાથે જુદું વર્તન કરી શકે છે, તેથી છેલ્લો નિર્ણય તમારા સર્વર લૉગનો હોય છે.
aiseewhy.com પરની સંપૂર્ણ તપાસ પેજને અસલી બ્રાઉઝરની સાથે સાથે બધા 16 ક્રૉલર તરીકે મેળવે છે, ક્રૉલરને બ્લૉક કરતા ફાયરવૉલ કે નિયમનું નામ આપે છે, અને દરેકને મળેલા લખાણની સરખામણી કરે છે.
કયું પરિણામ લક્ષ્ય રાખવું?
એ તમે શું ઇચ્છો છો તેના પર આધાર રાખે છે. જો તમે ChatGPT સર્ચ, Claude અને Perplexityમાં ટંકાવા માંગતા હો, તો સર્ચ અને યુઝર ક્રૉલરને robots.txtમાં મંજૂરી હોવી જોઈએ અને સર્વર પાસેથી તેમને અસલી પેજ મળવું જોઈએ. જો તમે નથી ઇચ્છતા કે તમારું કન્ટેન્ટ ટ્રેનિંગમાં વપરાય, તો ફક્ત ટ્રેનિંગ ટોકન બ્લૉક કરો. આ અલગ નિર્ણયો છે: GPTBot બ્લૉક કરવાથી OAI-SearchBot બ્લૉક થતો નથી, અને ClaudeBot બ્લૉક કરવાથી Claude-SearchBot બ્લૉક થતો નથી.
ઘણી સાઇટ આ બંનેને ભેળવી દે છે. 1,000 સૌથી લોકપ્રિય ડોમેન પરના અમારા નવેમ્બર 2026ના અહેવાલમાં, ટ્રેનિંગ ક્રૉલર બ્લૉક કરતી 63% સાઇટ ઓછામાં ઓછો એક AI સર્ચ કે યુઝર ક્રૉલર પણ બ્લૉક કરે છે, જેના કારણે તેમનાં પેજ એ AI જવાબોની બહાર રહી જાય છે.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- llms.txt ચેકર અને વેલિડેટર
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
સ્રોતો
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ક્રૉલરની ઝાંખી
- Anthropic: શું Anthropic વેબ પરથી ડેટા ક્રૉલ કરે છે, અને સાઇટ માલિકો ક્રૉલરને કેવી રીતે બ્લૉક કરી શકે?
- Perplexity: Perplexity ક્રૉલર
- Google: સામાન્ય ક્રૉલર, Google-Extended સહિત
- AISeeWhy: AI ક્રૉલર ઍક્સેસ અહેવાલ, 2026-11