શું Cloudflare AI ક્રૉલરને બ્લૉક કરે છે? કેવી રીતે જાણવું અને સુધારવું
લગભગ 30 સેકન્ડમાં જુઓ કે Cloudflare કે બીજું ફાયરવૉલ AI ક્રૉલરને બ્લૉકથી જવાબ આપે છે કે નહીં, અને યોગ્ય ક્રૉલરને પસાર થવા દેતો નિયમ મેળવો.
મફત · સાઇન-અપ નહીં · 30 સેકંડમાં પરિણામ
403, 429 અને ચેલેન્જ પેજ
ક્રૉલરને બ્લૉક કે Just a moment... પેજ મળી શકે છે, જ્યારે તમારા બ્રાઉઝરને સાચું પેજ મળે છે. તમારું પેજ બંને રીતે મંગાવવામાં આવે છે અને તફાવત ચિહ્નિત થાય છે.
robots.txt વિરુદ્ધ ફાયરવૉલ
robots.txt ક્રૉલરને મંજૂરી આપે પણ સર્વર તેને નકારે, ત્યારે રિપોર્ટ એ વિરોધાભાસ બતાવે છે, જેથી તમને ખબર પડે કે કયું સેટિંગ બદલવું.
ફાયરવૉલનું નામ
જવાબ આપનાર CDN કે ફાયરવૉલનું નામ બતાવવામાં આવે છે, Cloudflare સહિત, જેથી ક્યાં જોવું તેનો અંદાજ લગાવવો પડે નહીં.
લાગુ કરવાનો નિયમ
દરેક તારણ સાથે ઉકેલ આપવામાં આવે છે, જેમ કે Cloudflare નિયમ કે allowlist પગલું. મફત તપાસમાં તમારો સ્કોર અને પહેલું તારણ દેખાય છે; સંપૂર્ણ રિપોર્ટ $29 છે, એક જ વાર.
robots.txt ક્રૉલરને મંજૂરી આપે ત્યારે પણ Cloudflare અને બીજાં ફાયરવૉલ AI ક્રૉલરને 403, 429 કે "Just a moment..." ચેલેન્જ પેજ આપી શકે છે, જ્યારે બ્રાઉઝરને સાચું પેજ મળે છે. ક્રૉલરના યુઝર એજન્ટથી પેજ મંગાવીને તપાસો, પછી AI Crawl Controlમાં કે WAF skip નિયમથી AI સર્ચ ક્રૉલરને મંજૂરી આપો.
3 પગલાંમાં શોધો અને સુધારો
- પેજ બે વાર મંગાવો
એક વાર બ્રાઉઝરના યુઝર એજન્ટથી, એક વાર ક્રૉલરના. ફક્ત ક્રૉલરને 403, 429 કે 503 મળે,
Just a moment...પેજ મળે, અથવા ઘણું ટૂંકું 200 મળે, તો તે ફાયરવૉલ બ્લૉક છે. - સર્ચ ક્રૉલરને મંજૂરી આપો
Cloudflareમાં AI Crawl Control ખોલો, Crawlers યાદીમાં જાઓ અને તમે જોઈતા ક્રૉલર, જેમ કે
OAI-SearchBot, માટે Action કૉલમમાં Allow સેટ કરો. - જરૂર પડે તો બીજાં સુરક્ષા સાધનો છોડો
WAF કસ્ટમ નિયમ, Super Bot Fight Mode કે રેટ લિમિટિંગ હજી પણ તેમને બ્લૉક કરે, તો પહેલા ક્રમે મૂકેલો એક નિયમ ઉમેરો જે verified bots માટે એ સુવિધાઓ છોડી દે. યુઝર એજન્ટ મેળ કરતાં verified bot ફીલ્ડ કે વેન્ડરની પ્રકાશિત IP રેન્જ પસંદ કરો.
વારંવાર પૂછાતા પ્રશ્નો
Cloudflareમાં કયા AI ક્રૉલર બ્લૉક છે તે ક્યાં જોઈ શકાય?
Cloudflare dashboardમાં AI Crawl Control ખોલો. તેની ક્રૉલરની યાદી તમારા ડોમેન પર Cloudflareએ જોયેલો દરેક AI ક્રૉલર, તેણે કેટલી requests કરી અને તેનું action Allow છે કે Block તે બતાવે છે, અને તમે ત્યાં action બદલી શકો છો. Bot Fight Mode જેવી બીજી સુવિધાઓ તમે મંજૂરી આપેલા ક્રૉલરને હજી બ્લૉક કરી શકે છે, તેથી ક્રૉલરનો user agent વાપરતી request વડે પરિણામની ખાતરી કરો.
શું Cloudflare ડિફૉલ્ટ રૂપે AI ક્રૉલરને બ્લૉક કરે છે?
તે તમારા એકાઉન્ટ, પ્લાન અને તમારા zoneનાં સેટિંગ પર આધાર રાખે છે, અને Cloudflareએ સમય સાથે આ વિકલ્પો બદલ્યા છે. ધારી લેવાને બદલે AI Crawl Control અને તમારાં બૉટ સેટિંગ તપાસો, અને ક્રૉલરના યુઝર એજન્ટથી ચકાસો.
મારી સાઇટ બ્રાઉઝરમાં ચાલે છે પણ ક્રૉલર માટે કેમ નહીં?
ફાયરવૉલ દરેક વિનંતીનું મૂલ્યાંકન કરે છે. બ્રાઉઝર JavaScript ચેલેન્જ પાસ કરે છે અને કૂકી રાખે છે; ક્રૉલર એવું કરતો નથી, તેથી તેને એવું ચેલેન્જ પેજ કે 403 મળી શકે છે જે તમે ક્યારેય જોતા નથી.
શું WAFમાંથી AI ક્રૉલરને પસાર થવા દેવા સલામત છે?
જો તમે નામવાળા ક્રૉલરને પ્રોવાઇડરની IP રેન્જ કે Cloudflareના verified bot સિગ્નલથી ચકાસો, તો તેને મંજૂરી આપવામાં ઓછું જોખમ છે. ફક્ત યુઝર એજન્ટ પર ભરોસો કરતા નિયમો તેની નકલ કરનાર કોઈને પણ અંદર આવવા દે છે.
શું Cloudflareની ઇમેઇલ obfuscation સુવિધા AI ક્રૉલરને અસર કરે છે?
તે ઇમેઇલ સરનામાંને એવી લિંકથી બદલે છે જેને ફક્ત સ્ક્રિપ્ટ ડીકોડ કરે છે, તેથી ક્રૉલરને સરનામાને બદલે placeholder દેખાય છે. જો તમારે તમારો સંપર્ક ઇમેઇલ વાંચી શકાય એવો રાખવો હોય, તો Scrape Shield હેઠળ Email Address Obfuscation બંધ કરો અને સરનામું સાદા લખાણમાં બતાવો.
સંપૂર્ણ માર્ગદર્શિકા વાંચો
બૉટ પ્રોટેક્શન સ્ક્રેપર અને દુરુપયોગ રોકવા માટે છે, અને તે એમાં સારું છે. મુશ્કેલી એ છે કે AI સર્ચ ક્રૉલર પણ બૉટ છે. વર્ષો પહેલાં ચાલુ કરેલું સિક્યોરિટી સેટિંગ, rate limit, કે અજાણ્યા યુઝર એજન્ટ સામેનો વ્યાપક નિયમ તમને ટાંકતા ક્રૉલરને ચૂપચાપ બહાર રાખી શકે છે, જ્યારે તમારી પોતાની મુલાકાતો બિલકુલ સામાન્ય લાગે છે.
ફાયરવૉલ AI ક્રૉલરને કેમ બ્લૉક કરે?
ફાયરવૉલ દરેક વિનંતીનું મૂલ્યાંકન કરે છે. ક્રૉલર JavaScript ચેલેન્જ ચલાવતો નથી, બ્રાઉઝરની જેમ કૂકી રાખતો નથી અને ઘણી વાર સળંગ ઘણાં પેજ મંગાવે છે, તેથી તે બરાબર એવા ટ્રાફિક જેવો લાગી શકે છે જેને રોકવા બૉટ પ્રોટેક્શન બનાવાયું છે. સામાન્ય કારણો:
- જાણીતી બૉટ પૅટર્ન સાથે મેળ ખાતા ટ્રાફિકને ચેલેન્જ આપતી બૉટ પ્રોટેક્શન સુવિધાઓ. ઉદાહરણ તરીકે, Cloudflareનું Bot Fight Mode બૉટને ગણતરીની દૃષ્ટિએ ભારે ચેલેન્જ આપે છે.
- WAF custom rules જે "bot" કે "crawler" જેવા શબ્દો ધરાવતા યુઝર એજન્ટને બ્લૉક કે ચેલેન્જ કરે છે, અથવા સર્ચ એન્જિનની ફક્ત ટૂંકી યાદીને મંજૂરી આપે છે.
- AI ક્રૉલરને આખી શ્રેણી તરીકે બ્લૉક કરતાં સેટિંગ. Cloudflare તમને Search, Agent અને Training ક્રૉલર માટે નીતિ સેટ કરવા દે છે, અને ત્યાંનું Block સેટિંગ એ બધાને લાગુ પડે છે.
- Rate limiting જે ક્રૉલરની ઝડપી સળંગ વિનંતીઓનો જવાબ 429થી આપે છે.
- દેશ કે ASN બ્લૉક જે સંજોગવશાત ક્રૉલર ચાલે છે તે નેટવર્કને આવરી લે છે.
ફાયરવૉલ બ્લૉક અને robots.txt બ્લૉક વચ્ચે ફરક કેવી રીતે ઓળખવો?
robots.txt બ્લૉક એક નમ્ર વિનંતી છે: ક્રૉલર તમારા નિયમો વાંચે છે અને પેજ મેળવતો નથી. ફાયરવૉલ બ્લૉક એક જવાબ છે: ક્રૉલર પેજ મંગાવે છે અને તેને બીજું કંઈક મળે છે. બીજો પ્રકાર તમે સીધો જોઈ શકો છો. પેજ બે વાર મંગાવો, એક વાર બ્રાઉઝર યુઝર એજન્ટથી અને એક વાર ક્રૉલરના યુઝર એજન્ટથી, અને સરખાવો.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done ફાયરવૉલ બ્લૉકના સંકેતો: ફક્ત ક્રૉલર માટે સ્ટેટસ 403, 429 કે 503; Just a moment... કે Attention Required! | Cloudflare શીર્ષકવાળું પેજ; /cdn-cgi/challenge-platform ધરાવતું body; કે બ્રાઉઝર કરતાં ઘણો ટૂંકો 200 જવાબ. ધ્યાનમાં રાખો કે તમારો ટેસ્ટ ક્રૉલરની ચકાસાયેલી IP રેન્જ પરથી નહીં, પણ તમારા પોતાના IP પરથી આવે છે, તેથી તે બતાવે છે કે ફાયરવૉલ યુઝર એજન્ટ સાથે કેવું વર્તન કરે છે, સાચા ક્રૉલર સાથેના વર્તનની દરેક વિગત નહીં.
Cloudflareમાં AI સર્ચ ક્રૉલરને કેવી રીતે મંજૂરી આપવી?
Cloudflareનું AI Crawl Control, જે બધા પ્લાનમાં ઉપલબ્ધ છે, તમારા ડોમેનની મુલાકાત લેતા AI ક્રૉલરની યાદી આપે છે અને દરેક માટે ક્રિયા સેટ કરવા દે છે. ડૅશબોર્ડમાં AI Crawl Control ખોલો, Crawlers યાદી પર જાઓ અને દરેક ક્રૉલર માટે Action કૉલમમાં Allow કે Block પસંદ કરો. Cloudflare કહે છે કે ત્યાં બ્લૉક કરવાથી તમારા zone પર WAF custom rule બને છે કે અપડેટ થાય છે.
જો WAF custom rule, Super Bot Fight Mode કે rate limiting ક્રૉલરને બ્લૉક કરે છે, તો verified bots અને ક્રૉલરના ટોકન માટે એ સુવિધાઓને skip કરતો custom rule ઉમેરો:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow નિયમને પહેલો મૂકો. નોંધો કે યુઝર એજન્ટ સાથે મેળવવાથી એ યુઝર એજન્ટની નકલ કરનાર કોઈને પણ પસાર થવા મળે છે. શક્ય હોય ત્યાં verified bot ફીલ્ડ (cf.client.bot) કે પ્રોવાઇડર પ્રકાશિત કરે છે તે IP રેન્જને પ્રાધાન્ય આપો.
Bot Fight Modeનું શું?
Cloudflareના દસ્તાવેજ સ્પષ્ટ છે કે Bot Fight Modeને WAF custom rules કે Page Rulesથી બાયપાસ કે skip કરી શકાતું નથી. જો આ જ સુવિધા ક્રૉલરને ચેલેન્જ આપતી હોય, તો skip નિયમ મદદ નહીં કરે. વિકલ્પો છે Bot Fight Mode બંધ કરવું, અથવા જે પ્લાનમાં ઉપલબ્ધ હોય ત્યાં Super Bot Fight Mode વાપરવું, જે Ruleset Engine પર ચાલે છે અને skip નિયમોને સપોર્ટ કરે છે.
મારે કયા ક્રૉલરને પસાર થવા દેવા જોઈએ?
ક્રૉલરને તેઓ શું કરે છે તે મુજબ અલગ કરો. સર્ચ અને યુઝર-ફેચ ક્રૉલર નક્કી કરે છે કે AI જવાબો તમને શોધી અને ટાંકી શકે કે નહીં. ટ્રેનિંગ ક્રૉલર મૉડલ માટે ડેટા ભેગો કરે છે, અને તેમને બ્લૉક કરવા એ માન્ય પસંદગી છે જે તમને AI સર્ચમાંથી દૂર કરતી નથી.
- સર્ચ:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot. - યુઝર ફેચ:
ChatGPT-User,Claude-User,Perplexity-User. - ટ્રેનિંગ:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider.
Cloudflareનાં પોતાનાં નીતિ સેટિંગ પણ Search, Agent અને Trainingમાં આ જ વિભાજન વાપરે છે, તેથી તમે પહેલા બેને મંજૂરી આપી શકો છો અને ત્રીજા વિશે અલગથી નક્કી કરી શકો છો. જો તમે બીજું ફાયરવૉલ કે CDN વાપરતા હો, તો સિદ્ધાંત એ જ છે: ક્રૉલરના ટોકનને allowlistમાં ઉમેરો, ઉપલબ્ધ હોય ત્યાં પ્રોવાઇડરની પ્રકાશિત IP રેન્જ કે reverse DNSથી ચકાસીને, જેથી તેને બ્રાઉઝર જેવો જ જવાબ મળે.
AISeeWhy ફાયરવૉલ બ્લૉક કેવી રીતે શોધે છે?
AISeeWhy તમારું પેજ 14 ક્રૉલર અને એક સામાન્ય બ્રાઉઝર તરીકે મંગાવે છે, સ્ટેટસ, કદ અને રીડાયરેક્ટ સરખાવે છે, ચેલેન્જ પેજ ઓળખે છે અને જવાબ આપનાર ફાયરવૉલ કે CDNનું નામ જણાવે છે. જ્યારે robots.txt ક્રૉલરને મંજૂરી આપે પણ સર્વર તેને બ્લૉક કરે, ત્યારે રિપોર્ટ આ વિરોધાભાસ બતાવે છે અને તેને સુધારવા Cloudflare નિયમ કે allowlistનું પગલું આપે છે.
આ સમસ્યાના સુધારા
- અમારી તપાસ બ્લૉક થઈ, પરિણામ અનિર્ણિત
- OAI-SearchBot બ્લૉક છે
- GPTBot બીજે રીડાયરેક્ટ થાય છે
- GPTBotને ખાલી પેજ મળે છે
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- AI ક્રૉલરની IP તપાસ
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
સ્રોતો
- Cloudflare: AI Crawl Control
- Cloudflare: AI ક્રૉલરનું સંચાલન (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI ક્રૉલર અને એજન્ટની ઍક્સેસ નીતિઓ
- OpenAI: OpenAI ક્રૉલરની ઝાંખી