Cloudflare AI क्रॉलर ब्लॉक करत आहे का? कसे शोधावे आणि दुरुस्त करावे

सुमारे 30 सेकंदांत पाहा की Cloudflare किंवा दुसरा फायरवॉल AI क्रॉलरना ब्लॉकने उत्तर देतो का, आणि योग्य क्रॉलरना आत सोडणारा नियम मिळवा.

मोफत · साइन-अप नाही · 30 सेकंदांत निकाल

403, 429 आणि चॅलेंज पेजेस

तुमच्या ब्राउझरला खरे पेज मिळत असताना क्रॉलरना ब्लॉक किंवा Just a moment... पेज मिळू शकते. तुमचे पेज दोन्ही प्रकारे मागवले जाते आणि फरक चिन्हांकित केला जातो.

robots.txt विरुद्ध फायरवॉल

robots.txt क्रॉलरला परवानगी देत असताना सर्व्हर त्याला नाकारत असेल, तर अहवाल हा विरोध दाखवतो, त्यामुळे कोणती सेटिंग बदलायची ते कळते.

फायरवॉलचे नाव

उत्तर देणाऱ्या CDN किंवा फायरवॉलचे नाव दिले जाते, Cloudflare सह, त्यामुळे कुठे पाहायचे याचा अंदाज लावावा लागत नाही.

लागू करायचा नियम

प्रत्येक निष्कर्षासोबत उपाय दिला जातो, जसे की Cloudflare नियम किंवा allowlist ची पायरी. मोफत तपासणीत तुमचा स्कोअर आणि पहिला निष्कर्ष दिसतो; पूर्ण अहवाल $29 आहे, एकदाच.

छोटे उत्तर

robots.txt क्रॉलरला परवानगी देत असतानाही Cloudflare आणि इतर फायरवॉल AI क्रॉलरना 403, 429 किंवा "Just a moment..." चॅलेंज पेज देऊ शकतात, तर ब्राउझरना खरे पेज मिळते. क्रॉलरच्या युजर एजंटसह पेज मागवून तपासा, मग AI Crawl Control मध्ये किंवा WAF skip नियमाने AI सर्च क्रॉलरना परवानगी द्या.

शोधा आणि दुरुस्त करा, 3 पायऱ्यांत

  1. पेज दोनदा मागवा

    एकदा ब्राउझरच्या युजर एजंटसह, एकदा क्रॉलरच्या. फक्त क्रॉलरसाठी 403, 429 किंवा 503, Just a moment... पेज किंवा खूपच लहान 200 म्हणजे फायरवॉल ब्लॉक.

  2. सर्च क्रॉलरना परवानगी द्या

    Cloudflare मध्ये AI Crawl Control उघडा, Crawlers यादीत जा आणि तुम्हाला हवे असलेल्या क्रॉलरसाठी, जसे OAI-SearchBot, Action स्तंभात Allow सेट करा.

  3. गरज असल्यास इतर संरक्षणे वगळा

    WAF custom rule, Super Bot Fight Mode किंवा rate limiting अजूनही त्यांना ब्लॉक करत असेल, तर verified bots साठी ती वैशिष्ट्ये वगळणारा नियम जोडा, आणि तो सर्वात आधी ठेवा. युजर एजंट जुळवण्यापेक्षा verified bot फील्ड किंवा विक्रेत्याच्या प्रकाशित IP रेंज वापरा.

वारंवार विचारले जाणारे प्रश्न

Cloudflare मध्ये कोणते AI क्रॉलर ब्लॉक आहेत हे कुठे पाहता येते?

Cloudflare डॅशबोर्डमध्ये AI Crawl Control उघडा. त्याची क्रॉलर यादी तुमच्या डोमेनवर Cloudflare ला दिसलेला प्रत्येक AI क्रॉलर, त्याने किती requests केल्या आणि त्याची action Allow आहे की Block हे दाखवते, आणि तिथेच तुम्ही action बदलू शकता. Bot Fight Mode सारखी इतर फीचर तुम्ही परवानगी दिलेला क्रॉलरही ब्लॉक करू शकतात, त्यामुळे क्रॉलरचा युजर एजंट वापरणाऱ्या request ने निकालाची खात्री करा.

Cloudflare डीफॉल्टने AI क्रॉलर ब्लॉक करते का?

ते तुमचे खाते, प्लॅन आणि तुमच्या zone मधील सेटिंग्जवर अवलंबून आहे, आणि Cloudflare ने हे पर्याय वेळोवेळी बदलले आहेत. गृहीत धरण्याऐवजी AI Crawl Control आणि तुमच्या बॉट सेटिंग्ज तपासा, आणि क्रॉलरच्या युजर एजंटसह चाचणी करा.

माझी साइट ब्राउझरमध्ये चालते पण क्रॉलरसाठी का नाही?

फायरवॉल प्रत्येक विनंतीची पारख करतात. ब्राउझर JavaScript चॅलेंज पार करतो आणि कुकी ठेवतो; क्रॉलर तसे करत नाही, त्यामुळे त्याला तुम्हाला कधीच न दिसणारे चॅलेंज पेज किंवा 403 मिळू शकते.

WAF मधून AI क्रॉलरना आत येऊ देणे सुरक्षित आहे का?

नाव असलेल्या क्रॉलरची कंपनीच्या IP रेंजने किंवा Cloudflare च्या verified bot सिग्नलने पडताळणी केल्यास त्याला परवानगी देण्यात कमी जोखीम आहे. फक्त युजर एजंटवर विश्वास ठेवणारे नियम त्याची नक्कल करणाऱ्या कोणालाही आत येऊ देतात.

Cloudflare च्या email obfuscation फीचरचा AI क्रॉलरवर परिणाम होतो का?

ते ईमेल पत्त्यांच्या जागी फक्त स्क्रिप्ट डीकोड करू शकेल अशी लिंक ठेवते, त्यामुळे क्रॉलरना पत्त्याऐवजी placeholder दिसतो. तुमचा संपर्क ईमेल वाचता यावा असे वाटत असल्यास, Scrape Shield मध्ये Email Address Obfuscation बंद करा आणि पत्ता साध्या मजकुरात दाखवा.

संपूर्ण मार्गदर्शक वाचा

बॉट संरक्षण स्क्रेपर आणि गैरवापर थांबवण्यासाठी असते, आणि ते हे काम चांगले करते. अडचण अशी की AI सर्च क्रॉलरही बॉटच आहेत. वर्षांपूर्वी चालू केलेली सुरक्षा सेटिंग, rate limit, किंवा अनोळखी युजर एजंटविरुद्धचा व्यापक नियम तुमचा संदर्भ देणाऱ्या क्रॉलरना शांतपणे बाहेर ठेवू शकतो, तर तुमच्या स्वतःच्या भेटी पूर्णपणे सामान्य दिसतात.

फायरवॉल AI क्रॉलरना का ब्लॉक करेल?

फायरवॉल प्रत्येक विनंतीची पारख करतात. क्रॉलर JavaScript चॅलेंज चालवत नाही, ब्राउझरसारख्या कुकी ठेवत नाही आणि अनेकदा सलग अनेक पेजेस मागवतो, त्यामुळे तो बॉट संरक्षण ज्या ट्रॅफिकला थांबवण्यासाठी बनवले आहे अगदी तसाच दिसू शकतो. नेहमीची कारणे:

  • ओळखीच्या बॉट पॅटर्नशी जुळणाऱ्या ट्रॅफिकला चॅलेंज देणारी बॉट संरक्षण फीचर. उदाहरणार्थ, Cloudflare चा Bot Fight Mode बॉटना संगणकीयदृष्ट्या खर्चिक चॅलेंज देतो.
  • "bot" किंवा "crawler" सारखे शब्द असलेल्या युजर एजंटना ब्लॉक किंवा चॅलेंज देणारे, किंवा फक्त काही सर्च इंजिनची छोटी यादी आत येऊ देणारे WAF custom rules.
  • AI क्रॉलरना एका श्रेणी म्हणून ब्लॉक करणाऱ्या सेटिंग्ज. Cloudflare तुम्हाला Search, Agent आणि Training क्रॉलरसाठी धोरणे ठरवू देते, आणि तिथली Block सेटिंग त्या सर्वांना लागू होते.
  • क्रॉलरच्या झटपट विनंत्यांच्या मालिकेला 429 देणारे rate limiting.
  • क्रॉलर ज्या नेटवर्कवरून चालतात ती योगायोगाने कव्हर करणारे देश किंवा ASN ब्लॉक.

फायरवॉल ब्लॉक आणि robots.txt ब्लॉक यातील फरक कसा ओळखावा?

robots.txt ब्लॉक ही नम्र विनंती आहे: क्रॉलर तुमचे नियम वाचतो आणि पेज मिळवत नाही. फायरवॉल ब्लॉक हे उत्तर आहे: क्रॉलर पेज मागवतो आणि त्याला दुसरेच काही मिळते. दुसरा प्रकार तुम्ही थेट पाहू शकता. पेज दोनदा मागवा, एकदा ब्राउझरच्या युजर एजंटसह आणि एकदा क्रॉलरच्या, आणि तुलना करा.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

फायरवॉल ब्लॉकची लक्षणे: फक्त क्रॉलरसाठी स्टेटस 403, 429 किंवा 503; Just a moment... किंवा Attention Required! | Cloudflare शीर्षक असलेले पेज; /cdn-cgi/challenge-platform असलेली बॉडी; किंवा ब्राउझरपेक्षा खूप लहान 200 प्रतिसाद. लक्षात ठेवा की तुमची चाचणी क्रॉलरच्या पडताळलेल्या IP रेंजमधून नव्हे तर तुमच्या स्वतःच्या IP वरून होते, त्यामुळे ती फायरवॉल युजर एजंटशी कसे वागतो ते दाखवते, खऱ्या क्रॉलरशी कसे वागतो याचा प्रत्येक तपशील नाही.

Cloudflare मध्ये AI सर्च क्रॉलरना परवानगी कशी द्यावी?

सर्व प्लॅनवर उपलब्ध असलेले Cloudflare चे AI Crawl Control तुमच्या डोमेनला भेट देणाऱ्या AI क्रॉलरची यादी दाखवते आणि प्रत्येकासाठी action ठरवू देते. डॅशबोर्डमध्ये AI Crawl Control उघडा, Crawlers यादीत जा आणि प्रत्येक क्रॉलरसाठी Action कॉलममध्ये Allow किंवा Block निवडा. Cloudflare सांगते की तिथे ब्लॉक केल्याने तुमच्या zone वर WAF custom rule तयार किंवा अपडेट होतो.

क्रॉलरला WAF custom rule, Super Bot Fight Mode किंवा rate limiting ब्लॉक करत असल्यास, verified bots साठी आणि क्रॉलरच्या टोकनसाठी ही फीचर वगळणारा custom rule जोडा:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

नियम सर्वात पहिला ठेवा. लक्षात घ्या की युजर एजंटवर जुळणी केल्याने तो युजर एजंट खोटा वापरणाऱ्या कोणालाही आत येता येते. शक्य असेल तिथे verified bot फील्ड (cf.client.bot) किंवा कंपनीने प्रकाशित केलेल्या IP रेंजला प्राधान्य द्या.

Bot Fight Mode चे काय?

Cloudflare चे दस्तऐवज स्पष्ट सांगतात की Bot Fight Mode WAF custom rules किंवा Page Rules ने बायपास किंवा skip करता येत नाही. क्रॉलरना चॅलेंज देणारे फीचर हेच असल्यास skip नियमाचा उपयोग होणार नाही. पर्याय असे: Bot Fight Mode बंद करा, किंवा तो असलेल्या प्लॅनवर Super Bot Fight Mode वापरा, जो Ruleset Engine वर चालतो आणि skip नियमांना सपोर्ट करतो.

मी कोणत्या क्रॉलरना आत येऊ द्यावे?

क्रॉलर काय करतात त्यानुसार त्यांना वेगळे करा. सर्च आणि युजर-फेच क्रॉलर ठरवतात की AI उत्तरांना तुम्ही सापडता आणि तुमचा संदर्भ दिला जाऊ शकतो का. ट्रेनिंग क्रॉलर मॉडेलसाठी डेटा गोळा करतात, आणि त्यांना ब्लॉक करणे ही रास्त निवड आहे जी तुम्हाला AI सर्चमधून काढून टाकत नाही.

  • सर्च: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • युजर फेच: ChatGPT-User, Claude-User, Perplexity-User.
  • ट्रेनिंग: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare च्या स्वतःच्या धोरण सेटिंग्ज हीच Search, Agent आणि Training अशी विभागणी वापरतात, त्यामुळे तुम्ही पहिल्या दोघांना परवानगी देऊन तिसऱ्याबद्दल स्वतंत्र निर्णय घेऊ शकता. तुम्ही दुसरा फायरवॉल किंवा CDN वापरत असल्यास तत्त्व तेच आहे: क्रॉलरचे टोकन allowlist करा, शक्य असेल तिथे कंपनीच्या प्रकाशित IP रेंज किंवा reverse DNS ने पडताळून, जेणेकरून त्याला ब्राउझरसारखाच प्रतिसाद मिळेल.

AISeeWhy फायरवॉल ब्लॉक कसे ओळखते?

AISeeWhy तुमचे पेज 14 क्रॉलर आणि एक सामान्य ब्राउझर म्हणून मागवते, स्टेटस, आकार आणि रीडायरेक्टची तुलना करते, चॅलेंज पेज ओळखते आणि उत्तर देणाऱ्या फायरवॉल किंवा CDN चे नाव सांगते. robots.txt क्रॉलरला परवानगी देत असताना सर्व्हर त्याला ब्लॉक करत असल्यास, अहवाल हा विरोधाभास दाखवतो आणि तो दुरुस्त करण्यासाठी Cloudflare नियम किंवा allowlist ची पायरी देतो.

या समस्येवरील उपाय

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

स्रोत

आणखी लेख

प्रकाशित · अपडेट केले