के Cloudflare ले AI क्रलर ब्लक गरिरहेको छ? कसरी पत्ता लगाउने र सच्याउने
करिब 30 सेकेन्डमा हेर्नुहोस् कि Cloudflare वा अर्को फायरवालले AI क्रलरलाई ब्लकसहित जवाफ दिन्छ कि दिँदैन, र सही क्रलरलाई छिर्न दिने नियम पाउनुहोस्।
निःशुल्क · साइन-अप चाहिँदैन · ३० सेकेन्डमा नतिजा
403, 429 र च्यालेन्ज पेज
तपाईंको ब्राउजरले वास्तविक पेज पाउँदा क्रलरले ब्लक वा Just a moment... पेज पाउन सक्छ। तपाईंको पेज दुवै तरिकाले मागिन्छ र फरक चिन्ह लगाइन्छ।
robots.txt बनाम फायरवाल
robots.txt ले क्रलरलाई अनुमति दिँदा पनि सर्भरले अस्वीकार गर्छ भने रिपोर्टले द्वन्द्व देखाउँछ, ताकि कुन सेटिङ बदल्ने भन्ने थाहा होस्।
फायरवालको नाम
जवाफ दिने CDN वा फायरवाल, Cloudflare सहित, को नाम देखाइन्छ, ताकि कहाँ हेर्ने भनेर अड्कल गर्नु नपरोस्।
लागू गर्ने नियम
हरेक नतिजासँगै समाधान दिइन्छ, जस्तै Cloudflare नियम वा allowlist चरण। निःशुल्क जाँचले तपाईंको स्कोर र पहिलो नतिजा देखाउँछ; पूर्ण रिपोर्ट $29 हो, एक पटकको।
robots.txt ले क्रलरलाई अनुमति दिँदा पनि Cloudflare र अन्य फायरवालले AI क्रलरलाई 403, 429 वा "Just a moment..." च्यालेन्ज पेज दिन सक्छन्, जबकि ब्राउजरले वास्तविक पेज पाउँछ। क्रलरको user agent सहित पेज मागेर जाँच्नुहोस्, त्यसपछि AI Crawl Control मा वा WAF skip नियमले AI सर्च क्रलरलाई अनुमति दिनुहोस्।
3 चरणमा पत्ता लगाउनुहोस् र सच्याउनुहोस्
- पेज दुई पटक माग्नुहोस्
एक पटक ब्राउजरको user agent सहित, एक पटक क्रलरको सहित। क्रलरलाई मात्र 403, 429 वा 503 आउनु,
Just a moment...पेज आउनु वा धेरै छोटो 200 आउनुको अर्थ फायरवालले ब्लक गरेको हो। - सर्च क्रलरलाई अनुमति दिनुहोस्
Cloudflare मा AI Crawl Control खोल्नुहोस्, Crawlers सूचीमा जानुहोस्, र
OAI-SearchBotजस्ता चाहिएका क्रलरका लागि Action स्तम्भमा Allow छान्नुहोस्। - आवश्यक परे अन्य सुरक्षा छोड्नुहोस्
WAF custom rule, Super Bot Fight Mode वा रेट लिमिटिङले अझै ब्लक गरिरहेका छन् भने, पहिलो स्थानमा राखिएको एउटा नियम थप्नुहोस् जसले verified bot का लागि ती सुविधा छोड्छ। user agent मिलान भन्दा verified bot फिल्ड वा vendor ले प्रकाशित गरेका IP दायरा प्रयोग गर्नुहोस्।
बारम्बार सोधिने प्रश्नहरू
Cloudflare मा कुन AI क्रलर ब्लक छन् कहाँ हेर्ने?
Cloudflare ड्यासबोर्डमा AI Crawl Control खोल्नुहोस्। यसको क्रलर सूचीले Cloudflare ले तपाईंको डोमेनमा देखेको हरेक AI क्रलर, त्यसले कति अनुरोध गर्यो र यसको action Allow हो कि Block देखाउँछ, र तपाईं त्यहीँ action बदल्न सक्नुहुन्छ। Bot Fight Mode जस्ता अन्य सुविधाले तपाईंले अनुमति दिएको क्रलरलाई पनि ब्लक गर्न सक्छन्, त्यसैले क्रलरको user agent प्रयोग गर्ने अनुरोधले नतिजा पुष्टि गर्नुहोस्।
के Cloudflare ले पूर्वनिर्धारित रूपमा AI क्रलर ब्लक गर्छ?
यो तपाईंको खाता, प्लान र zone का सेटिङमा भर पर्छ, र Cloudflare ले यी विकल्प समयसँगै बदलेको छ। अनुमान नगर्नुहोस्; AI Crawl Control र आफ्ना बट सेटिङ हेर्नुहोस्, र क्रलरको user agent सहित परीक्षण गर्नुहोस्।
मेरो साइट ब्राउजरमा चल्छ तर क्रलरका लागि किन चल्दैन?
फायरवालले हरेक अनुरोधको मूल्याङ्कन गर्छ। ब्राउजरले JavaScript च्यालेन्ज पार गर्छ र कुकी राख्छ; क्रलरले गर्दैन, त्यसैले उसले तपाईंले कहिल्यै नदेख्ने च्यालेन्ज पेज वा 403 पाउन सक्छ।
के WAF मार्फत AI क्रलरलाई अनुमति दिनु सुरक्षित छ?
नाम तोकिएको क्रलरलाई कम्पनीका IP दायरा वा Cloudflare को verified bot सङ्केतबाट प्रमाणित गर्नुहुन्छ भने जोखिम कम छ। user agent मा मात्र भरोसा गर्ने नियमले त्यसलाई नक्कल गर्ने जोसुकैलाई पनि भित्र पसाउँछ।
के Cloudflare को email obfuscation सुविधाले AI क्रलरलाई असर गर्छ?
यसले इमेल ठेगानालाई स्क्रिप्टले मात्र डिकोड गर्ने लिंकले प्रतिस्थापन गर्छ, त्यसैले क्रलरले ठेगानाको सट्टा placeholder देख्छन्। आफ्नो सम्पर्क इमेल पढ्न मिल्ने बनाउन चाहनुहुन्छ भने Scrape Shield अन्तर्गत Email Address Obfuscation बन्द गर्नुहोस् र ठेगाना सादा पाठका रूपमा देखाउनुहोस्।
पूर्ण गाइड पढ्नुहोस्
बट सुरक्षा स्क्र्यापर र दुरुपयोग रोक्न बनेको हो, र यसले त्यो काम राम्रोसँग गर्छ। समस्या के हो भने AI सर्च क्रलर पनि बट नै हुन्। वर्षौँअघि सक्रिय गरिएको सुरक्षा सेटिङ, rate limit, वा अपरिचित user agent विरुद्धको व्यापक नियमले तपाईंलाई उद्धृत गर्ने क्रलरलाई चुपचाप बाहिर राख्न सक्छ, जबकि तपाईंका आफ्नै भ्रमण बिलकुल सामान्य देखिन्छन्।
फायरवालले AI क्रलर किन ब्लक गर्छ?
फायरवालले हरेक अनुरोधको मूल्याङ्कन गर्छ। क्रलरले JavaScript च्यालेन्ज चलाउँदैन, ब्राउजरले जस्तो कुकी राख्दैन र प्रायः लगातार धेरै पेज माग्छ, त्यसैले यो बट सुरक्षाले रोक्न बनाइएको ट्राफिक जस्तै देखिन सक्छ। सामान्य कारणहरू:
- चिनिएका बट ढाँचासँग मिल्ने ट्राफिकलाई च्यालेन्ज गर्ने बट सुरक्षा सुविधा। उदाहरणका लागि Cloudflare को Bot Fight Mode ले बटलाई गणनाको हिसाबले महँगा च्यालेन्ज दिन्छ।
- "bot" वा "crawler" जस्ता शब्द भएका user agent लाई ब्लक वा च्यालेन्ज गर्ने, वा सर्च इन्जिनको छोटो सूचीलाई मात्र अनुमति दिने WAF custom rules।
- AI क्रलरलाई एउटा वर्गकै रूपमा ब्लक गर्ने सेटिङ। Cloudflare ले Search, Agent र Training क्रलरका लागि नीति सेट गर्न दिन्छ, र त्यहाँको Block सेटिङ ती सबैमा लागू हुन्छ।
- क्रलरका छिटो-छिटो अनुरोधलाई 429 ले जवाफ दिने rate limiting।
- क्रलर चल्ने नेटवर्कलाई संयोगवश समेट्ने देश वा ASN ब्लक।
फायरवाल ब्लक र robots.txt ब्लक कसरी छुट्याउने?
robots.txt ब्लक विनम्र अनुरोध हो: क्रलरले तपाईंका नियम पढ्छ र पेज ल्याउँदैन। फायरवाल ब्लक जवाफ हो: क्रलरले पेज माग्छ र अर्कै कुरा पाउँछ। दोस्रो प्रकार तपाईं सिधै देख्न सक्नुहुन्छ। पेज दुईपटक माग्नुहोस्, एकपटक ब्राउजरको user agent सहित र एकपटक क्रलरको, अनि तुलना गर्नुहोस्।
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done फायरवाल ब्लकका सङ्केत: क्रलरलाई मात्र स्थिति 403, 429 वा 503; Just a moment... वा Attention Required! | Cloudflare शीर्षक भएको पेज; /cdn-cgi/challenge-platform भएको body; वा ब्राउजरको भन्दा धेरै छोटो 200 प्रतिक्रिया। ध्यान दिनुहोस्, तपाईंको परीक्षण क्रलरको प्रमाणित IP दायराबाट होइन, तपाईंकै IP बाट आउँछ, त्यसैले यसले फायरवालले user agent लाई कसरी व्यवहार गर्छ देखाउँछ, वास्तविक क्रलरलाई गर्ने व्यवहारको हरेक विवरण होइन।
Cloudflare मा AI सर्च क्रलरलाई कसरी अनुमति दिने?
सबै प्लानमा उपलब्ध Cloudflare को AI Crawl Control ले तपाईंको डोमेनमा आउने AI क्रलर सूचीबद्ध गर्छ र प्रत्येकका लागि action सेट गर्न दिन्छ। ड्यासबोर्डमा AI Crawl Control खोल्नुहोस्, Crawlers सूचीमा जानुहोस् र हरेक क्रलरका लागि Action स्तम्भमा Allow वा Block छान्नुहोस्। Cloudflare भन्छ त्यहाँ ब्लक गर्दा तपाईंको zone मा WAF custom rule बन्छ वा अद्यावधिक हुन्छ।
क्रलरलाई WAF custom rule, Super Bot Fight Mode वा rate limiting ले ब्लक गरिरहेको छ भने verified bots र क्रलरको टोकनका लागि ती सुविधा स्किप गर्ने custom rule थप्नुहोस्:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow नियमलाई पहिलो स्थानमा राख्नुहोस्। ध्यान दिनुहोस्, user agent मिलाउँदा त्यो user agent नक्कल गर्ने जोसुकैलाई पनि पास गरिन्छ। सम्भव भएसम्म verified bot फिल्ड (cf.client.bot) वा कम्पनीले प्रकाशित गरेका IP दायरालाई प्राथमिकता दिनुहोस्।
Bot Fight Mode को के गर्ने?
Cloudflare को कागजात स्पष्ट छ कि Bot Fight Mode लाई WAF custom rules वा Page Rules ले बाइपास वा स्किप गर्न सकिँदैन। क्रलरलाई च्यालेन्ज गर्ने सुविधा यही हो भने skip नियमले मद्दत गर्दैन। विकल्पहरू: Bot Fight Mode बन्द गर्नुहोस्, वा Super Bot Fight Mode भएको प्लानमा त्यसलाई प्रयोग गर्नुहोस्, जुन Ruleset Engine मा चल्छ र skip नियम समर्थन गर्छ।
कुन क्रलरलाई पास गर्ने?
क्रलरलाई तिनले के गर्छन् अनुसार छुट्याउनुहोस्। AI उत्तरले तपाईंलाई भेट्टाउन र उद्धृत गर्न सक्छन् कि सक्दैनन् भन्ने सर्च र प्रयोगकर्ताका लागि ल्याउने क्रलरले निर्धारण गर्छन्। ट्रेनिङ क्रलरले मोडेलका लागि डेटा सङ्कलन गर्छन्, र तिनलाई ब्लक गर्नु वैध छनोट हो जसले तपाईंलाई AI सर्चबाट हटाउँदैन।
- सर्च:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot। - प्रयोगकर्ताका लागि ल्याउने:
ChatGPT-User,Claude-User,Perplexity-User। - ट्रेनिङ:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider।
Cloudflare का आफ्नै नीति सेटिङले पनि Search, Agent र Training मा उही विभाजन प्रयोग गर्छन्, त्यसैले तपाईं पहिला दुईलाई अनुमति दिएर तेस्रोबारे छुट्टै निर्णय गर्न सक्नुहुन्छ। अर्को फायरवाल वा CDN प्रयोग गर्नुहुन्छ भने सिद्धान्त उही हो: क्रलरको टोकनलाई allowlist मा राख्नुहोस्, उपलब्ध भए कम्पनीले प्रकाशित गरेका IP दायरा वा reverse DNS बाट प्रमाणित गरेर, ताकि त्यसले ब्राउजरले जस्तै प्रतिक्रिया पाओस्।
AISeeWhy ले फायरवाल ब्लक कसरी पत्ता लगाउँछ?
AISeeWhy ले तपाईंको पेज 14 क्रलर र एउटा सामान्य ब्राउजरका रूपमा माग्छ, स्थिति, आकार र रिडाइरेक्ट तुलना गर्छ, च्यालेन्ज पेज चिन्छ र जवाफ दिने फायरवाल वा CDN को नाम बताउँछ। robots.txt ले क्रलरलाई अनुमति दिन्छ तर सर्भरले ब्लक गर्छ भने रिपोर्टले यो द्वन्द्व देखाउँछ र सच्याउन Cloudflare नियम वा allowlist को चरण दिन्छ।
यो समस्याका समाधान
- हाम्रो परीक्षण अनुरोध ब्लक भयो, नतिजा अनिर्णीत
- OAI-SearchBot ब्लक गरिएको छ
- GPTBot लाई अन्यत्र रिडाइरेक्ट गरिन्छ
- GPTBot ले खाली पेज पाउँछ
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
स्रोतहरू
- Cloudflare: AI Crawl Control
- Cloudflare: AI क्रलर व्यवस्थापन (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI क्रलर र एजेन्टका पहुँच नीति
- OpenAI: OpenAI क्रलरहरूको परिचय