Cloudflare चा AI Crawl Control अहवाल कसा वाचावा आणि कोणते AI क्रॉलर आत येतात ते कसे पाहावे

प्रकाशित

छोटे उत्तर

Cloudflare डॅशबोर्डमध्ये AI Crawl Control उघडा: क्रॉलर यादी तुमच्या डोमेनवर Cloudflare ला दिसलेला प्रत्येक AI क्रॉलर, त्याच्या requests, robots.txt उल्लंघने आणि त्याची action Allow आहे की Block हे दाखवते. ट्रेनिंग नाकारून AI सर्च ठेवायचा असेल तर सर्च आणि एजंट क्रॉलरना परवानगी द्या आणि ट्रेनिंग क्रॉलर तिथे किंवा AI Crawler and Agent access policies खाली Block किंवा Disallow करा. मग curl ने बाहेरून खात्री करा, कारण Cloudflare ची इतर फीचर तुम्ही परवानगी दिलेला क्रॉलरही ब्लॉक करू शकतात.

AI क्रॉलरना काय मिळते हे ठरवणारी दोन ठिकाणे आता Cloudflare मध्ये आहेत: AI Crawl Control, म्हणजे प्रत्येक क्रॉलरसाठीचा अहवाल आणि नियंत्रण पॅनेल, ज्याला आधी AI Audit म्हणत, आणि Security settings खालील संपूर्ण zone साठीच्या AI Crawler and Agent access policies. दोन्ही Free प्लॅनवर उपलब्ध आहेत, दोन्ही 2026 मध्ये बदलले, आणि क्रॉलरला 403 देऊ शकणाऱ्या इतर प्रत्येक फीचरबद्दल यापैकी कोणतेही सांगत नाही. हा मार्गदर्शक अहवाल कॉलमनिहाय समजावतो, Allow आणि Block कुठे सेट करायचे ते दाखवतो, आणि तुमच्या स्वतःच्या कॉम्प्युटरवरून चालवता येईल अशा चाचणीने संपतो.

या पेजवर
  1. Cloudflare मध्ये AI क्रॉलर अहवाल कुठे आहे?
  2. AI Crawl Control अहवालातील प्रत्येक कॉलम आणि मेट्रिकचा अर्थ काय?
  3. Cloudflare मध्ये AI सर्च क्रॉलरना परवानगी आणि ट्रेनिंग क्रॉलरना ब्लॉक कसे करावे?
  4. Cloudflare च्या AI क्रॉलर डिफॉल्टमध्ये काय बदलले?
  5. परवानगी दिल्यानंतरही Cloudflare AI क्रॉलरना ब्लॉक का करते?
  6. Cloudflare कोणते AI क्रॉलर आत येऊ देते हे बाहेरून कसे पडताळावे?
  7. Cloudflare AI क्रॉलरना काय पाठवते हे AISeeWhy कसे तपासते?

Cloudflare मध्ये AI क्रॉलर अहवाल कुठे आहे?

डॅशबोर्डमध्ये तुमचे खाते आणि डोमेन निवडा, मग AI Crawl Control उघडा. Cloudflare सांगते की ते कॉन्फिगरेशनशिवाय काम करते आणि सर्व प्लॅनवर उपलब्ध आहे, जोपर्यंत तुमच्या डोमेनचे ट्रॅफिक Cloudflare मधून proxy होते. त्यात चार भाग आहेत:

आकडे वाचताना प्लॅनच्या दोन मर्यादा महत्त्वाच्या आहेत. Free प्लॅनवर AI Crawl Control क्रॉलर फक्त त्यांच्या युजर एजंट स्ट्रिंगवरून ओळखते, त्यामुळे स्वतःची ओळख सांगणारे क्रॉलरच त्याला दिसतात, इतर काही नाही, आणि Metrics टॅब गेल्या 24 तासांचा असतो. पेड प्लॅन Bot Management detection ID द्वारे ओळख जोडतात, आणि Bot Management सह Enterprise ला कालावधी स्वतः ठरवता येतो.

AI Crawl Control अहवालातील प्रत्येक कॉलम आणि मेट्रिकचा अर्थ काय?

Cloudflare फील्डचे दस्तऐवज असे देते. व्याख्या महत्त्वाच्या आहेत, कारण काही आकडे तुमच्या अपेक्षेपेक्षा जास्त गोष्टी मोजतात.

तुम्ही निवडलेल्या action पासून अहवाल वाचा. Allow वर सेट केलेल्या क्रॉलरमध्ये मुख्यतः परवानगी मिळालेल्या requests आणि 2xx कोड दिसायला हवेत. त्यात अनेक अयशस्वी requests दिसत असतील तर त्या क्रॉलरसाठी फिल्टर केलेले स्टेटस कोड वितरण उघडा, आणि उत्तर देणारा नियम शोधण्यासाठी Security Analytics तपासा.

Cloudflare मध्ये AI सर्च क्रॉलरना परवानगी आणि ट्रेनिंग क्रॉलरना ब्लॉक कसे करावे?

हे तुम्ही प्रत्येक क्रॉलरसाठी किंवा वर्तनानुसार करू शकता. प्रत्येक क्रॉलरसाठी, AI Crawl Control उघडा आणि प्रत्येक ओळीसाठी Action सेट करा. Cloudflare सांगते की तिथे ब्लॉक केल्याने तुमच्या zone वर WAF custom rule तयार किंवा अपडेट होतो, जो पाथ अपवादांसाठी तुम्ही WAF मध्ये वाढवू शकता. पेड प्लॅनवर ब्लॉक झालेल्या क्रॉलरना 403 मिळेल की 402 हे निवडू शकता आणि साध्या मजकुराचा body सेट करू शकता.

वर्तनानुसार करायचे असल्यास Security, मग Settings मध्ये जा, Bot traffic ने फिल्टर करा आणि AI Crawler and Agent access policies उघडा. Cloudflare AI ट्रॅफिकची तीन वर्तनांमध्ये विभागणी करते, आणि प्रत्येक policy त्या वर्तनाच्या verified bots ना आणि जुळणाऱ्या unverified bots ना लागू होते:

प्रत्येक वर्तन Block, Block on pages with ads, किंवा Allow (do not block) वर सेट करता येते. Training साठी Disallow सुद्धा आहे, जे फक्त robots.txt द्वारे क्रॉलरना विनंती करते. Bot Preference Sync चालू असताना Cloudflare तुमच्या robots.txt च्या सुरुवातीला managed नियम जोडते जे Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot आणि meta-externalagent ना नाकारतात, एक Content Signals ओळ जोडते, आणि edge वर AI ट्रेनिंग क्रॉलरनाही ब्लॉक करते, सर्च आणि ट्रेनिंग दोन्हीसाठी वापरले जाणारे क्रॉलर सोडून.

AI संदर्भ हवे असलेल्या बहुतेक साइटसाठी सुरक्षित संयोजन म्हणजे Search आणि Agent Allow वर आणि Training Disallow वर, आणि मग edge वर थांबवायचे असलेल्या फक्त-ट्रेनिंग क्रॉलरसाठी AI Crawl Control मध्ये स्वतंत्र Block actions.

Cloudflare च्या AI क्रॉलर डिफॉल्टमध्ये काय बदलले?

1 जुलै 2025 रोजी Cloudflare ने जाहीर केले की AI क्रॉलर निर्मात्यांना पैसे देत नसतील तर त्यांना ब्लॉक करणे हा डिफॉल्ट होईल. 1 जुलै 2026 रोजी त्याने एकच Block AI bots स्विच काढून वर वर्णन केलेल्या स्वतंत्र Search, Agent आणि Training policies आणल्या, Free सह सर्व प्लॅनसाठी. त्याच घोषणेत म्हटले होते की 15 सप्टेंबर 2026 पासून जोडल्या जाणाऱ्या नवीन डोमेनवर जाहिराती दाखवणाऱ्या पेजवर Training आणि Agent ब्लॉक असतील, आणि Search ला परवानगी असेल.

Cloudflare चे सध्याचे policy दस्तऐवज, शेवटचे 2 नोव्हेंबर 2026 रोजी अपडेट केलेले, सांगतात की नवीन डोमेनवर तिन्ही वर्तनांसाठी डिफॉल्ट Allow (do not block) आहे. Cloudflare च्या स्वतःच्या पेजेसनी वेगवेगळ्या वेळी वेगवेगळे डिफॉल्ट सांगितले असल्याने तुमच्या zone साठी यापैकी कोणत्याहीवर अवलंबून राहू नका: policy पेज उघडा आणि काय सेट आहे ते वाचा.

परवानगी दिल्यानंतरही Cloudflare AI क्रॉलरना ब्लॉक का करते?

AI Crawl Control मधील Allow action फक्त AI Crawl Control ला ब्लॉक करण्यापासून थांबवते. इतर फीचर तरीही request वर काम करतात. नेहमीची कारणे:

Cloudflare कोणते AI क्रॉलर आत येऊ देते हे बाहेरून कसे पडताळावे?

तेच पेज ब्राउझरच्या युजर एजंटने आणि प्रत्येक क्रॉलरच्या युजर एजंटने मागवा, मग स्टेटस आणि आकाराची तुलना करा. खालील OpenAI, Perplexity आणि Google च्या स्ट्रिंग त्या कंपन्यांनी प्रकाशित केलेल्या आहेत.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429 किंवा 503 असलेली क्रॉलरची ओळ, किंवा ब्राउझरच्या ओळीपेक्षा खूप कमी आकार, म्हणजे तुमच्या origin समोरील कशाने तरी वेगळे उत्तर दिले. Free प्लॅनवर AI Crawl Control युजर एजंटवरून क्रॉलर ओळखते, त्यामुळे ही चाचणी त्याच्या ब्लॉकची वाजवी तपासणी आहे. Verified bot स्थिती किंवा bot score वर आधारित नियम तुमची request खऱ्या क्रॉलरपेक्षा वेगळी हाताळू शकतात, कारण ती operator च्या प्रकाशित रेंजमधून नव्हे तर तुमच्या IP पत्त्यावरून येते. चाचणीनंतर कोणता नियम जुळला ते पाहण्यासाठी Security Analytics मध्ये तुमच्या स्वतःच्या requests शोधा.

Cloudflare AI क्रॉलरना काय पाठवते हे AISeeWhy कसे तपासते?

AISeeWhy ची मोफत तपासणी खऱ्या ब्राउझरच्या बाजूने तुमचे पेज 16 AI आणि सर्च क्रॉलर म्हणून मागवते, प्रत्येक क्रॉलरसाठी तुमचे robots.txt लागू करते आणि फायरवॉल चॅलेंज पेज ओळखते, त्यामुळे Cloudflare डॅशबोर्डमधील निकाल क्रॉलरना प्रत्यक्ष मिळणाऱ्याशी जुळतो का हे तुम्ही पाहू शकता.

या समस्येवरील उपाय

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

Cloudflare AI Crawl Control मोफत आहे का?

होय. Cloudflare AI Crawl Control सर्व प्लॅनवर उपलब्ध असल्याचे सांगते. Free प्लॅन क्रॉलर फक्त युजर एजंटवरून ओळखतो आणि Metrics मध्ये गेले 24 तास दाखवतो; referral डेटा आणि custom block प्रतिसादांसाठी पेड प्लॅन लागतो.

Cloudflare AI Audit चे काय झाले?

त्याचे नाव बदलले. Cloudflare चे दस्तऐवज AI Crawl Control चे वर्णन पूर्वीचे AI Audit असे करतात, त्याच उद्देशासह: कोणते AI क्रॉलर भेट देतात ते पाहणे आणि प्रत्येकासाठी action ठरवणे.

AI Crawl Control मध्ये क्रॉलर ब्लॉक केल्याने माझे robots.txt बदलते का?

नाही. Block action WAF custom rule तयार किंवा अपडेट करते. Bot Preference Sync सह Training साठी Disallow पर्याय वापरला तरच robots.txt बदलते, जो Cloudflare चे managed नियम तुमच्या फाइलच्या सुरुवातीला जोडतो.

Cloudflare मध्ये robots.txt उल्लंघन कशाला म्हणतात?

तुमचे robots.txt नाकारत असलेल्या पाथसाठी AI क्रॉलरकडून आलेली request. Cloudflare मागील requests ची तुलना तुमच्या सध्याच्या नियमांशी करते, त्यामुळे नवीन नियम त्या वेळी परवानगी असलेल्या जुन्या requests ही चिन्हांकित करू शकतो.

pay per crawl म्हणजे काय?

AI क्रॉलरना प्रत्येक request साठी पैसे द्यायला सांगणारी Charge action, अन्यथा HTTP 402 आणि किंमत असे उत्तर देणारी. Cloudflare त्याचे वर्णन closed beta असे करते, आणि WAF किंवा Bot Management ब्लॉकना त्याच्यापेक्षा प्राधान्य असते.

स्रोत

आणखी लेख