Cloudflare चा AI Crawl Control अहवाल कसा वाचावा आणि कोणते AI क्रॉलर आत येतात ते कसे पाहावे
Cloudflare डॅशबोर्डमध्ये AI Crawl Control उघडा: क्रॉलर यादी तुमच्या डोमेनवर Cloudflare ला दिसलेला प्रत्येक AI क्रॉलर, त्याच्या requests, robots.txt उल्लंघने आणि त्याची action Allow आहे की Block हे दाखवते. ट्रेनिंग नाकारून AI सर्च ठेवायचा असेल तर सर्च आणि एजंट क्रॉलरना परवानगी द्या आणि ट्रेनिंग क्रॉलर तिथे किंवा AI Crawler and Agent access policies खाली Block किंवा Disallow करा. मग curl ने बाहेरून खात्री करा, कारण Cloudflare ची इतर फीचर तुम्ही परवानगी दिलेला क्रॉलरही ब्लॉक करू शकतात.
AI क्रॉलरना काय मिळते हे ठरवणारी दोन ठिकाणे आता Cloudflare मध्ये आहेत: AI Crawl Control, म्हणजे प्रत्येक क्रॉलरसाठीचा अहवाल आणि नियंत्रण पॅनेल, ज्याला आधी AI Audit म्हणत, आणि Security settings खालील संपूर्ण zone साठीच्या AI Crawler and Agent access policies. दोन्ही Free प्लॅनवर उपलब्ध आहेत, दोन्ही 2026 मध्ये बदलले, आणि क्रॉलरला 403 देऊ शकणाऱ्या इतर प्रत्येक फीचरबद्दल यापैकी कोणतेही सांगत नाही. हा मार्गदर्शक अहवाल कॉलमनिहाय समजावतो, Allow आणि Block कुठे सेट करायचे ते दाखवतो, आणि तुमच्या स्वतःच्या कॉम्प्युटरवरून चालवता येईल अशा चाचणीने संपतो.
या पेजवर
- Cloudflare मध्ये AI क्रॉलर अहवाल कुठे आहे?
- AI Crawl Control अहवालातील प्रत्येक कॉलम आणि मेट्रिकचा अर्थ काय?
- Cloudflare मध्ये AI सर्च क्रॉलरना परवानगी आणि ट्रेनिंग क्रॉलरना ब्लॉक कसे करावे?
- Cloudflare च्या AI क्रॉलर डिफॉल्टमध्ये काय बदलले?
- परवानगी दिल्यानंतरही Cloudflare AI क्रॉलरना ब्लॉक का करते?
- Cloudflare कोणते AI क्रॉलर आत येऊ देते हे बाहेरून कसे पडताळावे?
- Cloudflare AI क्रॉलरना काय पाठवते हे AISeeWhy कसे तपासते?
Cloudflare मध्ये AI क्रॉलर अहवाल कुठे आहे?
डॅशबोर्डमध्ये तुमचे खाते आणि डोमेन निवडा, मग AI Crawl Control उघडा. Cloudflare सांगते की ते कॉन्फिगरेशनशिवाय काम करते आणि सर्व प्लॅनवर उपलब्ध आहे, जोपर्यंत तुमच्या डोमेनचे ट्रॅफिक Cloudflare मधून proxy होते. त्यात चार भाग आहेत:
- Overview: एकूण requests, volume मधील बदल, सर्वात सामान्य स्टेटस कोड, सर्वात लोकप्रिय पाथ आणि जास्त volume असलेले क्रॉलर यांचा सारांश, Cloudflare चे managed robots.txt चालू आहे का, आणि OpenAI, Microsoft, Google, ByteDance, Anthropic आणि Meta अशा operator नुसार गटबद्ध क्रॉलर.
- क्रॉलर यादी: प्रत्येक AI क्रॉलरसाठी एक ओळ, Action कॉलमसह जिथे तुम्ही Allow किंवा Block निवडता. Cloudflare चे दस्तऐवज या टॅबला एका पेजवर Crawlers आणि दुसऱ्यावर Security म्हणतात, त्यामुळे Action कॉलम असलेले टेबल शोधा.
- Metrics: वेळेनुसार requests, स्टेटस कोडचे वितरण, मजकुराचे स्वरूप, सर्वात लोकप्रिय पाथ आणि, पेड प्लॅनवर, referrals. फिल्टरमध्ये तारीख श्रेणी, क्रॉलर, operator, hostname आणि पाथ येतात, आणि तुम्ही CSV export करू शकता.
- Directives: तुमच्या robots.txt फाइलची स्थिती आणि robots.txt उल्लंघनांची यादी.
आकडे वाचताना प्लॅनच्या दोन मर्यादा महत्त्वाच्या आहेत. Free प्लॅनवर AI Crawl Control क्रॉलर फक्त त्यांच्या युजर एजंट स्ट्रिंगवरून ओळखते, त्यामुळे स्वतःची ओळख सांगणारे क्रॉलरच त्याला दिसतात, इतर काही नाही, आणि Metrics टॅब गेल्या 24 तासांचा असतो. पेड प्लॅन Bot Management detection ID द्वारे ओळख जोडतात, आणि Bot Management सह Enterprise ला कालावधी स्वतः ठरवता येतो.
AI Crawl Control अहवालातील प्रत्येक कॉलम आणि मेट्रिकचा अर्थ काय?
Cloudflare फील्डचे दस्तऐवज असे देते. व्याख्या महत्त्वाच्या आहेत, कारण काही आकडे तुमच्या अपेक्षेपेक्षा जास्त गोष्टी मोजतात.
- Crawler आणि Category: क्रॉलरचे नाव, त्याचा operator, आणि त्याची श्रेणी, जसे AI crawler, AI assistant किंवा archiver.
- Requests: परवानगी मिळालेल्या आणि अयशस्वी requests, trend चार्टसह. अयशस्वी requests कोणत्याही नियमामुळे किंवा response error मुळे असू शकतात, फक्त AI Crawl Control ब्लॉकमुळे नव्हे, त्यामुळे तुम्ही परवानगी दिलेल्या क्रॉलरसाठी मोठा आकडा दुसऱ्या नियमाकडे किंवा तुमच्या origin वरील errors कडे निर्देश करतो.
- Allowed requests: 200 ते 299 दरम्यान स्टेटस मिळालेल्या requests. Data transfer हे परवानगी मिळालेल्या requests साठी Cloudflare ने पाठवलेल्या बाइटवरून मोजले जाते.
- Robots.txt violations: तुमचे robots.txt नाकारत असलेला पाथ क्रॉलरने किती वेळा मागितला. Cloudflare मागील requests ची तुलना तुमच्या सध्याच्या नियमांशी करते, त्यामुळे आज जोडलेला नियम त्या वेळी परवानगी असलेल्या requests ही चिन्हांकित करू शकतो.
- Action: Allow, Block, किंवा pay per crawl beta मधील खात्यांसाठी Charge.
- Status code distribution: 2xx, 3xx, 4xx आणि 5xx. 4xx गटात ब्लॉकमुळे आलेले 403 आणि pay per crawl मुळे आलेले 402 येतात.
- Referrals आणि top referrers, फक्त पेड प्लॅनवर: AI सेवांमधून आलेल्या भेटी, उदाहरणार्थ chatgpt.com वरून, आणि त्या कोणत्या पेजवर आल्या.
तुम्ही निवडलेल्या action पासून अहवाल वाचा. Allow वर सेट केलेल्या क्रॉलरमध्ये मुख्यतः परवानगी मिळालेल्या requests आणि 2xx कोड दिसायला हवेत. त्यात अनेक अयशस्वी requests दिसत असतील तर त्या क्रॉलरसाठी फिल्टर केलेले स्टेटस कोड वितरण उघडा, आणि उत्तर देणारा नियम शोधण्यासाठी Security Analytics तपासा.
Cloudflare मध्ये AI सर्च क्रॉलरना परवानगी आणि ट्रेनिंग क्रॉलरना ब्लॉक कसे करावे?
हे तुम्ही प्रत्येक क्रॉलरसाठी किंवा वर्तनानुसार करू शकता. प्रत्येक क्रॉलरसाठी, AI Crawl Control उघडा आणि प्रत्येक ओळीसाठी Action सेट करा. Cloudflare सांगते की तिथे ब्लॉक केल्याने तुमच्या zone वर WAF custom rule तयार किंवा अपडेट होतो, जो पाथ अपवादांसाठी तुम्ही WAF मध्ये वाढवू शकता. पेड प्लॅनवर ब्लॉक झालेल्या क्रॉलरना 403 मिळेल की 402 हे निवडू शकता आणि साध्या मजकुराचा body सेट करू शकता.
वर्तनानुसार करायचे असल्यास Security, मग Settings मध्ये जा, Bot traffic ने फिल्टर करा आणि AI Crawler and Agent access policies उघडा. Cloudflare AI ट्रॅफिकची तीन वर्तनांमध्ये विभागणी करते, आणि प्रत्येक policy त्या वर्तनाच्या verified bots ना आणि जुळणाऱ्या unverified bots ना लागू होते:
- Search: नंतर प्रश्नांची उत्तरे देता यावीत म्हणून मजकूर गोळा करणे किंवा इंडेक्स करणे.
- Agent: एखाद्या व्यक्तीच्या वतीने real time मध्ये काम करणे, जसे चॅटमधून होणारे fetch आणि ब्राउझर एजंट.
- Training: मॉडेल ट्रेन किंवा fine-tune करण्यासाठी मजकूर गोळा करणे, ट्रेनिंग आणि सर्च दोन्हीसाठी वापरले जाणारे क्रॉलर धरून.
प्रत्येक वर्तन Block, Block on pages with ads, किंवा Allow (do not block) वर सेट करता येते. Training साठी Disallow सुद्धा आहे, जे फक्त robots.txt द्वारे क्रॉलरना विनंती करते. Bot Preference Sync चालू असताना Cloudflare तुमच्या robots.txt च्या सुरुवातीला managed नियम जोडते जे Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot आणि meta-externalagent ना नाकारतात, एक Content Signals ओळ जोडते, आणि edge वर AI ट्रेनिंग क्रॉलरनाही ब्लॉक करते, सर्च आणि ट्रेनिंग दोन्हीसाठी वापरले जाणारे क्रॉलर सोडून.
AI संदर्भ हवे असलेल्या बहुतेक साइटसाठी सुरक्षित संयोजन म्हणजे Search आणि Agent Allow वर आणि Training Disallow वर, आणि मग edge वर थांबवायचे असलेल्या फक्त-ट्रेनिंग क्रॉलरसाठी AI Crawl Control मध्ये स्वतंत्र Block actions.
Cloudflare च्या AI क्रॉलर डिफॉल्टमध्ये काय बदलले?
1 जुलै 2025 रोजी Cloudflare ने जाहीर केले की AI क्रॉलर निर्मात्यांना पैसे देत नसतील तर त्यांना ब्लॉक करणे हा डिफॉल्ट होईल. 1 जुलै 2026 रोजी त्याने एकच Block AI bots स्विच काढून वर वर्णन केलेल्या स्वतंत्र Search, Agent आणि Training policies आणल्या, Free सह सर्व प्लॅनसाठी. त्याच घोषणेत म्हटले होते की 15 सप्टेंबर 2026 पासून जोडल्या जाणाऱ्या नवीन डोमेनवर जाहिराती दाखवणाऱ्या पेजवर Training आणि Agent ब्लॉक असतील, आणि Search ला परवानगी असेल.
Cloudflare चे सध्याचे policy दस्तऐवज, शेवटचे 2 नोव्हेंबर 2026 रोजी अपडेट केलेले, सांगतात की नवीन डोमेनवर तिन्ही वर्तनांसाठी डिफॉल्ट Allow (do not block) आहे. Cloudflare च्या स्वतःच्या पेजेसनी वेगवेगळ्या वेळी वेगवेगळे डिफॉल्ट सांगितले असल्याने तुमच्या zone साठी यापैकी कोणत्याहीवर अवलंबून राहू नका: policy पेज उघडा आणि काय सेट आहे ते वाचा.
परवानगी दिल्यानंतरही Cloudflare AI क्रॉलरना ब्लॉक का करते?
AI Crawl Control मधील Allow action फक्त AI Crawl Control ला ब्लॉक करण्यापासून थांबवते. इतर फीचर तरीही request वर काम करतात. नेहमीची कारणे:
- Training ब्लॉक केल्याने दोन्ही करणारे सर्च क्रॉलरही ब्लॉक होतात. Cloudflare चे दस्तऐवज सांगतात की Training actions मिश्र हेतूच्या क्रॉलरना लागू होतात, आणि त्याची जुलै 2026 ची घोषणा Googlebot, Applebot आणि bingbot ही नावे देते, जे Training ब्लॉक करणारे ग्राहक 15 सप्टेंबर 2026 पासून ब्लॉक करतील. Disallow हा अरुंद पर्याय आहे, कारण त्याचा edge ब्लॉक मिश्र हेतूच्या क्रॉलरना वगळतो.
- Bot Fight Mode चालू आहे. Cloudflare सांगते की WAF custom rules किंवा Page Rules वापरून Bot Fight Mode वगळता येत नाही. तो क्रॉलरला चॅलेंज देत असेल तर तो बंद करा, किंवा उपलब्ध असलेल्या प्लॅनवर skip नियमांना सपोर्ट करणारा Super Bot Fight Mode वापरा.
- जुना WAF custom rule
botअसलेले युजर एजंट ब्लॉक करतो, किंवा rate limiting नियम एकदम आलेल्या requests ना 429 देतो. हे AI Crawl Control मधील Action काहीही असले तरी चालतात. - ब्लॉक नियम हाताने बदलला गेला. AI Crawl Control मागील WAF नियम दुसऱ्या response code वर बदलला असल्यास डॅशबोर्ड तुमची निवड लागू करू शकत नाही.
- robots.txt अजूनही क्रॉलरला नाकारते. Cloudflare चे Allow तुमचे robots.txt बदलत नाही, त्यामुळे नियम पाळणारा क्रॉलर तरीही दूर राहतो. सर्वात लोकप्रिय 1,000 डोमेनच्या आमच्या अभ्यासात, robots.txt मध्ये AI ट्रेनिंग क्रॉलर ब्लॉक करणाऱ्या 155 पैकी 98 साइटनी किमान एक AI सर्च किंवा युजर क्रॉलरही ब्लॉक केला होता.
Cloudflare कोणते AI क्रॉलर आत येऊ देते हे बाहेरून कसे पडताळावे?
तेच पेज ब्राउझरच्या युजर एजंटने आणि प्रत्येक क्रॉलरच्या युजर एजंटने मागवा, मग स्टेटस आणि आकाराची तुलना करा. खालील OpenAI, Perplexity आणि Google च्या स्ट्रिंग त्या कंपन्यांनी प्रकाशित केलेल्या आहेत.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429 किंवा 503 असलेली क्रॉलरची ओळ, किंवा ब्राउझरच्या ओळीपेक्षा खूप कमी आकार, म्हणजे तुमच्या origin समोरील कशाने तरी वेगळे उत्तर दिले. Free प्लॅनवर AI Crawl Control युजर एजंटवरून क्रॉलर ओळखते, त्यामुळे ही चाचणी त्याच्या ब्लॉकची वाजवी तपासणी आहे. Verified bot स्थिती किंवा bot score वर आधारित नियम तुमची request खऱ्या क्रॉलरपेक्षा वेगळी हाताळू शकतात, कारण ती operator च्या प्रकाशित रेंजमधून नव्हे तर तुमच्या IP पत्त्यावरून येते. चाचणीनंतर कोणता नियम जुळला ते पाहण्यासाठी Security Analytics मध्ये तुमच्या स्वतःच्या requests शोधा.
Cloudflare AI क्रॉलरना काय पाठवते हे AISeeWhy कसे तपासते?
AISeeWhy ची मोफत तपासणी खऱ्या ब्राउझरच्या बाजूने तुमचे पेज 16 AI आणि सर्च क्रॉलर म्हणून मागवते, प्रत्येक क्रॉलरसाठी तुमचे robots.txt लागू करते आणि फायरवॉल चॅलेंज पेज ओळखते, त्यामुळे Cloudflare डॅशबोर्डमधील निकाल क्रॉलरना प्रत्यक्ष मिळणाऱ्याशी जुळतो का हे तुम्ही पाहू शकता.
या समस्येवरील उपाय
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
Cloudflare AI Crawl Control मोफत आहे का?
होय. Cloudflare AI Crawl Control सर्व प्लॅनवर उपलब्ध असल्याचे सांगते. Free प्लॅन क्रॉलर फक्त युजर एजंटवरून ओळखतो आणि Metrics मध्ये गेले 24 तास दाखवतो; referral डेटा आणि custom block प्रतिसादांसाठी पेड प्लॅन लागतो.
Cloudflare AI Audit चे काय झाले?
त्याचे नाव बदलले. Cloudflare चे दस्तऐवज AI Crawl Control चे वर्णन पूर्वीचे AI Audit असे करतात, त्याच उद्देशासह: कोणते AI क्रॉलर भेट देतात ते पाहणे आणि प्रत्येकासाठी action ठरवणे.
AI Crawl Control मध्ये क्रॉलर ब्लॉक केल्याने माझे robots.txt बदलते का?
नाही. Block action WAF custom rule तयार किंवा अपडेट करते. Bot Preference Sync सह Training साठी Disallow पर्याय वापरला तरच robots.txt बदलते, जो Cloudflare चे managed नियम तुमच्या फाइलच्या सुरुवातीला जोडतो.
Cloudflare मध्ये robots.txt उल्लंघन कशाला म्हणतात?
तुमचे robots.txt नाकारत असलेल्या पाथसाठी AI क्रॉलरकडून आलेली request. Cloudflare मागील requests ची तुलना तुमच्या सध्याच्या नियमांशी करते, त्यामुळे नवीन नियम त्या वेळी परवानगी असलेल्या जुन्या requests ही चिन्हांकित करू शकतो.
pay per crawl म्हणजे काय?
AI क्रॉलरना प्रत्येक request साठी पैसे द्यायला सांगणारी Charge action, अन्यथा HTTP 402 आणि किंमत असे उत्तर देणारी. Cloudflare त्याचे वर्णन closed beta असे करते, आणि WAF किंवा Bot Management ब्लॉकना त्याच्यापेक्षा प्राधान्य असते.
स्रोत
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI क्रॉलर ॲक्सेस अहवाल, 2026-11