माझी साइट अचानक AI क्रॉलरना ब्लॉक का करत आहे?

प्रकाशित

छोटे उत्तर

AI क्रॉलरना ब्लॉक करू लागलेल्या साइटमध्ये जवळजवळ नेहमीच पाचपैकी एका ठिकाणी बदल झालेला असतो: प्रत्यक्ष दिली जाणारी robots.txt, Cloudflare च्या AI क्रॉलर धोरणांसारखी CDN सेटिंग, बॉट संरक्षण किंवा rate limit, होस्टिंगचे डीफॉल्ट, किंवा आता एरर देणारी robots.txt. आजची robots.txt आणि एखादे पेज प्रत्येक क्रॉलर म्हणून मिळवा, त्यांची ब्राउझरशी आणि तुमच्याकडे आधी जे होते त्याच्याशी तुलना करा, आणि हे स्तर याच क्रमाने तपासा.

AI उत्तरांमधून गायब व्हायचे असे कोणी ठरवत नाही. ते थीम अपडेट, सुरक्षा सेटिंग, मायग्रेशन किंवा प्रोव्हायडरकडील बदललेल्या डीफॉल्टचा दुष्परिणाम म्हणून घडते. ब्राउझरला साइट नेहमीसारखीच दिसते, त्यामुळे कोणी ChatGPT किंवा Perplexity ला उत्पादनाबद्दल विचारून त्याला स्पर्धकाचे नाव मिळेपर्यंत हा बदल लक्षात येत नाही. प्रत्येक स्तर असे माग सोडतो जे तुम्ही बाहेरून किंवा तुमच्या लॉगमध्ये तपासू शकता.

या पेजवर
  1. क्रॉलरना मिळणारी robots.txt बदलली आहे का?
  2. Cloudflare च्या 2026 मधील AI क्रॉलर धोरणांमुळे माझी साइट काय परवानगी देते ते बदलले का?
  3. बॉट संरक्षण किंवा rate limit क्रॉलरना अडवत आहे का?
  4. माझ्या होस्टिंग प्रोव्हायडरने त्याचे डीफॉल्ट बदलले का?
  5. robots.txt एरर देत आहे का?
  6. हे कधी सुरू झाले हे कसे शोधावे?
  7. पुढच्या वेळी हे लवकर कसे पकडावे?

क्रॉलरना मिळणारी robots.txt बदलली आहे का?

https://yourdomain.com/robots.txt मिळवा आणि तुमच्या रिपॉझिटरीमधील किंवा बॅकअपमधील फाइलशी तुलना करा. डिस्कवरची नाही, तर प्रत्यक्ष दिली जाणारी फाइल पाहा, कारण वाटेत अनेक स्तर ती बदलू शकतात:

Google Search Console चा robots.txt अहवाल गेल्या 30 दिवसांत Google ने मिळवलेल्या आवृत्त्या दाखवतो, आणि फाइल किंवा मिळवण्याचा निकाल बदलला की नवी नोंद येते. यात फक्त Google ला दिसलेले असते, पण तुमचा सर्व्हर युजर एजंटनुसार robots.txt बदलत नसेल, तर AI क्रॉलरनाही तीच फाइल मिळाली.

Cloudflare च्या 2026 मधील AI क्रॉलर धोरणांमुळे माझी साइट काय परवानगी देते ते बदलले का?

Cloudflare ने त्याची AI क्रॉलर नियंत्रणे अनेकदा बदलली आहेत, आणि काही बदल कोणीही संपादित न करता झोनचे वर्तन बदलतात. 1 जुलै 2025 पासून ते नव्या डोमेनना साइन-अपच्या वेळी AI क्रॉलरना परवानगी द्यायची का हे विचारू लागले, आणि सुरुवातीची स्थिती ब्लॉक होती. 1 जुलै 2026 रोजी त्याने एकच Block AI bots स्विच बदलून Search, Agent आणि Training ही वेगवेगळी धोरणे आणली, Free सह सर्व प्लॅनसाठी.

बहुतेक साइटना अडचणीत आणणारा तपशील म्हणजे मिश्र उद्देशाचे क्रॉलर. Cloudflare च्या दस्तऐवजानुसार Training कृती सर्च आणि ट्रेनिंग दोन्हीसाठी वापरल्या जाणाऱ्या क्रॉलरनाही लागू होतात. जुलै 2026 च्या घोषणेत सांगितले होते की 15 सप्टेंबर 2026 पासून, नव्या पर्यायांतून किंवा जुन्या Block AI bots सेटिंगमधून Training ब्लॉक करणे निवडलेल्या ग्राहकांसाठी Googlebot, Applebot आणि BingBot सारखे बहुउद्देशीय क्रॉलर ब्लॉक होतील. त्यामुळे वर्षापूर्वी सेट केलेले ट्रेनिंग opt-out आता सर्च क्रॉलरपर्यंत पोहोचू शकते.

नव्या डोमेनच्या डीफॉल्टचे वर्णन कालांतराने वेगवेगळे झाले आहे. त्याच घोषणेनुसार 15 सप्टेंबर 2026 पासून नव्या डोमेनवर जाहिराती दाखवणाऱ्या पेजेसवर Training आणि Agent ब्लॉक असतील, तर 2 नोव्हेंबर 2026 रोजी अपडेट झालेले धोरण दस्तऐवज सांगतात की नवे डोमेन तिन्ही Allow वर ठेवून सुरू होतात. Security, मग Settings उघडा, Bot traffic नुसार फिल्टर करा आणि तुमच्या स्वतःच्या झोनसाठी AI Crawler and Agent access policies वाचा. Cloudflare AI Crawl Control वरील आमचा मार्गदर्शक प्रत्येक सेटिंग समजावतो.

बॉट संरक्षण किंवा rate limit क्रॉलरना अडवत आहे का?

बॉट संरक्षण प्रत्येक विनंतीचे मूल्यमापन करते, आणि क्रॉलर डेटा सेंटरमधून भराभर अनेक पेजेस मिळवतात, जे बॉटचेच वर्तन आहे. गेल्या महिन्यात आत येऊ शकणाऱ्या क्रॉलरला त्याच्या ऑपरेटरने IP रेंज किंवा क्रॉलचा वेग बदलल्यानंतर, किंवा संरक्षणाचे नियम अपडेट झाल्यानंतर, चॅलेंज पेज मिळू लागू शकतात. Cloudflare चे Bot Fight Mode हे सामान्य कारण आहे, आणि Cloudflare सांगते की ते WAF custom rules किंवा Page Rules ने बायपास करता किंवा वगळता येत नाही, त्यामुळे ते चालू असताना नंतर जोडलेल्या allow नियमाचा उपयोग होत नाही. एकदम आलेल्या विनंत्यांना 429 देणाऱ्या नव्या rate limit चाही व्यस्त क्रॉलरवर तसाच परिणाम होतो.

बाहेरून चाचणी घ्या: एखादे पेज ब्राउझर म्हणून आणि दोन AI सर्च क्रॉलर म्हणून मागवा, मग robots.txt क्रॉलर म्हणून मागवा.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

फक्त क्रॉलरसाठी 403, 429 किंवा 503, Just a moment... शीर्षकाचे पेज, किंवा ब्राउझरपेक्षा खूपच लहान body म्हणजे क्रॉलरला वेगळी वागणूक मिळते. ही चाचणी विक्रेत्याच्या नव्हे तर तुमच्या IP वरून येते, त्यामुळे पडताळलेल्या बॉट स्थितीवर आधारित नियम खऱ्या क्रॉलरला तरीही वेगळे वागवू शकतात. कोणत्या नियमाने उत्तर दिले हे फायरवॉलच्या इव्हेंट लॉगमध्ये दिसते.

माझ्या होस्टिंग प्रोव्हायडरने त्याचे डीफॉल्ट बदलले का?

काही होस्ट तुमचे स्वतःचे नियम चालण्याआधीच सर्व्हरवर AI ट्रॅफिक फिल्टर करतात. उदाहरणार्थ SiteGround ने ऑगस्ट 2025 मध्ये लिहिले की ते ट्रेनिंग डेटा गोळा करण्यासाठी बनवलेले AI क्रॉलर डीफॉल्टनुसार ब्लॉक करते आणि कोणी AI असिस्टंटला एखाद्या पेजबद्दल विचारल्यावर भेट देणाऱ्या क्रॉलरना परवानगी देते. असे नियम तुमच्या robots.txt मध्ये दिसत नाहीत, आणि होस्ट त्याच्या बॉट यादी अपडेट करतो तेव्हा ते बदलू शकतात.

एकाच होस्टवरील अनेक साइटवर एकाच वेळी ब्लॉक दिसल्यास, किंवा तुमच्या ॲप्लिकेशन लॉगपर्यंत कधीच न पोहोचणाऱ्या प्रतिसादांमध्ये दिसल्यास, तुमच्या खात्याला कोणते बॉट नियम लागू होतात आणि तुम्हाला ठेवायचे असलेले क्रॉलर त्यातून वगळता येतात का हे होस्टला विचारा.

robots.txt एरर देत आहे का?

अयशस्वी होणारी robots.txt कोणत्याही Disallow ओळीपेक्षा जास्त ब्लॉक करू शकते. RFC 9309 नुसार 4xx प्रतिसाद म्हणजे क्रॉलर सगळे मिळवू शकतो, पण सर्व्हर एरर (5xx) किंवा अजिबात उत्तर नसणे म्हणजे त्याने संपूर्ण साइट नाकारलेली आहे असे गृहीत धरले पाहिजे. अशा एररच्या पहिल्या 12 तासांत Google क्रॉलिंग थांबवते आणि मग 30 दिवसांपर्यंत शेवटची चांगली प्रत वापरते.

अशा प्रकारे लोडमधील अचानक वाढ, /robots.txt ला चॅलेंज देणारा फायरवॉल नियम, किंवा तिचाही समावेश असलेली rate limit, एकही नियम न बदलता नियम पाळणाऱ्या क्रॉलरना बाहेर ठेवू शकते. वरील चाचणीतील शेवटच्या कमांडने 200 आणि text/plain परत दिले पाहिजे. तिथे 5xx, टाइमआउट किंवा चॅलेंज पेज असल्यास ते सर्वात आधी दुरुस्त करा.

हे कधी सुरू झाले हे कसे शोधावे?

तारीख मिळाली की कोडे सुटते आणि फक्त आधी-नंतरची तुलना उरते. तुमच्या ॲक्सेस लॉगमध्ये AI क्रॉलर युजर एजंटच्या विनंत्या फिल्टर करा आणि त्यांचे स्टेटस कोड 200 वरून 403, 429 किंवा 503 वर गेले तो दिवस शोधा, किंवा robots.txt वाचल्यानंतर त्यांनी पेजेस मागणे थांबवले तो दिवस; AI क्रॉलरसाठी सर्व्हर लॉग तपासण्यावरील आमच्या मार्गदर्शकात कमांड आहेत. तुमच्या CDN ने ब्लॉक केलेल्या विनंत्या origin पर्यंत पोहोचत नाहीत, त्यामुळे CDN ही तपासा. Cloudflare वर AI Crawl Control कालांतराने स्टेटस कोडचे वितरण दाखवते, जे तुम्ही क्रॉलरनुसार फिल्टर करू शकता.

मग ती तारीख डिप्लॉय, प्लगइन व थीम अपडेट, CDN सेटिंगमधील बदल आणि प्रोव्हायडरच्या घोषणांशी जुळवा. काही करण्याआधी स्रोत IP विक्रेत्याचेच आहेत याची खात्री करा, म्हणजे तुम्ही खरा क्रॉलर पाहत आहात, त्याचे नाव वापरणारा तोतया नाही.

पुढच्या वेळी हे लवकर कसे पकडावे?

फक्त ट्रॅफिक घटल्यावर नाही, तर प्रत्येक डिप्लॉय, CDN बदल आणि प्लगइन अपडेटनंतर ॲक्सेस तपासा. AISeeWhy ची मोफत तपासणी खऱ्या ब्राउझरच्या बाजूने पेज 16 AI आणि सर्च क्रॉलर म्हणून मिळवते, प्रत्येक क्रॉलरसाठी तुमची robots.txt लागू करते आणि फायरवॉल चॅलेंज पेज ओळखते. मोफत robots.txt तपासणी आज लाइव्ह असलेल्या फाइलनुसार प्रत्येक क्रॉलरसाठी पेज मिळवता येते का ते दाखवते.

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

ChatGPT ने माझी साइट दाखवणे का थांबवले?

बहुतेकदा कारण असे की ChatGPT सर्चमागचा क्रॉलर OAI-SearchBot robots.txt मधील बदल, CDN धोरण किंवा बॉट संरक्षणामुळे ब्लॉक झाला. OpenAI सांगते की त्याला ब्लॉक करणाऱ्या साइट ChatGPT सर्च उत्तरांमध्ये दिसणार नाहीत. त्या क्रॉलरसाठी प्रत्येक स्तर तपासा, आणि robots.txt दुरुस्त केल्यानंतर सुमारे 24 तास थांबा; OpenAI नुसार त्याच्या सिस्टमला जुळवून घेण्यास एवढा वेळ लागतो.

Cloudflare माझ्या साइटवर Googlebot ला ब्लॉक करू लागले का?

असे होऊ शकते. Cloudflare ने सांगितले की 15 सप्टेंबर 2026 पासून Training ब्लॉक करणारे ग्राहक Googlebot, Applebot आणि BingBot सारखे बहुउद्देशीय क्रॉलरही ब्लॉक करतात. त्याच्या दस्तऐवजानुसार Training Disallow पर्याय ट्रेनिंग क्रॉलरना edge वर ब्लॉक करतो पण मिश्र उपयोगाचे क्रॉलर सोडून देतो, त्यामुळे तुमचा झोन कोणता पर्याय वापरतो ते तपासा.

वेबसाइट बिल्डर किंवा प्लगइन माझ्यासाठी robots.txt बदलू शकतो का?

होय. साइट बिल्डर आणि SEO किंवा सुरक्षा प्लगइन robots.txt मध्ये AI क्रॉलर नियम लिहू शकतात, आणि काही कालांतराने त्यांच्या बॉट यादी वाढवतात. प्रत्येक अपडेटनंतर लाइव्ह फाइल मिळवा आणि तुम्हाला महत्त्वाच्या सर्च क्रॉलरना लागू होणारे गट वाचा.

माझी लाइव्ह robots.txt सर्व्हरवरील फाइलपेक्षा वेगळी का आहे?

तुमच्या सर्व्हरसमोरील काहीतरी ती बदलत आहे. उदाहरणार्थ Cloudflare ची managed robots.txt त्याच प्रतिसादात तुमच्या फाइलच्या सुरुवातीला स्वतःचे नियम आणि content signals जोडते. विनंतीवर robots.txt तयार करणारी CMS, किंवा होस्ट-स्तरावरील सेटिंग, तीही ती बदलू किंवा वाढवू शकते.

दुरुस्त केल्यानंतर AI क्रॉलर परत यायला किती वेळ लागतो?

RFC 9309 नुसार क्रॉलरनी कॅशमधील robots.txt 24 तासांपेक्षा जास्त वापरू नये, OpenAI सुमारे 24 तास सांगते आणि Perplexity 24 तासांपर्यंत. तुमचा प्रोव्हायडर फायरवॉल बदल डिप्लॉय करताच ते लागू होतात, पण क्रॉलर त्यांच्या स्वतःच्या वेळापत्रकानुसार परत येतात.

स्रोत

आणखी लेख