मेरो साइटले अचानक AI क्रलर किन ब्लक गरिरहेको छ?
AI क्रलर ब्लक गर्न थालेको साइटमा लगभग सधैँ पाँचमध्ये कुनै एक ठाउँमा परिवर्तन भएको हुन्छ: वास्तवमा दिइने robots.txt, Cloudflare का AI क्रलर नीति जस्तो CDN सेटिङ, बट सुरक्षा वा rate limit, होस्टिङको डिफल्ट, वा अहिले त्रुटि फर्काउने robots.txt। आजको robots.txt र एउटा पेज हरेक क्रलरका रूपमा ल्याउनुहोस्, तिनलाई ब्राउजर र पहिले भएको कुरासँग तुलना गर्नुहोस्, र ती तह यही क्रममा जाँच्नुहोस्।
AI उत्तरबाट हराउने निर्णय कसैले गर्दैन। यो थिम अपडेट, सुरक्षा सेटिङ, माइग्रेसन वा कुनै प्रदायकको डिफल्ट बदलिँदाको साइड इफेक्टका रूपमा हुन्छ। ब्राउजरले साइट अझै सामान्य रूपमा देख्छ, त्यसैले कसैले ChatGPT वा Perplexity लाई उत्पादनबारे सोधेर प्रतिस्पर्धीको नाम नपाउन्जेल परिवर्तन थाहै नहुन सक्छ। हरेक तहले बाहिरबाट वा तपाईंको लगमा जाँच्न मिल्ने निशान छोड्छ।
यस पेजमा
- क्रलरले पाउने robots.txt बदलियो कि?
- के Cloudflare का 2026 का AI क्रलर नीतिले मेरो साइटले अनुमति दिने कुरा बदले?
- के बट सुरक्षा वा rate limit ले क्रलरलाई समातिरहेको छ?
- के मेरो होस्टिङ प्रदायकले आफ्ना डिफल्ट बदल्यो?
- के robots.txt ले त्रुटि फर्काइरहेको छ?
- यो कहिले सुरु भयो कसरी पत्ता लगाउने?
- अर्को पटक यसलाई चाँडै कसरी समात्ने?
क्रलरले पाउने robots.txt बदलियो कि?
https://yourdomain.com/robots.txt ल्याउनुहोस् र त्यसलाई आफ्नो repository वा ब्याकअपको फाइलसँग तुलना गर्नुहोस्। डिस्कमा भएको होइन, दिइएको फाइल हेर्नुहोस्, किनभने बाटोमा धेरै तहले यसलाई बदल्न सक्छन्:
- deploy ले
Disallow: /भएको staging robots.txt पठाउँछ, वा माइग्रेसनपछि प्लेटफर्मको डिफल्ट फाइल नै रहन्छ। - साइट बिल्डरको सेटिङले AI क्रलर नियम थप्छ। उदाहरणका लागि Squarespace मा Block known artificial intelligence crawlers विकल्प छ, जसले robots.txt मा 26 बटको नाम लेख्छ र समयसँगै अझ थपिन सक्छन् भन्छ। यो डिफल्टमा बन्द हुन्छ, त्यसैले कसैले खोल्नुपर्छ, तर पछि सूची बढ्न सक्छ।
- SEO वा सुरक्षा प्लगइनको अपडेटले नयाँ नियम लेख्छ, वा कसैले खोल्ने नयाँ विकल्प थप्छ।
- Bot Preference Sync खुला छ र कुनै AI नीति Block वा Disallow मा छ भने Cloudflare ले आफ्नो managed robots.txt तपाईंको फाइलको सुरुमा जोड्छ। तब तपाईंको आफ्नो फाइल नबदलिए पनि दिइने फाइल
ClaudeBot,GPTBotर अन्य छवटा ट्रेनिङ टोकनका लागिDisallow: /बाट सुरु हुन्छ। - ट्रेनिङ क्रलरका लागि बनाइएको नियम अरूमा पनि कपी भयो,
OAI-SearchBot,Claude-SearchBotवाPerplexityBotजस्ता सर्च क्रलरसमेत।
Google Search Console को robots.txt रिपोर्टले गत 30 दिनमा Google ले ल्याएका संस्करण देखाउँछ, र फाइल वा ल्याउने नतिजा बदलिँदा हरेक पटक नयाँ प्रविष्टि थपिन्छ। यसले Google ले देखेको कुरा मात्र समेट्छ, तर तपाईंको सर्भरले user agent अनुसार robots.txt फरक दिँदैन भने AI क्रलरले पनि उही फाइल पाए।
के Cloudflare का 2026 का AI क्रलर नीतिले मेरो साइटले अनुमति दिने कुरा बदले?
Cloudflare ले आफ्ना AI क्रलर नियन्त्रण धेरै पटक बदलेको छ, र केही परिवर्तनले कसैले सम्पादन नगरी zone को व्यवहार बदल्छन्। 1 जुलाई 2025 मा यसले नयाँ डोमेनलाई साइन-अपकै बेला AI क्रलरलाई अनुमति दिने कि नदिने सोध्न थाल्यो, सुरुको अवस्था ब्लक राखेर। 1 जुलाई 2026 मा यसले एउटै Block AI bots स्विचको सट्टा Free सहित सबै प्लानका लागि छुट्टाछुट्टै Search, Agent र Training नीति ल्यायो।
धेरैजसो साइट फस्ने कुरा भनेको मिश्रित उद्देश्यका क्रलर हुन्। Cloudflare को कागजात भन्छ Training कार्य सर्च र ट्रेनिङ दुवैमा प्रयोग हुने क्रलरमा पनि लागू हुन्छ। यसको जुलाई 2026 को घोषणाले भन्यो, 15 सेप्टेम्बर 2026 देखि नयाँ विकल्प वा पुरानो Block AI bots सेटिङबाट Training ब्लक गर्ने ग्राहकका लागि Googlebot, Applebot र BingBot जस्ता बहुउद्देश्यीय क्रलर ब्लक हुनेछन्। त्यसैले एक वर्षअघि राखिएको ट्रेनिङ opt-out अहिले सर्च क्रलरसम्म पुग्न सक्छ।
नयाँ डोमेनका डिफल्ट समयसँगै फरक तरिकाले वर्णन गरिएका छन्। उही घोषणाले 15 सेप्टेम्बर 2026 देखि नयाँ डोमेनमा विज्ञापन देखाउने पेजमा Training र Agent ब्लक हुने भन्यो, भने 2 नोभेम्बर 2026 मा अपडेट भएको नीति कागजात भन्छ नयाँ डोमेन तीनवटै Allow मा सुरु हुन्छन्। Security, त्यसपछि Settings खोल्नुहोस्, Bot traffic ले फिल्टर गर्नुहोस् र आफ्नै zone का AI Crawler and Agent access policies पढ्नुहोस्। Cloudflare AI Crawl Control बारे हाम्रो गाइडले हरेक सेटिङ बुझाउँछ।
के बट सुरक्षा वा rate limit ले क्रलरलाई समातिरहेको छ?
बट सुरक्षाले हरेक अनुरोधको मूल्याङ्कन गर्छ, र क्रलरले डेटा सेन्टरबाट छिटो धेरै पेज ल्याउँछन्, जुन बटकै काम हो। गत महिना छिर्ने क्रलरले यसको सञ्चालकले IP दायरा वा क्रल गति बदलेपछि, वा सुरक्षा नियम अपडेट भएपछि च्यालेन्ज पेज पाउन थाल्न सक्छ। Cloudflare को Bot Fight Mode सामान्य कारण हो, र Cloudflare भन्छ यसलाई WAF custom rule वा Page Rule ले छल्न वा छोड्न सकिँदैन, त्यसैले यो खुला रहँदा पछि थपिएको allow नियमले काम गर्दैन। एकैचोटि आउने धेरै अनुरोधलाई 429 दिने नयाँ rate limit ले पनि व्यस्त क्रलरमा उस्तै असर गर्छ।
बाहिरबाट परीक्षण गर्नुहोस्: एउटा पेज ब्राउजर र दुई AI सर्च क्रलरका रूपमा माग्नुहोस्, त्यसपछि robots.txt क्रलरका रूपमा माग्नुहोस्।
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt क्रलरका लागि मात्र 403, 429 वा 503, Just a moment... शीर्षक भएको पेज, वा ब्राउजरको भन्दा निकै सानो body आउनुको अर्थ क्रलरलाई फरक व्यवहार गरिँदैछ। परीक्षण कम्पनीको होइन, तपाईंको IP बाट आउँछ, त्यसैले verified bot स्थितिमा आधारित नियमले वास्तविक क्रलरलाई अझै फरक व्यवहार गर्न सक्छन्। फायरवालको event log ले कुन नियमले जवाफ दियो देखाउँछ।
के मेरो होस्टिङ प्रदायकले आफ्ना डिफल्ट बदल्यो?
केही होस्टले तपाईंका आफ्नै नियम चल्नुअघि सर्भरमै AI ट्राफिक फिल्टर गर्छन्। उदाहरणका लागि SiteGround ले अगस्ट 2025 मा लेख्यो, यसले ट्रेनिङ डेटा सङ्कलन गर्न बनेका AI क्रलर डिफल्टमै ब्लक गर्छ र कसैले AI असिस्टेन्टलाई कुनै पेजबारे सोध्दा आउने क्रलरलाई अनुमति दिन्छ। यस्ता नियम तपाईंको robots.txt मा देखिँदैनन्, र होस्टले आफ्ना बट सूची अपडेट गर्दा बदलिन सक्छन्।
एउटै होस्टका धेरै साइटमा एकैचोटि ब्लक देखियो, वा तपाईंको एप्लिकेसन लगसम्म कहिल्यै नपुग्ने जवाफमा देखियो भने होस्टलाई तपाईंको खातामा कुन बट नियम लागू हुन्छन् र राख्न चाहेका क्रलरलाई छुट दिन मिल्छ कि सोध्नुहोस्।
के robots.txt ले त्रुटि फर्काइरहेको छ?
असफल हुने robots.txt ले कुनै पनि Disallow लाइनभन्दा बढी ब्लक गर्न सक्छ। RFC 9309 अनुसार 4xx जवाफको अर्थ क्रलरले सबै ल्याउन सक्छ, तर सर्भर त्रुटि (5xx) वा कुनै जवाफ नै नआउनुको अर्थ पूरै साइट निषेधित मान्नुपर्छ। यस्ता त्रुटिको पहिलो 12 घण्टा Google ले क्रल गर्न रोक्छ र त्यसपछि 30 दिनसम्म आफ्नो अन्तिम ठीक प्रतिलिपि प्रयोग गर्छ।
यसरी लोडको उछाल, /robots.txt लाई च्यालेन्ज दिने फायरवाल नियम, वा यसलाई समेट्ने rate limit ले एउटै नियम नबदली राम्रो व्यवहार गर्ने क्रलरलाई बाहिर राख्न सक्छन्। माथिको परीक्षणको अन्तिम कमान्डले 200 र text/plain फर्काउनुपर्छ। त्यहाँ 5xx, timeout वा च्यालेन्ज पेज आयो भने सबैभन्दा पहिले त्यही ठीक गर्नुहोस्।
यो कहिले सुरु भयो कसरी पत्ता लगाउने?
मितिले रहस्यलाई diff मा बदल्छ। आफ्नो access log मा AI क्रलरका user agent का अनुरोध फिल्टर गर्नुहोस् र तिनका स्थिति कोड 200 बाट 403, 429 वा 503 मा सरेको दिन, वा robots.txt पढेपछि तिनले पेज माग्न छोडेको दिन खोज्नुहोस्; सर्भर लगमा AI क्रलर जाँच्नेबारे हाम्रो गाइडमा कमान्ड छन्। तपाईंको CDN ले ब्लक गरेका अनुरोध origin सम्म पुग्दैनन्, त्यसैले CDN पनि जाँच्नुहोस्। Cloudflare मा AI Crawl Control ले समयसँगै स्थिति कोडको वितरण देखाउँछ, जसलाई क्रलरअनुसार फिल्टर गर्न सकिन्छ।
त्यसपछि त्यो मितिलाई deploy, प्लगइन र थिम अपडेट, CDN सेटिङका परिवर्तन र प्रदायकका घोषणासँग मिलाउनुहोस्। कदम चाल्नुअघि स्रोत IP कम्पनीकै हुन् भनेर पक्का गर्नुहोस्, ताकि तपाईं वास्तविक क्रलर हेर्दै हुनुहुन्छ, यसको नाम प्रयोग गर्ने नक्कली होइन।
अर्को पटक यसलाई चाँडै कसरी समात्ने?
ट्राफिक घटेपछि मात्र होइन, हरेक deploy, CDN परिवर्तन र प्लगइन अपडेटपछि पहुँच जाँच्नुहोस्। AISeeWhy को निःशुल्क जाँचले पेजलाई वास्तविक ब्राउजरको छेउमा 16 AI र सर्च क्रलरका रूपमा ल्याउँछ, हरेक क्रलरका लागि तपाईंको robots.txt लागू गर्छ र फायरवालका च्यालेन्ज पेज पहिचान गर्छ। निःशुल्क robots.txt चेकरले आज लाइभ रहेको फाइलअनुसार हरेक क्रलरले पेज ल्याउन पाउँछ कि पाउँदैन देखाउँछ।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
ChatGPT ले मेरो साइट देखाउन किन छोड्यो?
प्रायः ChatGPT सर्चको पछाडिको क्रलर OAI-SearchBot robots.txt परिवर्तन, CDN नीति वा बट सुरक्षाले ब्लक भएकाले। OpenAI भन्छ यसलाई ब्लक गर्ने साइट ChatGPT सर्चका उत्तरमा देखिँदैनन्। त्यो क्रलरका लागि हरेक तह जाँच्नुहोस्, र robots.txt ठीक गरेपछि करिब 24 घण्टा पर्खनुहोस्, जुन OpenAI अनुसार यसका प्रणालीलाई मिलाउन लाग्ने समय हो।
के Cloudflare ले मेरो साइटमा Googlebot ब्लक गर्न थाल्यो?
हुन सक्छ। Cloudflare ले भन्यो, 15 सेप्टेम्बर 2026 देखि Training ब्लक गर्ने ग्राहकले Googlebot, Applebot र BingBot जस्ता बहुउद्देश्यीय क्रलर पनि ब्लक गर्छन्। यसको कागजात भन्छ Training Disallow विकल्पले edge मा ट्रेनिङ क्रलर ब्लक गर्छ तर मिश्रित प्रयोगका क्रलर छोड्छ, त्यसैले तपाईंको zone ले कुन विकल्प प्रयोग गर्छ जाँच्नुहोस्।
के वेबसाइट बिल्डर वा प्लगइनले मेरो लागि robots.txt बदल्न सक्छ?
सक्छ। साइट बिल्डर र SEO वा सुरक्षा प्लगइनले robots.txt मा AI क्रलर नियम लेख्न सक्छन्, र केहीले समयसँगै आफ्ना बट सूची बढाउँछन्। हरेक अपडेटपछि लाइभ फाइल ल्याउनुहोस् र तपाईंलाई चाहिने सर्च क्रलरमा लागू हुने समूह पढ्नुहोस्।
मेरो लाइभ robots.txt सर्भरमा भएको फाइलभन्दा किन फरक छ?
तपाईंको सर्भरको अगाडिको कुनै कुराले यसलाई बदलिरहेको छ। उदाहरणका लागि Cloudflare को managed robots.txt ले उही जवाफमा तपाईंको फाइलको सुरुमा आफ्नै नियम र content signal जोड्छ। अनुरोधमा robots.txt बनाउने CMS, वा होस्ट तहको सेटिङले पनि यसलाई बदल्न वा बढाउन सक्छ।
ठीक गरेपछि AI क्रलर फर्कन कति समय लाग्छ?
RFC 9309 भन्छ क्रलरले cache गरिएको robots.txt 24 घण्टाभन्दा बढी प्रयोग गर्नु हुँदैन, OpenAI करिब 24 घण्टा र Perplexity 24 घण्टासम्म भन्छन्। फायरवालका परिवर्तन प्रदायकले deploy गर्नेबित्तिकै लागू हुन्छन्, तर क्रलर आफ्नै तालिकामा फर्कन्छन्।
स्रोतहरू
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers