दश मध्ये चार व्यावसायिक वेबसाइटले AI क्रलरलाई फर्काउँछन्
अमेरिका, बेलायत र फ्रान्सका 165 व्यावसायिक वेबसाइटको हाम्रो परीक्षणमा 38% ले सर्भरमै कम्तीमा एउटा AI क्रलरलाई फर्काए, लगभग सधैं तालिम वा स्क्रेपर बोटलाई। करिब दश साइटमध्ये एकले PerplexityBot वा OAI-SearchBot जस्ता AI खोज क्रलरलाई पनि रोके, जुन क्रलरले उद्धरणसम्म पुर्याउन सक्छन्। प्रत्येक क्रलरका लागि एउटा अनुरोध पठाएर आफ्नो साइट जाँच्नुहोस्।
तपाईंले ChatGPT लाई आफ्नै उत्पादनबारे सोध्नुहुन्छ र उसले प्रतिस्पर्धी, एउटा समीक्षा साइट र एउटा फोरम थ्रेडको नाम लिन्छ। कहिलेकाहीँ यो सामग्रीको कुरा हुन्छ। प्रायः भने फायरवालले AI क्रलरलाई "होइन" भनेर जवाफ दिइरहेको हुन्छ, र साइट ब्राउजरमा चल्ने भएकाले तपाईंको टोलीमा कसैले त्यो देखेकै हुँदैन।
यस पेजमा
हामीले के जाँच्यौं?
हामी एउटै ठेगानाबाट एउटा पेज धेरै पटक अनुरोध गर्छौं: एकपटक सामान्य ब्राउजरका रूपमा, र त्यसपछि 14 AI र खोज क्रलरका रूपमा एक-एक पटक, जसमा OpenAI का GPTBot, OAI-SearchBot र ChatGPT-User, Anthropic का ClaudeBot र Claude-SearchBot, र Perplexity को PerplexityBot पर्छन्। ब्राउजरले पेज पायो तर क्रलरले 401, 403, 406, 429, 451, 503 वा चुनौती पेज पायो भने, साइटले त्यो क्रलरलाई फर्काइरहेको हो।
नमुनामा अमेरिका, बेलायत र फ्रान्सका 218 व्यावसायिक वेबसाइट छन्, जसको परीक्षण 18 देखि 21 नोभेम्बर 2026 सम्म गरियो। 165 मा हामीले पूरा परीक्षण चलाउन सक्यौं। बाँकी 53 ले हाम्रो साधारण ब्राउजर अनुरोध पनि अस्वीकार गरे वा जवाफ दिएनन्, त्यसैले अनुमान लगाउनुको सट्टा हामीले तिनलाई छोड्यौं।
हामीले के भेट्टायौं?
- परीक्षण गर्न मिल्ने साइटमध्ये 38% (165 मध्ये 63) ले कम्तीमा एउटा AI क्रलरलाई फर्काए।
- ती सबै साइटले कम्तीमा एउटा तालिम वा स्क्रेपर क्रलरलाई अस्वीकार गरे।
Bytespiderलाई सबै साइटको 35% ले,ClaudeBotलाई 13% ले रGPTBotलाई 11% ले अस्वीकार गरे। - 10% साइट (16) ले कम्तीमा एउटा AI खोज क्रलरलाई पनि अस्वीकार गरे, र 5% (8) ले कुनै व्यक्तिले सहायकलाई सोध्दा पेज तुरुन्तै खोल्ने क्रलरलाई अस्वीकार गरे।
- सबैभन्दा महत्त्वपूर्ण खोज क्रलर
PerplexityBot(11 साइट) रOAI-SearchBot(5 साइट) थिए। - हामीले परीक्षण गरेका कुनै पनि क्रलरलाई फर्काउने 66 साइटमध्ये 32 को पछाडि Cloudflare थियो। अरू 30 मा कुन फायरवालले जवाफ दियो भन्ने हामीले छुट्याउन सकेनौं।
यो किन हुन्छ, र कहिले यो छनोट हो?
यसमध्ये धेरै सम्भवतः जानाजानी गरिएको हो। धेरै मालिकले आफ्नो सामग्री मोडेल तालिमका लागि प्रयोग होस् भन्ने चाहँदैनन्, र स्क्रेपर रोक्ने बोट-सुरक्षा सेटिङ सजिलै खोल्न सकिन्छ। यो उचित छनोट हो।
समस्या के हो भने AI कम्पनीहरूले तालिम र खोजका लागि छुट्टाछुट्टै क्रलर चलाउँछन्। तालिम क्रलर रोक्नु भनेको खोज क्रलर रोक्नु होइन, र उत्तरमा तपाईंको पेज उद्धृत हुन सक्ने क्रलर चाहिँ खोज क्रलर नै हो।
के सबैभन्दा ठूला साइटले राम्रो गर्छन्?
खासै होइन। सबैभन्दा लोकप्रिय 1,000 डोमेनमाथिको हाम्रो robots.txt रिपोर्टमा, robots.txt भएका साइटमध्ये 29.9% ले कम्तीमा एउटा AI तालिम क्रलर रोक्छन्, र तीमध्ये 63.2% ले कम्तीमा एउटा AI खोज वा प्रयोगकर्ता क्रलर पनि रोक्छन्। केवल 11.0% ले तालिम रोक्दै सबै AI खोज क्रलरलाई अनुमति दिन्छन्, जुन धेरैले सम्भवतः चाहेको व्यवस्था हो।
दश मिनेटमा आफ्नै साइट कसरी जाँच्ने?
yoursite.com/robots.txtखोल्नुहोस्। तपाईंलाई चासो भएको प्रत्येक AI क्रलरका लागि कुनै समूहले त्यसको नाम लिएको छ कि छैन र समूहले के भन्छ हेर्नुहोस्। क्रलरको नाम लिने समूहले सामान्य*समूहलाई पूरै प्रतिस्थापन गर्छ।- फाइलले के भन्छ होइन, सर्भरले के गर्छ परीक्षण गर्नुहोस्। आफ्नो मुख्य पेज ब्राउजरका रूपमा र क्रलरका रूपमा अनुरोध गर्नुहोस्। 403, 429,
Just a moment...शीर्षकको पेज, वा ब्राउजरको भन्दा निकै सानो प्रतिक्रिया फायरवाल ब्लकको चिह्न हो। - सहायकलाई सोध्नुहोस्। खोज खोलेर ChatGPT वा Perplexity लाई तपाईंका ग्राहकले सोध्ने प्रश्न सोध्नुहोस् र कुन साइट उद्धृत हुन्छ हेर्नुहोस्। पहुँच ठीक छ र पनि तपाईं देखिनुहुन्न भने समस्या पहुँचको होइन, सामग्रीको हो।
यी संख्या कत्तिको भरपर्दो छन्?
यिनलाई जनगणना होइन, एउटा ढाँचाका रूपमा लिनुहोस्। नमुना अनियमित छैन: यी कम्पनी विज्ञापन पुस्तकालय, जागिर बोर्ड र नक्सा सूचीबाट भेटिएका हुन्। हामी एउटै ठेगानाबाट user agent द्वारा परीक्षण गर्छौं, जबकि वास्तविक क्रलर तिनका विक्रेताले प्रकाशित गरेका ठेगानाबाट आउँछन्, त्यसैले केही फायरवालले वास्तविकलाई फरक तरिकाले व्यवहार गर्नेछन्। र ब्लक सधैं गल्ती हुँदैन।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
कति प्रतिशत वेबसाइटले AI क्रलर रोक्छन्?
परीक्षण गर्न मिल्ने 165 व्यावसायिक वेबसाइटको हाम्रो परीक्षणमा 38% ले सर्भरमै कम्तीमा एउटा AI क्रलरलाई फर्काए, प्रायः तालिम र स्क्रेपर बोटलाई। करिब 10% ले AI खोज क्रलरलाई पनि अस्वीकार गरे।
GPTBot रोक्दा मेरो साइट ChatGPT खोजबाट बाहिर रहन्छ?
रहँदैन। OpenAI भन्छ कि यसका क्रलरका लागि प्रत्येक robots.txt सेटिङ स्वतन्त्र हुन्छ: GPTBot तालिमसँग सम्बन्धित छ, OAI-SearchBot ChatGPT खोजसँग। एउटा रोक्दा अर्को रोकिँदैन।
robots.txt बिना साइटले क्रलर कसरी रोक्न सक्छ?
फायरवाल, CDN वा बोट-सुरक्षा नियमले क्रलरलाई 403, 429 वा चुनौती पेजले जवाफ दिन सक्छ। robots.txt ले यो कहिल्यै देखाउँदैन, त्यसैले क्रलरका रूपमा पेज अनुरोध गरेर नै परीक्षण गर्नुपर्छ।
के क्रलर फर्काउनु सधैं गल्ती हो?
होइन। धेरै मालिकले तालिम क्रलर र स्क्रेपरलाई बाहिर राख्न चाहन्छन्। गल्ती चाहिँ खोज क्रलरलाई अनजानमा रोक्नु हो, किनभने तिनै क्रलरले तपाईंको पेज उद्धृत गर्न सक्छन्।
स्रोतहरू
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11
- RFC 9309: रोबोट बहिष्करण प्रोटोकल
- OpenAI: OpenAI क्रलरहरूको परिचय
- Perplexity: Perplexity क्रलरहरू
- Cloudflare: AI क्रलरहरू व्यवस्थापन (AI Crawl Control)