वेबसाइटले AI क्रलर ब्लक गर्छ कि गर्दैन, कसरी जाँच्ने

कुनै पनि ठेगाना पेस्ट गर्नुहोस् र हेर्नुहोस् कि त्यसले GPTBot, ClaudeBot, PerplexityBot र अन्य AI क्रलरलाई ब्लक गर्छ कि गर्दैन: robots.txt मा, फायरवालमा, वा दुवैमा।

निःशुल्क · साइन-अप चाहिँदैन · ३० सेकेन्डमा नतिजा

कुन क्रलर ब्लक छन्

ट्रेनिङ, सर्च र प्रयोगकर्ताका क्रलर छुट्टाछुट्टै देखाइन्छन्, किनभने GPTBot ब्लक गर्दा OAI-SearchBot ब्लक हुँदैन, र ClaudeBot ब्लक गर्दा Claude-SearchBot ब्लक हुँदैन।

निर्णय गर्ने लाइन

हरेक क्रलरका लागि robots.txt RFC 9309 का नियमअनुसार पढिन्छ: त्यसको नाम लिने समूह, नभए विकल्पका रूपमा User-agent: *, र जित्ने नियम।

फायरवालको अस्वीकार

पेजलाई 14 क्रलरका रूपमा र सामान्य ब्राउजरका रूपमा मागिन्छ। ब्लक र च्यालेन्ज पेज चिन्ह लगाइन्छन् र जवाफ दिने फायरवालको नाम देखाइन्छ।

हरेक नतिजाको समाधान

हरेक नतिजासँगै गर्नुपर्ने परिवर्तन दिइन्छ। निःशुल्क जाँचले तपाईंको स्कोर र पहिलो नतिजा देखाउँछ; पूर्ण रिपोर्ट $29 हो, एक पटकको।

छोटो उत्तर

साइटले AI क्रलरलाई दुई ठाउँमा ब्लक गर्न सक्छ: robots.txt मा, जसले क्रलरलाई टाढा रहन अनुरोध गर्छ, र सर्भर वा फायरवालमा, जसले उनीहरूलाई साँच्चै अस्वीकार गर्छ। robots.txt मा हरेक क्रलरको टोकन हेर्नुहोस्, नभए User-agent: * हेर्नुहोस्, त्यसपछि पेजलाई क्रलर बनेर ल्याउनुहोस् र ब्राउजरले पाएको पेजसँग तुलना गर्नुहोस्। एउटा ब्राउजर एक्सटेन्सनले 16 AI क्रलरका लागि robots.txt वाला भाग एक क्लिकमा गरिदिन्छ।

3 चरणमा हातैले जाँच्नुहोस्

  1. क्रलर छान्नुहोस्

    हरेक AI कम्पनीले छुट्टाछुट्टै क्रलर चलाउँछ। ट्रेनिङ: GPTBot, ClaudeBot। सर्च: OAI-SearchBot, Claude-SearchBot, PerplexityBot। कसैको अनुरोधमा: ChatGPT-User, Claude-User, Perplexity-User।

  2. त्यसका लागि robots.txt पढ्नुहोस्

    https://example.com/robots.txt खोल्नुहोस् र क्रलरको नाम लिने समूह खोज्नुहोस्। कुनै समूह छैन भने User-agent: * समूह लागू हुन्छ; दुवै छैनन् भने सबै अनुमति हुन्छ।

  3. पेजलाई क्रलर बनेर ल्याउनुहोस्

    क्रलरको user agent सहित पेज माग्नुहोस् र स्टेटस र साइजलाई ब्राउजरको सँग तुलना गर्नुहोस्। 403, च्यालेन्ज पेज वा धेरै सानो 200 को अर्थ फायरवालले अस्वीकार गरेको हो।

बारम्बार सोधिने प्रश्नहरू

robots.txt नभएको साइट AI क्रलरका लागि खुला हुन्छ?

हो, robots.txt को हकमा। robots.txt का लागि 404 को अर्थ कुनै नियम छैन, त्यसैले हरेक क्रलरले हरेक पेज ल्याउन सक्छ। तैपनि फायरवालले क्रलरलाई ब्लक गर्न सक्छ।

के एक्सटेन्सनले फायरवालको ब्लक देखाउँछ?

देखाउँदैन। यसले तपाईंको ब्राउजरबाट robots.txt पढ्छ, जसले साइटले क्रलरलाई के गर्न भन्छ भन्ने देखाउँछ। फायरवाल र बट सुरक्षाको ब्लक हेर्न क्रलर बनेर पठाइएको अनुरोध चाहिन्छ, र यो काम aiseewhy.com को पूर्ण जाँचले गर्छ।

आफ्नो नभएको साइट जाँच्न सकिन्छ?

सकिन्छ। robots.txt सार्वजनिक हुन्छ, र एक्सटेन्सनले साइटले प्रकाशित गरेका robots.txt र llms.txt फाइल मात्र पढ्छ, अर्थात् हरेक क्रलरले पढ्ने उही फाइल।

पूर्ण गाइड पढ्नुहोस्

कुनै परिवर्तनपछि आफ्नै साइट जाँच्दै हुनुहुन्छ वा अरूको साइटमा भर पर्नुअघि त्यसलाई हेर्दै हुनुहुन्छ, “के यो साइटले AI क्रलर ब्लक गर्छ?” भन्ने प्रश्नको ठ्याक्कै उत्तर हुन्छ। उत्तर तपाईं कुन क्रलरको कुरा गर्दै हुनुहुन्छ भन्नेमा भर पर्छ, किनभने AI कम्पनीहरूले ट्रेनिङ, सर्च र प्रत्यक्ष भ्रमणका लागि छुट्टाछुट्टै क्रलर चलाउँछन्, र साइटले हरेकलाई फरक व्यवहार गर्न सक्छ। यो गाइडले सबैभन्दा छिटोदेखि सबैभन्दा पूर्णसम्म तीन जाँच देखाउँछ।

साइटले AI क्रलरलाई कहाँ ब्लक गर्न सक्छ?

तीन तह हुन्छन्, र कुनै पेज प्रयोग गर्न क्रलरले तीनै तह पार गर्नुपर्छ।

  • robots.txt: नियमहरूको सार्वजनिक फाइल, जुन नियम मान्ने क्रलरले केही पनि ल्याउनुअघि पढ्छन्। यो अनुरोध हो, ताल्चा होइन।
  • सर्भर, CDN वा फायरवाल: वास्तवमा के फर्काउने भन्ने यसैले तय गर्छ। robots.txt ले अनुमति दिए पनि बट सुरक्षाको कुनै नियमले क्रलरलाई 403, 429 वा च्यालेन्ज पेज दिन सक्छ।
  • पेज आफैं: मुख्य पाठ JavaScript चलेपछि मात्र देखिन्छ भने सुरुको HTML पढ्ने क्रलरले लगभग खाली पेज पाउँछ, यद्यपि उसलाई कसैले ब्लक गरेको छैन।

धेरैजसो छिटो जाँचले पहिलो तह मात्र हेर्छन्। सुरुवातका लागि यो राम्रो हो, बाँकी दुई तह सम्झिराख्नुहोस्।

एउटा AI क्रलरका लागि robots.txt कसरी पढ्ने?

ब्राउजरमा https://example.com/robots.txt खोल्नुहोस् र त्यो क्रलरमा लागू हुने समूह खोज्नुहोस्। समूह एक वा बढी User-agent लाइनबाट सुरु हुन्छ। क्रलरले आफ्नो टोकन, जस्तै GPTBot, नाम भएको समूह प्रयोग गर्छ; मिलान गर्दा ठूलो-सानो अक्षरको फरक पर्दैन। कुनै समूहमा उसको नाम छैन भने ऊ User-agent: * समूह प्रयोग गर्छ। दुवै छैनन् भने सबै कुरा अनुमति छ।

समूहभित्र सबैभन्दा लामो मिल्ने पाथ भएको नियम लागू हुन्छ, र Allow र Disallow बराबर लामा भए Allow लागू हुन्छ। त्यसैले तलको फाइलले GPTBot लाई पूरै साइटबाट ब्लक गर्छ तर अरू हरेक क्रलरलाई भित्र आउन दिन्छ:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

फाइलले कसरी जवाफ दिन्छ भन्ने पनि हेर्नुहोस्। RFC 9309 अनुसार 404 को अर्थ कुनै नियम छैन, त्यसैले सबै कुरा अनुमति छ। सर्भर त्रुटि (5xx) वा कुनै जवाफ नआए क्रलरले पूरै साइटलाई निषेधित मान्नुपर्छ। robots.txt को ठेगानामा HTML पेज फर्किनु सामान्य गल्ती हो: क्रलरले त्यसमा कुनै मान्य नियम पाउँदैनन्।

सबै AI क्रलर एकैपटक कसरी जाँच्ने?

एकभन्दा बढी क्रलरको चासो हुँदा फाइल हातले पढ्नु ढिलो हुन्छ। हरेक AI कम्पनीले फरक-फरक कामका लागि धेरै क्रलर चलाउँछ:

  • ट्रेनिङ क्रलरले मोडेल ट्रेनिङका लागि सामग्री जम्मा गर्छन्: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, साथै Google-Extended र Applebot-Extended टोकन, जुन robots.txt मा मात्र देखिन्छन्।
  • सर्च क्रलरले पेजहरू इन्डेक्स गर्छन्, ताकि AI उत्तरले तिनलाई उद्धृत गर्न सकून्: OAI-SearchBot, Claude-SearchBot, PerplexityBot।
  • प्रयोगकर्ता क्रलरले कुनै व्यक्तिले सहायकलाई भनेपछि पेज ल्याउँछन्: ChatGPT-User, Claude-User, Perplexity-User।

Chrome का लागि निःशुल्क AI क्रलर चेकर एक्सटेन्सनले यो काम एक क्लिकमा गर्छ। कुनै पनि पेज खोल्नुहोस्, आइकनमा क्लिक गर्नुहोस्, र यसले त्यो साइटको robots.txt पढेर 16 मध्ये हरेक क्रलरका लागि पेजलाई अनुमति छ कि छैन र कुन लाइनले त्यो तय गर्छ भनेर देखाउँछ। यसले Content-Signal प्राथमिकता, साइटमा llms.txt छ कि छैन, र robots.txt मा उल्लेख गरिएका साइटम्याप पनि देखाउँछ। यो तपाईंको ब्राउजरमै चल्छ, खाता चाहिँदैन, र तपाईंले क्लिक गरेको साइट मात्र पढ्छ।

Chrome बिना, aiseewhy.com को निःशुल्क robots.txt चेकरले तपाईंले टाँसेको URL का लागि उही उत्तर दिन्छ।

फायरवालले उनीहरूलाई भित्र आउन दिन्छ कि दिँदैन, कसरी जाँच्ने?

robots.txt ले साइटले के माग्छ भन्ने देखाउँछ। क्रलरले वास्तवमा के पाउँछ हेर्न पेज दुई पटक माग्नुहोस्, एक पटक ब्राउजरको रूपमा र एक पटक क्रलरको युजर एजेन्टसहित, अनि स्टेटस कोड र जवाफको आकार तुलना गर्नुहोस्:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

ब्राउजरले 200 पाउँछ र क्रलरले 403, 429 वा 503, वा धेरै सानो पेज पाउँछ भने फायरवाल वा बट सुरक्षाले क्रलरलाई फरक व्यवहार गर्दैछ। हरेक बाहिरी परीक्षणको एउटा सीमा हुन्छ: अनुरोध तपाईंको नेटवर्कबाट जान्छ, AI कम्पनीको नेटवर्कबाट होइन। क्रलरलाई तिनका प्रकाशित IP ठेगानाबाट चिनेर भरोसा गर्ने फायरवालले वास्तविक क्रलरलाई फरक व्यवहार गर्न सक्छ, त्यसैले अन्तिम निर्णय तपाईंको सर्भर लगको हुन्छ।

aiseewhy.com को पूर्ण जाँचले पेजलाई वास्तविक ब्राउजरसँगै सबै 16 क्रलर बनेर ल्याउँछ, क्रलरलाई ब्लक गर्ने फायरवाल वा नियमको नाम बताउँछ, र हरेकले पाएको पाठ तुलना गर्छ।

कस्तो नतिजा लक्ष्य राख्ने?

यो तपाईं के चाहनुहुन्छ भन्नेमा भर पर्छ। ChatGPT सर्च, Claude र Perplexity मा उद्धृत हुन चाहनुहुन्छ भने सर्च र प्रयोगकर्ता क्रलरलाई robots.txt मा अनुमति हुनुपर्छ र सर्भरबाट तिनले वास्तविक पेज पाउनुपर्छ। आफ्नो सामग्री ट्रेनिङमा प्रयोग नहोस् भन्ने चाहनुहुन्छ भने ट्रेनिङ टोकन मात्र ब्लक गर्नुहोस्। यी छुट्टाछुट्टै निर्णय हुन्: GPTBot ब्लक गर्दा OAI-SearchBot ब्लक हुँदैन, र ClaudeBot ब्लक गर्दा Claude-SearchBot ब्लक हुँदैन।

धेरै साइटले यिनलाई मिसाउँछन्। 1,000 सबैभन्दा लोकप्रिय डोमेनबारे हाम्रो नोभेम्बर 2026 को रिपोर्टमा, ट्रेनिङ क्रलर ब्लक गर्ने 63% साइटले कम्तीमा एउटा AI सर्च वा प्रयोगकर्ता क्रलर पनि ब्लक गर्छन्, जसले गर्दा तिनका पेज ती AI उत्तरबाट बाहिर रहन्छन्।

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

स्रोतहरू

थप लेखहरू

प्रकाशित