के ChatGPT ले मेरो वेबसाइट देख्न सक्छ? कसरी जाँच्ने
आफ्नो पेज पेस्ट गर्नुहोस् र करिब 30 सेकेन्डमा हेर्नुहोस् कि ChatGPT का क्रलरले यसमा पुग्न, पढ्न र उद्धृत गर्न सक्छन् कि सक्दैनन्, र नसक्ने भए के बदल्ने।
निःशुल्क · साइन-अप चाहिँदैन · ३० सेकेन्डमा नतिजा
robots.txt, क्रलर अनुसार
OAI-SearchBot, ChatGPT-User र GPTBot RFC 9309 का नियमअनुसार छुट्टाछुट्टै पढिन्छन्, ताकि कुन अनुमति छ र कुन लाइनले निर्णय गर्छ भन्ने देख्न सकियोस्।
फायरवाल र CDN ब्लक
तपाईंको पेज 14 क्रलरका रूपमा र सामान्य ब्राउजरका रूपमा मागिन्छ। क्रलरले मात्र पाउने 403, 429 वा च्यालेन्ज पेज चिन्ह लगाइन्छ, र त्यसपछाडिको फायरवालको नाम देखाइन्छ।
क्रलरले वास्तवमा के पाउँछ
हरेक क्रलरका लागि स्टेटस, साइज र रिडाइरेक्टलाई ब्राउजरले पाउनेसँग तुलना गरिन्छ, ताकि मानिसलाई दिएभन्दा कम क्रलरलाई दिने पेज स्पष्ट देखियोस्।
हरेक नतिजाको समाधान
हरेक नतिजासँगै गर्नुपर्ने परिवर्तन दिइन्छ। निःशुल्क जाँचले तपाईंको स्कोर र पहिलो नतिजा देखाउँछ; पूर्ण रिपोर्ट $29 हो, एक पटकको।
OpenAI को सर्च क्रलर OAI-SearchBot ले तपाईंको पेज ल्याउन पाउँछ र ब्राउजरले पाउने उही HTML पाउँछ भने मात्र ChatGPT ले त्यसलाई उद्धृत गर्न सक्छ। तीन कुरा जाँच्नुहोस्: तपाईंको robots.txt ले OAI-SearchBot लाई निषेध गर्दैन, तपाईंको फायरवाल वा CDN ले यसलाई 403 वा च्यालेन्ज पेज दिँदैन, र मुख्य पाठ सुरुको HTML मै छ। पढ्न मिल्नु र सिफारिस हुनु एउटै कुरा होइन: ChatGPT ले तपाईंको साइटको नाम लिन्छ कि हेर्न, यसलाई तपाईंका ग्राहकले सोध्ने प्रश्न सोध्नुहोस् र यसले कुन साइट उद्धृत गर्छ लेख्नुहोस्।
3 चरणमा आफैँ जाँच्नुहोस्
- आफ्नो robots.txt पढ्नुहोस्
https://your-site.com/robots.txtखोल्नुहोस्।OAI-SearchBot,ChatGPT-UserवाUser-agent: *को कुनै समूहले पेजलाई निषेध गर्नु हुँदैन।GPTBotट्रेनिङका लागि मात्र महत्त्वपूर्ण हो। - क्रलरले के पाउँछ परीक्षण गर्नुहोस्
पेजलाई
OAI-SearchBotबनेर माग्नुहोस्, वा निःशुल्क जाँच चलाउनुहोस्। यसले 403 वा च्यालेन्ज पेज होइन, ब्राउजरले पाउने उही पाठसहित 200 दिनुपर्छ। - ChatGPT लाई सोध्नुहोस्
सर्च अन गरेर यसलाई तपाईंको URL को सारांश दिन र तपाईंका खरिदकर्ताले सोध्ने एउटा प्रश्नको उत्तर दिन भन्नुहोस्, अनि यसले देखाएका स्रोत हेर्नुहोस्। पहुँच ठीक छ तर पनि तपाईं देखिनुभएन भने कारण सामग्री हो।
बारम्बार सोधिने प्रश्नहरू
के ChatGPT ले मेरो साइट देख्न सक्छ कि निःशुल्क जाँच्न सकिन्छ?
सकिन्छ। आफ्नो robots.txt पढ्न, OAI-SearchBot user agent सहितको curl अनुरोध र ChatGPT मा एउटा प्रश्न सोध्न केही खर्च लाग्दैन। AISeeWhy को निःशुल्क जाँचले खाता बिना दिनको एउटा पेजका लागि क्रलर परीक्षण चलाउँछ।
ChatGPT ले मेरो साइट सिफारिस गर्छ कि कसरी जाँच्ने?
सर्च खोलेर ChatGPT लाई तपाईंका ग्राहकले सोध्ने प्रश्न सोध्नुहोस्, र यसले तपाईंको साइटको नाम वा लिंक दिन्छ कि दिँदैन र यसको सट्टा कुन प्रतिस्पर्धीको नाम लिन्छ लेख्नुहोस्। उत्तर हरेक पटक फरक हुन्छन्, त्यसैले हरेक प्रश्न दोहोर्याउनुहोस् र केही हप्तासम्म फेरि जाँच्नुहोस्। AISeeWhy को AI मा दृश्यता जाँचले तपाईंकै API की प्रयोग गरेर तपाईंका प्रश्न ChatGPT, Claude, Perplexity र Gemini मा चलाउँछ र बढीमा चार प्रतिस्पर्धीको छेउमा नाम आएको ट्र्याक गर्छ। API मार्फतका उत्तर ChatGPT एपले देखाउने उत्तरभन्दा फरक हुन सक्छन्।
ChatGPT ले मेरो साइट किन भेट्दैन?
प्रायः robots.txt मा OAI-SearchBot निषेध गरिएको हुन्छ, फायरवालले यसलाई 403 वा च्यालेन्ज पेज दिन्छ, वा पाठ JavaScript चलेपछि मात्र देखिन्छ। तीनै ठिक छन् भने, ChatGPT ले उद्धृत गर्ने पेजभन्दा तपाईंको पेजले प्रश्नको उत्तर कम सिधा दिएको हुन सक्छ।
के GPTBot ब्लक गर्दा मेरो साइट ChatGPT सर्चबाट हट्छ?
हट्दैन। OpenAI ले हरेक क्रलरको सेटिङलाई स्वतन्त्र मान्छ। GPTBot ट्रेनिङसँग सम्बन्धित छ, जबकि पेज ChatGPT सर्चका उत्तरमा देखाउन सकिन्छ कि सकिँदैन भन्ने OAI-SearchBot ले निर्धारण गर्छ। तपाईं एउटालाई निषेध गरेर अर्कोलाई अनुमति दिन सक्नुहुन्छ।
के ChatGPT-User ले robots.txt पालना गर्छ?
OpenAI भन्छ यी भ्रमण प्रयोगकर्ताले सुरु गर्ने भएकाले robots.txt का नियम लागू नहुन सक्छन्। ती भ्रमण रोक्न चाहनुहुन्छ भने robots.txt नियम भरपर्दो नियन्त्रण होइन।
robots.txt को परिवर्तन ChatGPT सम्म पुग्न कति समय लाग्छ?
OpenAI भन्छ robots.txt अद्यावधिक गरेपछि यसका प्रणाली सर्चका लागि मिलिन करिब 24 घण्टा लाग्न सक्छ।
के पहुँचयोग्य हुनु मात्र उद्धृत हुन पर्याप्त छ?
होइन। पहुँचले उद्धरण सम्भव बनाउँछ; ग्यारेन्टी दिँदैन। पेजले के भन्छ र कति स्पष्ट भन्छ, त्यसले नै उत्तरमा प्रयोग हुने कि नहुने निर्धारण गर्छ।
पूर्ण गाइड पढ्नुहोस्
धेरै साइट मालिकले ChatGPT लाई आफ्नै उत्पादनबारे सोध्छन्, त्यसको सट्टा प्रतिस्पर्धी उद्धृत भएको देख्छन्, र ChatGPT ले आफ्नो साइटसम्म पुग्नै सक्छ कि सक्दैन भनेर सोच्छन्। यो प्रश्नको ठोस, परीक्षण गर्न सकिने उत्तर छ। OpenAI ले आफ्ना क्रलरका नाम र प्रत्येकले के गर्छ प्रकाशित गर्छ, त्यसैले तपाईं शृङ्खलाको हरेक कडी जाँच्न सक्नुहुन्छ: robots.txt का नियम, तपाईंको सर्भरले पठाउने प्रतिक्रिया, र त्यस प्रतिक्रियाको सामग्री।
5 मिनेटको जाँच, चरणबद्ध रूपमा
https://your-site.com/robots.txtखोल्नुहोस् रOAI-SearchBot,ChatGPT-UserवाUser-agent: *को कुनै समूहले पेजलाई निषेध गर्दैन भन्ने पक्का गर्नुहोस्।GPTBotट्रेनिङका लागि मात्र महत्त्वपूर्ण छ।- AISeeWhy मा पेजको निःशुल्क जाँच चलाउनुहोस् वा
OAI-SearchBotuser agent सहित एउटा अनुरोध पठाउनुहोस्: यसले status 200 र ब्राउजरले पाउने उही पाठ पाउनुपर्छ, 403 वा च्यालेन्ज पेज होइन। - पेजको source हेर्नुहोस् र मुख्य पाठ HTML मै छ, पछि JavaScript ले थपेको होइन भन्ने पुष्टि गर्नुहोस्।
- सर्च खोलेर ChatGPT लाई आफ्नो URL को सारांश दिन र तपाईंका खरिदकर्ताले सोध्ने एउटा प्रश्नको उत्तर दिन भन्नुहोस्। यसले सूचीबद्ध गरेका स्रोत हेर्नुहोस्।
चरण 1 वा 2 असफल भए पहिले त्यो सुधार्नुहोस्: तलका खण्डले कसरी भन्ने देखाउँछन्। चारै वटा पास भएर पनि ChatGPT ले तपाईंलाई उद्धृत गर्दैन भने कारण पहुँच होइन, सामग्री हो।
ChatGPT का उत्तरका लागि कुन OpenAI क्रलर महत्त्वपूर्ण छन्?
OpenAI ले साइट मालिकले प्रायः भेट्ने तीन एजेन्टको कागजात दिन्छ। तिनको काम फरक छ, र एउटालाई ब्लक गर्दा अरू ब्लक हुँदैनन्। OpenAI भन्छ robots.txt का हरेक सेटिङ स्वतन्त्र छन्।
OAI-SearchBotले ChatGPT का सर्च सुविधाका लागि पेज भेट्टाउँछ र इन्डेक्स गर्छ। OpenAI भन्छ यसबाट opt-out गरेका साइट ChatGPT सर्चका उत्तरमा देखाइने छैनन्। तपाईं उद्धृत हुन सक्नुहुन्छ कि सक्नुहुन्न भन्ने यसैले निर्धारण गर्छ।GPTBotले OpenAI का फाउन्डेसन मोडेल ट्रेन गर्न प्रयोग हुन सक्ने सामग्री सङ्कलन गर्छ। यसलाई निषेध गर्नुको अर्थ तपाईंको सामग्री ट्रेनिङमा प्रयोग नहोस् भन्नु हो। यसले तपाईंलाई सर्च उत्तरबाट हटाउँदैन।ChatGPT-Userले कसैले ChatGPT लाई भनेपछि, जस्तै लिंक टाँसेर, पेज खोल्छ। OpenAI भन्छ प्रयोगकर्ताले सुरु गरेका यी भ्रमणमा robots.txt का नियम लागू नहुन सक्छन्, र सामग्री सर्चमा देखिने कि नदेखिने निर्णय गर्न यो एजेन्ट प्रयोग हुँदैन।
छोटकरीमा: OAI-SearchBot ले उद्धरण नियन्त्रण गर्छ, GPTBot ले ट्रेनिङ, र ChatGPT-User ले प्रयोगकर्ताको अनुरोधमा हुने लाइभ भ्रमण सम्हाल्छ।
ChatGPT का लागि आफ्नो robots.txt कसरी जाँच्ने?
ब्राउजरमा https://yourdomain.com/robots.txt खोल्नुहोस्। OAI-SearchBot नाम भएको समूह खोज्नुहोस्। त्यस्तो समूह छैन भने क्रलरले User-agent: * समूह पालना गर्छ। लागू हुने जुनसुकै समूहमा भएको Disallow: / ले पूरै साइट ब्लक गर्छ।
फाइलले जवाफ दिन्छ कि दिँदैन पनि जाँच्नुहोस्। RFC 9309 अनुसार robots.txt ले सर्भर त्रुटि (5xx) फर्काउँछ वा पुग्न सकिँदैन भने क्रलरले पूरै साइट निषेधित मान्नुपर्छ। 404 ठीक छ: यसको अर्थ कुनै नियम छैन। स्थिति 200 सहित HTML पेज फर्काउने robots.txt ठेगाना सामान्य गल्ती हो, किनभने त्यसपछि क्रलरले त्यसमा कुनै मान्य नियम भेट्टाउँदैनन्।
ChatGPT सर्च कायम राख्ने र ट्रेनिङबाट opt-out गर्ने सेटअप यस्तो देखिन्छ:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI भन्छ robots.txt अद्यावधिक गरेपछि सर्चका परिवर्तन लागू हुन करिब 24 घण्टा लाग्न सक्छ।
robots.txt ले अनुमति दिँदा पनि फायरवालले ChatGPT लाई ब्लक गर्न सक्छ?
सक्छ, र यो सामान्य कारण हो। robots.txt असल व्यवहार गर्ने क्रलरलाई गरिएको अनुरोध हो, पहुँच नियन्त्रण होइन। वास्तवमा के फिर्ता पठाइन्छ भन्ने तपाईंको फायरवाल, CDN वा बट सुरक्षाले निर्णय गर्छ। यसले AI क्रलरलाई अनावश्यक बट मान्छ भने क्रलरले 403, 429 वा Cloudflare को "Just a moment..." स्क्रिन जस्तो च्यालेन्ज पेज पाउँछ, जबकि ब्राउजरमा मानिसहरूले पेज सामान्य रूपमा देख्छन्।
बाहिरबाट यो सबैका लागि खुला साइट जस्तो देखिन्छ। आफूलाई क्रलर भनेर चिनाउने अनुरोधले मात्र फरक देखाउँछ। यस्तो अवस्थामा robots.txt ले हुन्छ भन्छ, सर्भरले हुँदैन भन्छ, र सर्भर जित्छ।
OAI-SearchBot ले के पाउँछ कसरी परीक्षण गर्ने?
एउटै URL मा दुई अनुरोध पठाउनुहोस्, एउटा ब्राउजरको user agent सहित र अर्को क्रलरको user agent सहित, अनि स्थिति कोड र आकार तुलना गर्नुहोस्। OpenAI ले हरेक क्रलरको उदाहरण user agent प्रकाशित गर्छ; त्यसमा भएको संस्करण नम्बर बदलिन सक्छ।
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ब्राउजरले ठूलो body सहित 200 पाउँछ र क्रलरले 403, 429, 503 वा धेरै सानो body पाउँछ भने तपाईंको फायरवालले क्रलरलाई फरक व्यवहार गरिरहेको छ। एउटा सीमा छ: तपाईंको परीक्षण OpenAI को होइन, तपाईंकै IP ठेगानाबाट आउँछ। प्रकाशित IP दायरासँग क्रलर प्रमाणित गर्ने फायरवालले (OpenAI ले तिनलाई openai.com/searchbot.json मा सूचीबद्ध गर्छ) तपाईंको परीक्षण ब्लक गर्दै वास्तविक क्रलरलाई पास गर्न सक्छन्। यो परीक्षणमा देखिएको ब्लकले पनि फायरवालले user agent लाई कसरी व्यवहार गर्छ बताउँछ, र त्यो सच्याउन लायक छ।
पेज लोड हुन्छ तर ChatGPT ले अझै काम लाग्ने केही भन्दैन भने?
पहुँच पहिलो चरण मात्र हो। आइपुगेको HTML पछि JavaScript ले भरिने खाली खोल हो भने क्रलरले लगभग कुनै पाठ नपाउन सक्छ। curl वा ब्राउजरको view-source ले कच्चा HTML हेर्नुहोस्: मुख्य पाठ त्यहाँ छैन भने क्रलरले पनि सम्भवतः देख्दैन।
त्यसपछि सामग्रीका सङ्केत आउँछन्: पेजको माथितिर स्पष्ट छोटो उत्तर, मानिसहरूले सोध्ने प्रश्नसँग मिल्ने शीर्षक, नाम खुलेको प्रकाशक र लेखक, र देखिने मिति। यिनले उद्धरणको ग्यारेन्टी दिँदैनन्, तर पेजलाई सही ढङ्गले उद्धृत गर्न सजिलो बनाउँछन्।
AISeeWhy ले यो कसरी जाँच्छ?
AISeeWhy ले तपाईंको पेज सामान्य ब्राउजरसँगै OAI-SearchBot, GPTBot, ChatGPT-User र अन्य 11 क्रलरका रूपमा ल्याउँछ, तपाईंको robots.txt RFC 9309 का नियमअनुसार पढ्छ र कुनै फायरवालले ब्लक वा च्यालेन्ज दिँदा त्यसको नाम बताउँछ। हरेक निष्कर्षसँग टाँस्न तयार समाधान आउँछ, र निःशुल्क जाँचले तपाईंको स्कोर र पहिलो निष्कर्ष देखाउँछ।
यो समस्याका समाधान
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
स्रोतहरू
- OpenAI: OpenAI क्रलरहरूको परिचय
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI क्रलर व्यवस्थापन (AI Crawl Control)