robots.txt OAI-SearchBot ला नाकारते

छोटे उत्तर

तुमच्या robots.txt मध्ये या क्रॉलरच्या टोकनसाठी या पेजशी जुळणारा Disallow नियम आहे. ऑडिट RFC 9309 लागू करते: क्रॉलरचा स्वतःचा गट असल्यास तो, नाहीतर * गट, आणि सर्वात लांब जुळणारा नियम लागू होतो. क्रॉलरला आत येऊ द्यायचे असल्यास त्याच्यासाठी Allow जोडा किंवा नियम काढा.

robots.disallowed · प्राधान्य: P1–P3, क्रॉलरच्या प्रकारानुसार

याचा अर्थ काय

तुमच्या robots.txt मधील नियम OAI-SearchBot ला / मिळवण्यापासून रोखतात.

AI सर्चसाठी हे का महत्त्वाचे आहे

नियम पाळणारे AI क्रॉलर robots.txt चे पालन करतात. OAI-SearchBot, Claude-SearchBot किंवा PerplexityBot ना नकार असल्यास, त्यांच्या सर्च इंडेक्ससाठी पेज मिळवले जात नाही, त्यामुळे त्यांच्या उत्तरांमध्ये ते उद्धृत होऊ शकत नाही. GPTBot, ClaudeBot, Google-Extended किंवा Applebot-Extended सारख्या ट्रेनिंग टोकनना नकार दिल्याने फक्त मॉडेल ट्रेनिंगसाठी होणारा वापर थांबतो.

अनेक साइट चुकून AI क्रॉलर ब्लॉक करतात: Googlebot वगळता सर्व काही नाकारणारा टेम्पलेट, किंवा staging मधून राहून गेलेला Disallow: / असलेला User-agent: * गट. लक्षात ठेवा, Applebot चा स्वतःचा गट नसल्यास तो Googlebot चा गट वापरतो.

हे कसे दुरुस्त करावे

  1. निष्कर्षात नियम शोधा: त्यात क्रॉलर टोकन आणि पाथ दिलेला असतो. AISeeWhy अहवाल पुरावा आणि पेस्ट करण्यासाठी तयार उपाय दाखवतो; त्यानंतर निकालाची खात्री करण्यासाठी "पुन्हा तपासा" चालवा.
  2. पेज नाकारणाऱ्या कोणत्याही गटातून क्रॉलरचा टोकन काढा, मग Allow: / सह त्याचा स्वतःचा गट जोडा. विशिष्ट गट त्या क्रॉलरसाठी * गटाची जागा घेतो, त्यामुळे * खालील नियम त्याला लागू होत नाहीत.
  3. WordPress वर, robots.txt ही वेब रूटमधील खरी फाइल आहे की Yoast किंवा Rank Math सारख्या SEO प्लगइनने तयार केलेली आहे ते तपासा, आणि तिथेच ती संपादित करा. Shopify वर robots.txt.liquid थीम टेम्पलेट संपादित करा.
  4. Cloudflare वर, managed robots.txt सेटिंग तुमच्या स्वतःच्या फाइलवर AI क्रॉलरचे नियम जोडते का ते तपासा.
  5. तुमचे धोरण तसे असल्यास ट्रेनिंग टोकनना नकार कायम ठेवा; वेगळे टोकन वापरणाऱ्या सर्च क्रॉलरवर त्याचा परिणाम होत नाही.

उदाहरण

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

उपाय काम करतो याची खात्री कशी करायची

बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.

माझे पेज तपासा →

संबंधित मार्गदर्शक

सर्व निष्कर्ष आणि स्कोअर कसा ठरतो