robots.txt मध्ये Content-Signal नाही
तुमच्या robots.txt मध्ये Content-Signal ओळ नाही. ही ऐच्छिक ओळ तुमचा मजकूर कसा वापरता येईल ते सांगते: सर्च निकालांमध्ये, AI उत्तरांसाठी इनपुट म्हणून, किंवा AI ट्रेनिंगसाठी. तिच्याशिवाय काहीही बिघडत नाही. तुमचे वापराचे धोरण मशीनला वाचता येईल अशा स्वरूपात लिहून ठेवायचे असल्यास ती जोडा.
याचा अर्थ काय
Content-Signal ओळ तुमचा मजकूर कसा वापरता येईल ते सांगते (सर्च, AI उत्तरे, ट्रेनिंग). ती ऐच्छिक आहे; धोरण स्पष्ट करायचे असल्यास ती जोडा.
AI सर्चसाठी हे का महत्त्वाचे आहे
robots.txt फक्त क्रॉलर पेज मिळवू शकतो की नाही हे सांगते, नंतर मजकुराचे काय करता येईल हे नाही. Cloudflare च्या Content Signals Policy मध्ये आणलेली Content-Signal तीन की जोडते: search, ai-input (प्रश्नाचे उत्तर रिअल टाइममध्ये देण्यासाठी मजकूर वापरणे) आणि ai-train.
क्रॉलरना ती पाळणे बंधनकारक नाही, त्यामुळे AISeeWhy याला P3 रेटिंग देते. तरीही दोन्ही करू शकणाऱ्या क्रॉलरला परवानगी देताना "हे उत्तरांमध्ये वापरू शकता" आणि "यावर ट्रेनिंग करू नका" वेगळे करण्याचा हा स्पष्ट मार्ग आहे, आणि फाइल वाचणाऱ्या कोणालाही तुमचे धोरण कळते.
हे कसे दुरुस्त करावे
search,ai-inputआणिai-trainपैकी प्रत्येकासाठी तुमचे धोरण ठरवा.- robots.txt च्या
User-agent: *गटात, त्याच्या Allow आणि Disallow नियमांच्या शेजारीContent-Signalओळ जोडा. - तुमची साइट Cloudflare वर असल्यास, तिची managed robots.txt हे संकेत आधीच जोडते का ते तपासा, जेणेकरून तुम्ही ते दोनदा जाहीर करणार नाही.
- तुमचे Allow आणि Disallow नियम आहेत तसेच ठेवा: Content-Signal त्यांची जागा घेत नाही. AISeeWhy अहवाल पुरावा आणि पेस्ट करण्यासाठी तयार उपाय दाखवतो; त्यानंतर निकालाची खात्री करण्यासाठी "पुन्हा तपासा" चालवा.
उदाहरण
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / उपाय काम करतो याची खात्री कशी करायची
बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.