பக்கம் தன்னை index செய்ய வேண்டாம் என்று தேடுபொறிகளுக்குச் சொல்கிறது
பக்கம் தன்னை index செய்ய வேண்டாம் என்று தேடுபொறிகளுக்குச் சொல்கிறது: robots, googlebot அல்லது bingbot meta tag-இலோ X-Robots-Tag HTTP header-இலோ noindex அல்லது none உள்ளது. எது என்று கண்டறிதல் காட்டுகிறது. அப்போது Google, Bing ஆகியவை பக்கத்தைத் தங்கள் முடிவுகளிலிருந்து விலக்கி வைக்கின்றன. பக்கம் கண்டறியப்பட வேண்டுமெனில் விதியை நீக்குங்கள்.
இதன் பொருள் என்ன
ஒரு noindex விதி (meta) இந்தப் பக்கத்தை Google மற்றும் Bing-இலிருந்து விலக்கி வைக்கிறது, எனவே அவற்றின் index-ஐ அடிப்படையாகக் கொண்ட AI பதில்களிலிருந்தும். பக்கம் கண்டறியப்பட வேண்டுமென்றால் அதை நீக்குங்கள்.
AI தேடலுக்கு இது ஏன் முக்கியம்
Google, Bing ஆகியவை அடுத்த முறை பக்கத்தை crawl செய்யும்போது noindex விதிக்குக் கீழ்ப்படிகின்றன, பக்கம் அவற்றின் முடிவுகளிலிருந்து விலகுகிறது. அந்தத் தேடல் index-களின் மேல் கட்டப்பட்ட AI பதில்களும் AI தேடல் அம்சங்களும் அப்போது பக்கத்தைக் கண்டறிவதில்லை.
Checkout படிகள், உள் தேடல் முடிவுகள், நன்றிப் பக்கங்கள் போன்றவற்றுக்கு noindex சரியானது. அது staging தளத்திலிருந்து மிஞ்சியிருக்கும்போது, தளம் முழுவதற்குமான "discourage search engines" விருப்பத்தால் அமைக்கப்படும்போது, அல்லது HTML-இல் யாரும் பார்க்காத சர்வர் அல்லது CDN விதியால் header ஆக அனுப்பப்படும்போது அது சிக்கல்.
இதை எப்படிச் சரிசெய்வது
- கண்டறிதலில் மூலத்தைச் சரிபாருங்கள்: HTML-இல் ஒரு meta tag அல்லது
X-Robots-Tagheader. - Meta tag-க்கு, அதிலிருந்து
noindex,none-ஐ நீக்குங்கள் அல்லது tag-ஐயே நீக்குங்கள். WordPress-இல், Settings → Reading → "Discourage search engines from indexing this site" அணைக்கப்பட்டுள்ளதா என்று சரிபார்த்து, பக்கத்தின் சொந்த SEO அமைப்புகளையும் சரிபாருங்கள். Shopify-இல், robots meta tag-ஐச் சேர்க்கும் theme code-ஐயும் ஆப்களையும் சரிபாருங்கள். - Header-க்கு, அது எங்கே அமைக்கப்படுகிறது என்று கண்டறியுங்கள், எடுத்துக்காட்டாக Nginx
add_header, ApacheHeader set,_headersகோப்பு, Cloudflare Transform Rule அல்லது framework middleware, இந்தப் பக்கத்துக்கு அதை நீக்குங்கள். - அதே நேரத்தில் robots.txt-இல் பக்கத்தைத் தடுக்க வேண்டாம்: noindex நீங்கிவிட்டதைப் பார்க்கக் கிராலர்கள் பக்கத்தைப் பெற வேண்டும்.
- முடிவை உறுதிசெய்ய பக்க அறிக்கையில் "மீண்டும் சரிபார்" என்பதை இயக்குங்கள்.
எடுத்துக்காட்டு
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} திருத்தத்தை எப்படி உறுதிசெய்வது
மாற்றத்துக்குப் பின், அறிக்கையில் "மீண்டும் சரிபார்" என்பதை அழுத்துங்கள்: எது சரிசெய்யப்பட்டது, மதிப்பெண் எப்படி மாறியது என்று அது பட்டியலிடும்.