2 பக்கங்கள் crawl-ஐ மறுத்தன
தணிக்கை இந்தப் பக்கங்களை உலாவியாகப் பெற்றபோது அவை 401, 403, 429 அல்லது 503 உடன் பதிலளித்தன, அல்லது timeout ஆனது. இது பெரும்பாலும் உடைந்த பக்கம் அல்ல, ஃபயர்வால், பாட் பாதுகாப்பு அல்லது rate limit. தேடல் மற்றும் AI கிராலர்களுக்கும் அதே பதில் கிடைக்கிறதா என்று சரிபாருங்கள்.
இதன் பொருள் என்ன
இந்தப் பக்கங்கள் 401, 403, 429 அல்லது 503 உடன் பதிலளித்தன, அல்லது நேரம் கடந்தன. ஒரு ஃபயர்வாலோ கோரிக்கை வரம்போ கிராலர்களையும் தடுக்கக்கூடும்; தேடல் மற்றும் AI கிராலர்களுக்கும் அதே பதில் கிடைக்கிறதா என்று சரிபாருங்கள்.
AI தேடலுக்கு இது ஏன் முக்கியம்
தணிக்கை ஒரே சர்வரிலிருந்து குறுகிய நேரத்தில் பல பக்கங்களைப் பெறுகிறது, எனவே மக்களுக்குப் பக்கம் கிடைத்தாலும் rate limit 429 அல்லது 503 உடன் பதிலளிக்கலாம். அதே விதி தேடல் மற்றும் AI கிராலர்களுக்கும் பொருந்தினால், இந்தப் பக்கங்கள் அவற்றின் index-களுக்காகப் பெறப்படுவதில்லை, AI பதில்களில் மேற்கோள் காட்டப்பட முடியாது.
401 என்றால் பக்கத்துக்கு உள்நுழைவு தேவை, இது கணக்குப் பகுதிகளுக்கு எதிர்பார்க்கப்பட்டது, ஆனால் பொது உள்ளடக்கத்துக்கு அல்ல. ஒவ்வொரு பக்கத்திலும் 503 என்றால் பராமரிப்பு முறை இயக்கத்திலேயே விடப்பட்டிருக்கலாம். திருத்தம் யார் மறுக்கப்படுகிறார்கள் என்பதைப் பொறுத்தது என்பதால், இந்தப் பக்கங்கள் உடைந்த இணைப்புகளிலிருந்து தனியாக வைக்கப்படுகின்றன.
இதை எப்படிச் சரிசெய்வது
- பட்டியலிடப்பட்ட சில URL-களை private உலாவி window-இல் திறங்கள். அவை ஏறினால், தடுப்பு தானியங்கிக் கோரிக்கைகளைக் குறிவைக்கிறது.
- உங்கள் ஃபயர்வால், CDN அல்லது hosting log-களில் மறுக்கப்பட்ட கோரிக்கைகளைத் தேடுங்கள். Googlebot, Bingbot போன்ற சரிபார்க்கப்பட்ட தேடல் கிராலர்களும் நீங்கள் விரும்பும் AI தேடல் கிராலர்களும் அனுமதிக்கப்படுவதை உறுதிசெய்யுங்கள்; Cloudflare உட்படப் பல CDN-களில் verified bots-க்கான அமைப்பு உள்ளது.
- Rate limit காரணமெனில், சாதாரணப் பக்கக் கோரிக்கைகளுக்கான வரம்பை உயர்த்துங்கள், அல்லது HTML பக்கங்களை அதிலிருந்து விலக்குங்கள்.
- பக்கங்கள் 401 உடன் பதிலளித்தால், பொதுப் பக்கங்களிலிருந்து உள்நுழைவை நீக்குங்கள், அல்லது பொதுப் பக்கங்களிலிருந்து தனிப்பட்ட பக்கங்களுக்கு இணைப்புத் தருவதை நிறுத்துங்கள்.
- முடிவை உறுதிசெய்ய உங்கள் கணக்கிலிருந்து தளத் தணிக்கையை மீண்டும் இயக்குங்கள்.
திருத்தத்தை எப்படி உறுதிசெய்வது
மாற்றத்துக்குப் பின், அறிக்கையில் "மீண்டும் சரிபார்" என்பதை அழுத்துங்கள்: எது சரிசெய்யப்பட்டது, மதிப்பெண் எப்படி மாறியது என்று அது பட்டியலிடும்.