robots.txt-ஐப் பெற முடியவில்லை

சுருக்கமான பதில்

/robots.txt-ஐப் பெறுவது தோல்வியடைந்தது: சர்வர் 5xx நிலை அல்லது 429 உடன் பதிலளித்தது, அல்லது பதிலளிக்கவே இல்லை. RFC 9309-இன்படி அப்போது கிராலர்கள் முழுத் தளத்தையும் அனுமதி மறுக்கப்பட்டதாகக் கருதுகின்றன. /robots.txt நிலை 200 உடன் எளிய உரையைத் தருமாறு செய்யுங்கள், அல்லது உங்களிடம் விதிகள் இல்லையெனில் 404-ஐத் தருமாறு செய்யுங்கள்.

robots.unreachable · முன்னுரிமை: P1

இதன் பொருள் என்ன

robots.txt நிலை 403 உடன் பதிலளித்தது அல்லது பதிலளிக்கவில்லை. RFC 9309-இன்படி கிராலர்கள் அப்போது முழுத் தளத்தையும் அனுமதிக்கப்படாததாகக் கருதுகின்றன.

AI தேடலுக்கு இது ஏன் முக்கியம்

சர்வர் பிழை காரணமாக robots.txt-ஐ அடைய முடியாத கிராலர் முழு அனுமதி மறுப்பைக் கருத வேண்டும் என்று RFC 9309 சொல்கிறது. தரநிலையைப் பின்பற்றும் Googlebot, Bingbot, AI கிராலர்கள் robots.txt மீண்டும் பதிலளிக்கும் வரை பக்கங்களைப் பெறுவதை நிறுத்துகின்றன, எனவே ஒரு உடைந்த கோப்பு முழுத் தளத்தையும் மறைக்கக்கூடும்.

கோப்பு இல்லாதது வேறு விஷயம்: 404 அல்லது வேறு 4xx நிலை என்றால் விதிகள் இல்லை, எனவே எல்லாம் அனுமதிக்கப்படுகிறது, AISeeWhy எதையும் தெரிவிப்பதில்லை. சிக்கல் சர்வர் பிழைகள், rate limit-கள் (429), எந்த நிலையும் வருவதற்கு முன் நேரம் கடக்கும் அல்லது மறுக்கப்படும் கோரிக்கைகள் மட்டுமே.

இதை எப்படிச் சரிசெய்வது

  1. உங்கள் நெட்வொர்க்குக்கு வெளியிலிருந்து https://your-domain/robots.txt-ஐத் திறந்து நிலையைக் குறித்துக்கொள்ளுங்கள். தணிக்கை அதை உலாவி user agent-உடன் பெறுகிறது.
  2. அது 5xx எனில், origin route-ஐச் சரிபாருங்கள்: Next.js போன்ற framework-கள் அதை public/robots.txt அல்லது app/robots.ts-இலிருந்து வழங்குகின்றன, WordPress அதை இயக்கநேரத்தில் உருவாக்குகிறது, எனவே ஒரு PHP பிழை அதை உடைக்கிறது.
  3. அது 429 அல்லது timeout எனில், உங்கள் CDN அல்லது WAF-இல் /robots.txt-க்கு rate limiting மற்றும் பாட் challenge-களிலிருந்து விலக்கு அளியுங்கள்.
  4. origin மெதுவாக இருக்கும்போதும் பதிலளிக்கும்படி robots.txt-ஐ CDN-இல் cache செய்யுங்கள். AISeeWhy அறிக்கை சான்றையும் ஒட்டத் தயாரான திருத்தத்தையும் காட்டுகிறது; முடிவை உறுதிசெய்ய பிறகு "மீண்டும் சரிபார்" என்பதை இயக்குங்கள்.

திருத்தத்தை எப்படி உறுதிசெய்வது

மாற்றத்துக்குப் பின், அறிக்கையில் "மீண்டும் சரிபார்" என்பதை அழுத்துங்கள்: எது சரிசெய்யப்பட்டது, மதிப்பெண் எப்படி மாறியது என்று அது பட்டியலிடும்.

என் பக்கத்தைச் சரிபார் →

தொடர்புடைய வழிகாட்டிகள்

எல்லாக் கண்டறிதல்களும் மதிப்பெண் கணக்கீடும்