robots.txt ஒரு HTML பக்கம்

சுருக்கமான பதில்

/robots.txt முகவரி ஒரு HTML ஆவணத்தைத் தருகிறது, பொதுவாக நிலை 200 உடன் வழங்கப்படும் 404 பக்கம் அல்லது முகப்புப் பக்கம். கிராலர்கள் HTML-இலிருந்து எந்த விதியையும் படிக்க முடியாது. அந்தப் பாதையில் எளிய உரை robots.txt-ஐ வழங்குங்கள், அல்லது உங்களிடம் விதிகள் இல்லையெனில் உண்மையான 404 நிலையைத் தாருங்கள்.

robots.invalid · முன்னுரிமை: P2

இதன் பொருள் என்ன

robots.txt முகவரி HTML-ஐத் தருகிறது (பெரும்பாலும் நிலை 200 உடன் வழங்கப்படும் 404 பக்கம்), எனவே கிராலர்களால் எந்த விதியையும் படிக்க முடியாது.

AI தேடலுக்கு இது ஏன் முக்கியம்

கிராலர்கள் robots.txt-ஐ வரிவரியாகப் பகுத்தாய்ந்து, புரியாதவற்றைப் புறக்கணிக்கின்றன, எனவே ஒரு HTML பக்கம் அவற்றுக்கு எந்த விதிகளையும் Sitemap வரிகளையும் தருவதில்லை. பயிற்சி கிராலர்களைத் தடுப்பது அல்லது தேடல் கிராலர்களை அனுமதிப்பது போன்ற நீங்கள் நினைத்த கொள்கை பயன்படுத்தப்படுவதில்லை, அங்கே அறிவிக்கப்பட்ட sitemap-களும் கண்டறியப்படுவதில்லை.

ஒவ்வொரு அறியப்படாத பாதைக்கும் ஆப் shell மற்றும் நிலை 200 உடன் பதிலளிக்கும் single-page ஆப்கள், catch-all route-களில் இது பொதுவாக நடக்கிறது. கிராலர்களும் அதையே செய்வதால், AISeeWhy Content-Type header-ஐ வைத்து அல்ல, உள்ளடக்கத்தை வைத்து மதிப்பிடுகிறது: text/html ஆக வழங்கப்படும் உரைக் கோப்பு இன்னும் படிக்கப்படும், HTML பக்கம் படிக்கப்படாது.

இதை எப்படிச் சரிசெய்வது

  1. /robots.txt-ஐத் திறந்து source-ஐப் பாருங்கள்: அது <!doctype அல்லது <html உடன் தொடங்கினால், கோப்பு இல்லை, ஒரு fallback route பதிலளிக்கிறது.
  2. உண்மையான கோப்பைச் சேர்க்கவும்: Next.js, Vite அல்லது Create React App-இல் public/robots.txt, nginx அல்லது Apache-இல் web root, Shopify-இல் robots.txt.liquid template.
  3. nginx-இல், static கோப்பு சரிபார்க்கப்படும் முன் try_files ... /index.html fallback /robots.txt-ஐப் பிடிக்கவில்லை என்பதை உறுதிசெய்யுங்கள்; தேவைப்பட்டால் location = /robots.txt சேர்க்கவும்.
  4. அறியப்படாத பாதைகளுக்கு நிலை 404-ஐ அனுப்பும்படி உங்கள் catch-all route-ஐச் சரிசெய்யுங்கள். AISeeWhy அறிக்கை சான்றையும் ஒட்டத் தயாரான திருத்தத்தையும் காட்டுகிறது; முடிவை உறுதிசெய்ய பிறகு "மீண்டும் சரிபார்" என்பதை இயக்குங்கள்.

எடுத்துக்காட்டு

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

திருத்தத்தை எப்படி உறுதிசெய்வது

மாற்றத்துக்குப் பின், அறிக்கையில் "மீண்டும் சரிபார்" என்பதை அழுத்துங்கள்: எது சரிசெய்யப்பட்டது, மதிப்பெண் எப்படி மாறியது என்று அது பட்டியலிடும்.

என் பக்கத்தைச் சரிபார் →

தொடர்புடைய வழிகாட்டிகள்

எல்லாக் கண்டறிதல்களும் மதிப்பெண் கணக்கீடும்