robots.txt ஒரு HTML பக்கம்
/robots.txt முகவரி ஒரு HTML ஆவணத்தைத் தருகிறது, பொதுவாக நிலை 200 உடன் வழங்கப்படும் 404 பக்கம் அல்லது முகப்புப் பக்கம். கிராலர்கள் HTML-இலிருந்து எந்த விதியையும் படிக்க முடியாது. அந்தப் பாதையில் எளிய உரை robots.txt-ஐ வழங்குங்கள், அல்லது உங்களிடம் விதிகள் இல்லையெனில் உண்மையான 404 நிலையைத் தாருங்கள்.
இதன் பொருள் என்ன
robots.txt முகவரி HTML-ஐத் தருகிறது (பெரும்பாலும் நிலை 200 உடன் வழங்கப்படும் 404 பக்கம்), எனவே கிராலர்களால் எந்த விதியையும் படிக்க முடியாது.
AI தேடலுக்கு இது ஏன் முக்கியம்
கிராலர்கள் robots.txt-ஐ வரிவரியாகப் பகுத்தாய்ந்து, புரியாதவற்றைப் புறக்கணிக்கின்றன, எனவே ஒரு HTML பக்கம் அவற்றுக்கு எந்த விதிகளையும் Sitemap வரிகளையும் தருவதில்லை. பயிற்சி கிராலர்களைத் தடுப்பது அல்லது தேடல் கிராலர்களை அனுமதிப்பது போன்ற நீங்கள் நினைத்த கொள்கை பயன்படுத்தப்படுவதில்லை, அங்கே அறிவிக்கப்பட்ட sitemap-களும் கண்டறியப்படுவதில்லை.
ஒவ்வொரு அறியப்படாத பாதைக்கும் ஆப் shell மற்றும் நிலை 200 உடன் பதிலளிக்கும் single-page ஆப்கள், catch-all route-களில் இது பொதுவாக நடக்கிறது. கிராலர்களும் அதையே செய்வதால், AISeeWhy Content-Type header-ஐ வைத்து அல்ல, உள்ளடக்கத்தை வைத்து மதிப்பிடுகிறது: text/html ஆக வழங்கப்படும் உரைக் கோப்பு இன்னும் படிக்கப்படும், HTML பக்கம் படிக்கப்படாது.
இதை எப்படிச் சரிசெய்வது
/robots.txt-ஐத் திறந்து source-ஐப் பாருங்கள்: அது<!doctypeஅல்லது<htmlஉடன் தொடங்கினால், கோப்பு இல்லை, ஒரு fallback route பதிலளிக்கிறது.- உண்மையான கோப்பைச் சேர்க்கவும்: Next.js, Vite அல்லது Create React App-இல்
public/robots.txt, nginx அல்லது Apache-இல் web root, Shopify-இல்robots.txt.liquidtemplate. - nginx-இல், static கோப்பு சரிபார்க்கப்படும் முன்
try_files ... /index.htmlfallback/robots.txt-ஐப் பிடிக்கவில்லை என்பதை உறுதிசெய்யுங்கள்; தேவைப்பட்டால்location = /robots.txtசேர்க்கவும். - அறியப்படாத பாதைகளுக்கு நிலை 404-ஐ அனுப்பும்படி உங்கள் catch-all route-ஐச் சரிசெய்யுங்கள். AISeeWhy அறிக்கை சான்றையும் ஒட்டத் தயாரான திருத்தத்தையும் காட்டுகிறது; முடிவை உறுதிசெய்ய பிறகு "மீண்டும் சரிபார்" என்பதை இயக்குங்கள்.
எடுத்துக்காட்டு
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml திருத்தத்தை எப்படி உறுதிசெய்வது
மாற்றத்துக்குப் பின், அறிக்கையில் "மீண்டும் சரிபார்" என்பதை அழுத்துங்கள்: எது சரிசெய்யப்பட்டது, மதிப்பெண் எப்படி மாறியது என்று அது பட்டியலிடும்.