robots.txt OAI-SearchBot-ஐ அனுமதிக்கவில்லை

சுருக்கமான பதில்

உங்கள் robots.txt-இல் இந்தக் கிராலரின் டோக்கனுக்கு இந்தப் பக்கத்துடன் பொருந்தும் Disallow விதி உள்ளது. தணிக்கை RFC 9309-ஐப் பயன்படுத்துகிறது: கிராலருக்குச் சொந்தக் குழு இருந்தால் அது, இல்லையெனில் * குழு; மிக நீளமாகப் பொருந்தும் விதி வெல்லும். கிராலரை உள்ளே விட விரும்பினால், அதற்கு Allow சேர்க்கவும் அல்லது விதியை நீக்கவும்.

robots.disallowed · முன்னுரிமை: P1–P3, கிராலர் வகைப்படி

இதன் பொருள் என்ன

உங்கள் robots.txt விதிகள் OAI-SearchBot /-ஐப் பெறுவதைத் தடுக்கின்றன.

AI தேடலுக்கு இது ஏன் முக்கியம்

நன்னடத்தை கொண்ட AI கிராலர்கள் robots.txt-க்குக் கீழ்ப்படிகின்றன. OAI-SearchBot, Claude-SearchBot அல்லது PerplexityBot-க்கு அனுமதி மறுக்கப்பட்டால், அவற்றின் தேடல் index-களுக்காகப் பக்கம் பெறப்படாது, எனவே அவற்றின் பதில்களில் அது மேற்கோள் காட்டப்பட முடியாது. GPTBot, ClaudeBot, Google-Extended அல்லது Applebot-Extended போன்ற பயிற்சி டோக்கன்களுக்கு அனுமதி மறுப்பது மாதிரிப் பயிற்சிக்கான பயன்பாட்டை மட்டுமே நிறுத்துகிறது.

பல தளங்கள் தற்செயலாக AI கிராலர்களைத் தடுக்கின்றன: Googlebot தவிர எல்லாவற்றுக்கும் அனுமதி மறுக்கும் template, அல்லது staging-இலிருந்து மிஞ்சிய Disallow: / கொண்ட User-agent: * குழு. Applebot-க்குச் சொந்தக் குழு இல்லாதபோது அது Googlebot குழுவைப் பயன்படுத்துகிறது என்பதைக் கவனியுங்கள்.

இதை எப்படிச் சரிசெய்வது

  1. கண்டறிதலில் விதியைக் கண்டறியுங்கள்: அது கிராலர் டோக்கனையும் பாதையையும் குறிப்பிடுகிறது. AISeeWhy அறிக்கை சான்றையும் ஒட்டத் தயாரான திருத்தத்தையும் காட்டுகிறது; முடிவை உறுதிசெய்ய பிறகு "மீண்டும் சரிபார்" என்பதை இயக்குங்கள்.
  2. பக்கத்துக்கு அனுமதி மறுக்கும் எந்தக் குழுவிலிருந்தும் கிராலரின் டோக்கனை நீக்கி, பிறகு Allow: / கொண்ட அதன் சொந்தக் குழுவைச் சேர்க்கவும். குறிப்பிட்ட குழு அந்தக் கிராலருக்கு * குழுவை மாற்றீடு செய்கிறது, எனவே * கீழ் உள்ள விதிகள் இனி அதற்குப் பொருந்தாது.
  3. WordPress-இல், robots.txt web root-இல் உள்ள உண்மையான கோப்பா அல்லது Yoast, Rank Math போன்ற SEO plugin-ஆல் உருவாக்கப்படுகிறதா என்று சரிபார்த்து, அங்கே திருத்துங்கள். Shopify-இல், robots.txt.liquid theme template-ஐத் திருத்துங்கள்.
  4. Cloudflare-இல், managed robots.txt அமைப்பு உங்கள் சொந்தக் கோப்புக்கு மேல் AI கிராலர் விதிகளைச் சேர்க்கிறதா என்று சரிபாருங்கள்.
  5. உங்கள் கொள்கை அதுவெனில் பயிற்சி டோக்கன்களுக்கு அனுமதி மறுப்பைத் தொடருங்கள்; தனி டோக்கன்களைப் பயன்படுத்தும் தேடல் கிராலர்களை அது பாதிக்காது.

எடுத்துக்காட்டு

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

திருத்தத்தை எப்படி உறுதிசெய்வது

மாற்றத்துக்குப் பின், அறிக்கையில் "மீண்டும் சரிபார்" என்பதை அழுத்துங்கள்: எது சரிசெய்யப்பட்டது, மதிப்பெண் எப்படி மாறியது என்று அது பட்டியலிடும்.

என் பக்கத்தைச் சரிபார் →

தொடர்புடைய வழிகாட்டிகள்

எல்லாக் கண்டறிதல்களும் மதிப்பெண் கணக்கீடும்