robots.txt GPTBot-ஐ அனுமதிக்கிறது, ஆனால் சர்வர் அதைத் தடுக்கிறது

சுருக்கமான பதில்

உங்கள் robots.txt இந்தக் கிராலர் பக்கத்தைப் பெற அனுமதிக்கிறது, ஆனால் அதன் user agent-உடனான கோரிக்கை சர்வர், CDN அல்லது ஃபயர்வாலால் தடுக்கப்பட்டது. அறிவிக்கப்பட்ட கொள்கையும் உண்மையான நடத்தையும் முரண்படுகின்றன. ஃபயர்வால் விதியை robots.txt-க்கு ஏற்ப மாற்றுங்கள், அல்லது கிராலரைத் தடுக்கவே நினைத்திருந்தால் robots.txt-இல் அதற்கு அனுமதி மறுங்கள்.

robots.access_conflict · முன்னுரிமை: P1–P3, கிராலர் வகைப்படி

இதன் பொருள் என்ன

உங்கள் விதிகள் GPTBot-ஐ அனுமதிக்கின்றன, ஆனாலும் அதன் user agent-உடன் வந்த கோரிக்கை தடுக்கப்பட்டது. ஃபயர்வால் அல்லது CDN நீங்கள் அறிவித்த கொள்கையை மீறுகிறது.

AI தேடலுக்கு இது ஏன் முக்கியம்

கிராலர்கள் robots.txt-ஐ உங்கள் கொள்கையாகக் கருதுகின்றன. அது ஆம் என்றும் சர்வர் 403 என்றும் சொல்லும்போது, கிராலர் கோரிக்கைகளை வீணாக்குகிறது, பின்னர் மீண்டும் முயலலாம், பக்கம் பதில் இயந்திரத்தின் index-இல் இன்னும் சேர்வதில்லை. robots.txt அப்படிச் சொல்வதால் தாங்கள் AI தேடலை அனுமதிப்பதாகக் குழுக்கள் அடிக்கடி நம்புகின்றன, ஆனால் ஒரு பாட் விதி அதை அமைதியாகத் தடுக்கிறது.

சோதனைக் கோரிக்கை சரிபார்க்கப்படாத IP முகவரியிலிருந்து இயங்குகிறது. எனவே வெளியிடப்பட்ட IP வரம்புகளிலிருந்து மட்டுமே கிராலரை உள்ளே விடும் விதி, அது நியாயமான அமைப்பாக இருந்தாலும், உண்மையான கிராலர் உள்ளே வந்தாலும் இங்கே தோன்றக்கூடும். எதையும் மாற்றும் முன் எந்த விதி செயல்பட்டது என்று சரிபாருங்கள்.

இதை எப்படிச் சரிசெய்வது

  1. கண்டறிதலில் உள்ள robots.txt குழுவையும் தடுக்கப்பட்ட கோரிக்கையின் நிலையையும் ஒப்பிடுங்கள். AISeeWhy அறிக்கை சான்றையும் ஒட்டத் தயாரான திருத்தத்தையும் காட்டுகிறது; முடிவை உறுதிசெய்ய பிறகு "மீண்டும் சரிபார்" என்பதை இயக்குங்கள்.
  2. கோரிக்கையைத் தடுத்த விதியைக் கண்டறியுங்கள்: Cloudflare-இல் Security → Events-ஐயும் AI Crawl Control, Bot Fight Mode அமைப்புகளையும் பாருங்கள்; பிற CDN-களில் bot management log-ஐப் பாருங்கள்.
  3. கிராலரை உள்ளே விட விரும்பினால், அதற்கு ஒரு விதிவிலக்கைச் சேர்க்கவும்; வெளியே வைக்க விரும்பினால், உங்கள் கொள்கை ஒரே இடத்தில் அறிவிக்கப்படும்படி அதன் டோக்கனுக்கு ஒரு Disallow குழுவைச் சேர்க்கவும்.

திருத்தத்தை எப்படி உறுதிசெய்வது

மாற்றத்துக்குப் பின், அறிக்கையில் "மீண்டும் சரிபார்" என்பதை அழுத்துங்கள்: எது சரிசெய்யப்பட்டது, மதிப்பெண் எப்படி மாறியது என்று அது பட்டியலிடும்.

என் பக்கத்தைச் சரிபார் →

தொடர்புடைய வழிகாட்டிகள்

எல்லாக் கண்டறிதல்களும் மதிப்பெண் கணக்கீடும்