ChatGPT என் இணையதளத்தைப் பார்க்க முடியுமா? எப்படிச் சரிபார்ப்பது
உங்கள் பக்கத்தை ஒட்டி, ChatGPT-இன் கிராலர்கள் அதை அடைந்து, படித்து, மேற்கோள் காட்ட முடிகிறதா என்பதையும், முடியாவிட்டால் என்ன மாற்ற வேண்டும் என்பதையும் சுமார் 30 விநாடிகளில் பாருங்கள்.
இலவசம் · பதிவு தேவையில்லை · 30 வினாடிகளில் முடிவு
robots.txt, கிராலர் வாரியாக
OAI-SearchBot, ChatGPT-User, GPTBot ஆகியவை RFC 9309 விதிகளின்படி தனித்தனியாகப் படிக்கப்படும்; எது அனுமதிக்கப்பட்டது, எந்த வரி முடிவு செய்கிறது என்பதைப் பார்க்கலாம்.
ஃபயர்வால் மற்றும் CDN தடைகள்
உங்கள் பக்கம் 14 கிராலர்களாகவும் சாதாரண உலாவியாகவும் கோரப்படும். கிராலர்களுக்கு மட்டும் வரும் 403, 429 அல்லது challenge பக்கம் குறிக்கப்பட்டு, அதன் பின்னுள்ள ஃபயர்வால் பெயரிடப்படும்.
கிராலர் உண்மையில் பெறுவது என்ன
ஒவ்வொரு கிராலருக்குமான நிலை, அளவு, திசைதிருப்பல்கள் உலாவி பெறுவதுடன் ஒப்பிடப்படும்; மக்களுக்குத் தருவதைவிடக் குறைவாக கிராலர்களுக்குத் தரும் பக்கம் தெளிவாகத் தெரியும்.
ஒவ்வொரு கண்டுபிடிப்புக்கும் தீர்வு
ஒவ்வொரு கண்டுபிடிப்புடனும் செய்ய வேண்டிய மாற்றம் வரும். இலவச சோதனை உங்கள் மதிப்பெண்ணையும் முதல் கண்டுபிடிப்பையும் காட்டும்; முழு அறிக்கை $29, ஒருமுறை மட்டும்.
OpenAI-இன் தேடல் கிராலரான OAI-SearchBot உங்கள் பக்கத்தைப் பெற அனுமதிக்கப்பட்டு, உலாவி பெறும் அதே HTML-ஐப் பெற்றால் மட்டுமே ChatGPT அதை மேற்கோள் காட்ட முடியும். மூன்று விஷயங்களைச் சரிபாருங்கள்: உங்கள் robots.txt OAI-SearchBot-ஐத் தடுக்கவில்லை, உங்கள் ஃபயர்வால் அல்லது CDN அதற்கு 403 அல்லது challenge பக்கத்துடன் பதிலளிக்கவில்லை, முக்கிய உரை தொடக்க HTML-இலேயே உள்ளது. படிக்க முடிவது பரிந்துரைக்கப்படுவதற்குச் சமம் அல்ல: ChatGPT உங்கள் தளத்தைப் பெயரிடுகிறதா என்று பார்க்க, உங்கள் வாங்குபவர்கள் கேட்கும் கேள்விகளை அதனிடம் கேட்டு, அது எந்தத் தளங்களை மேற்கோள் காட்டுகிறது என்று குறித்துக்கொள்ளுங்கள்.
3 படிகளில் நீங்களே சரிபாருங்கள்
- உங்கள் robots.txt-ஐப் படியுங்கள்
https://your-site.com/robots.txt-ஐத் திறங்கள்.OAI-SearchBot,ChatGPT-Userஅல்லதுUser-agent: *குழு எதுவும் பக்கத்தை disallow செய்யக்கூடாது.GPTBotபயிற்சிக்கு மட்டுமே முக்கியம். - கிராலர் பெறுவதைச் சோதியுங்கள்
பக்கத்தை
OAI-SearchBotஆகக் கோருங்கள், அல்லது இலவச சோதனையை இயக்குங்கள். அது 403 அல்லது challenge பக்கம் அல்ல, உலாவி பெறும் அதே உரையுடன் 200 தர வேண்டும். - ChatGPT-இடம் கேளுங்கள்
தேடல் இயக்கத்தில், உங்கள் URL-ஐச் சுருக்கச் சொல்லுங்கள்; உங்கள் வாங்குபவர்கள் கேட்கும் ஒரு கேள்விக்கும் பதிலளிக்கச் சொல்லி, அது பட்டியலிடும் மூலங்களைப் பாருங்கள். அணுகல் சரியாக இருந்தும் நீங்கள் வரவில்லை என்றால், காரணம் உள்ளடக்கமே.
அடிக்கடி கேட்கப்படும் கேள்விகள்
ChatGPT என் தளத்தைப் பார்க்க முடியுமா என்று இலவசமாகச் சரிபார்க்க முடியுமா?
ஆம். உங்கள் robots.txt-ஐப் படிப்பது, OAI-SearchBot user agent-உடன் ஒரு curl கோரிக்கை, ChatGPT-இல் ஒரு கேள்வி ஆகியவற்றுக்குச் செலவு இல்லை. AISeeWhy-இன் இலவசச் சரிபார்ப்பு கணக்கு இல்லாமல் நாளுக்கு ஒரு பக்கத்துக்குக் கிராலர் சோதனைகளை இயக்குகிறது.
ChatGPT என் தளத்தைப் பரிந்துரைக்கிறதா என்று எப்படிச் சரிபார்ப்பது?
தேடல் இயக்கத்தில் உங்கள் வாங்குபவர்கள் கேட்கும் கேள்விகளை ChatGPT-இடம் கேட்டு, அது உங்கள் தளத்தைப் பெயரிடுகிறதா அல்லது இணைக்கிறதா, அதற்குப் பதிலாக எந்தப் போட்டியாளர்களைப் பெயரிடுகிறது என்று குறித்துக்கொள்ளுங்கள். பதில்கள் ஒவ்வொரு முறையும் மாறுகின்றன, எனவே ஒவ்வொரு கேள்வியையும் மீண்டும் கேட்டு, பல வாரங்களில் மீண்டும் சரிபாருங்கள். AISeeWhy-இன் AI-யில் தெரிவுநிலைச் சரிபார்ப்பு உங்கள் கேள்விகளை உங்கள் சொந்த API விசைகளுடன் ChatGPT, Claude, Perplexity, Gemini வழியாக இயக்கி, 4 போட்டியாளர்கள் வரை அருகில் வைத்துக் குறிப்புகளைக் கண்காணிக்கிறது. API வழியான பதில்கள் ChatGPT app காட்டுவதிலிருந்து வேறுபடலாம்.
ChatGPT ஏன் என் தளத்தைக் கண்டுபிடிக்க முடியவில்லை?
பெரும்பாலும் robots.txt-இல் OAI-SearchBot மறுக்கப்பட்டுள்ளது, ஃபயர்வால் அதற்கு 403 அல்லது challenge பக்கத்துடன் பதிலளிக்கிறது, அல்லது JavaScript இயங்கிய பிறகே உரை தோன்றுகிறது. மூன்றும் சரியாக இருந்தால், ChatGPT மேற்கோள் காட்டும் பக்கங்களை விட உங்கள் பக்கம் கேள்விக்குக் குறைவான நேரடியாகப் பதிலளிக்கலாம்.
GPTBot-ஐத் தடுத்தால் என் தளம் ChatGPT தேடலிலிருந்து நீக்கப்படுமா?
இல்லை. OpenAI ஒவ்வொரு கிராலர் அமைப்பையும் தனித்ததாகக் கருதுகிறது. GPTBot பயிற்சியுடன் தொடர்புடையது; ChatGPT தேடல் பதில்களில் பக்கங்களைக் காட்ட முடியுமா என்பதை OAI-SearchBot தீர்மானிக்கிறது. ஒன்றைத் தடுத்து மற்றொன்றை அனுமதிக்கலாம்.
ChatGPT-User robots.txt-ஐப் பின்பற்றுகிறதா?
இந்த வருகைகள் பயனரால் தொடங்கப்படுவதால் robots.txt விதிகள் பொருந்தாமல் போகலாம் என்று OpenAI கூறுகிறது. அந்த வருகைகளை நிறுத்த விரும்பினால், robots.txt விதி நம்பகமான கட்டுப்பாடு அல்ல.
robots.txt மாற்றம் ChatGPT-ஐ அடைய எவ்வளவு நேரம் ஆகும்?
robots.txt புதுப்பிப்புக்குப் பிறகு தேடலுக்காகத் தன் அமைப்புகள் சரிசெய்துகொள்ளச் சுமார் 24 மணிநேரம் ஆகலாம் என்று OpenAI கூறுகிறது.
அணுகக்கூடியதாக இருப்பது மேற்கோள் காட்டப்படப் போதுமா?
இல்லை. அணுகல் மேற்கோளைச் சாத்தியமாக்குகிறது; அதற்கு உத்தரவாதம் அளிப்பதில்லை. பக்கம் என்ன சொல்கிறது, எவ்வளவு தெளிவாகச் சொல்கிறது என்பதே அது பதிலில் பயன்படுத்தப்படுமா என்பதை இன்னும் தீர்மானிக்கிறது.
முழு வழிகாட்டியைப் படியுங்கள்
பல தள உரிமையாளர்கள் ChatGPT-இடம் தங்கள் சொந்தத் தயாரிப்பைப் பற்றிக் கேட்டு, அதற்குப் பதிலாக ஒரு போட்டியாளர் மேற்கோள் காட்டப்படுவதைப் பார்த்து, ChatGPT தங்கள் தளத்தை அடையவே முடிகிறதா என்று யோசிக்கிறார்கள். இந்தக் கேள்விக்குச் சோதித்துப் பார்க்கக்கூடிய தெளிவான பதில் உண்டு. OpenAI தன் கிராலர்களின் பெயர்களையும் ஒவ்வொன்றும் என்ன செய்கிறது என்பதையும் வெளியிடுகிறது; எனவே சங்கிலியின் ஒவ்வொரு கண்ணியையும் சரிபார்க்கலாம்: robots.txt விதிகள், உங்கள் சர்வர் அனுப்பும் பதில், அந்தப் பதிலில் உள்ள உள்ளடக்கம்.
5 நிமிடச் சோதனை, படிப்படியாக
https://your-site.com/robots.txt-ஐத் திறந்து,OAI-SearchBot,ChatGPT-Userஅல்லதுUser-agent: *-க்கான எந்தக் குழுவும் பக்கத்தைத் தடுக்கவில்லை என்று உறுதிசெய்யுங்கள்.GPTBotபயிற்சிக்கு மட்டுமே முக்கியம்.- AISeeWhy-இல் பக்கத்தின் இலவசச் சரிபார்ப்பை இயக்குங்கள் அல்லது
OAI-SearchBotuser agent-உடன் ஒரு கோரிக்கையை அனுப்புங்கள்: அதற்கு 403 அல்லது challenge பக்கம் அல்ல, status 200-உம் உலாவிக்குக் கிடைக்கும் அதே உரையும் கிடைக்க வேண்டும். - பக்கத்தின் source-ஐப் பார்த்து, முக்கிய உரை HTML-இல் உள்ளது, பின்னர் JavaScript மூலம் சேர்க்கப்படவில்லை என்று உறுதிசெய்யுங்கள்.
- தேடல் இயக்கத்தில் ChatGPT-இடம் உங்கள் URL-ஐச் சுருக்கவும், உங்கள் வாங்குபவர்கள் கேட்கும் ஒரு கேள்விக்குப் பதிலளிக்கவும் கேளுங்கள். அது பட்டியலிடும் மூலங்களைப் பாருங்கள்.
படி 1 அல்லது 2 தோல்வியடைந்தால், முதலில் அதைச் சரிசெய்யுங்கள்: கீழே உள்ள பிரிவுகள் எப்படி என்று காட்டுகின்றன. நான்கும் வெற்றிபெற்றும் ChatGPT உங்களை மேற்கோள் காட்டவில்லை என்றால், காரணம் அணுகல் அல்ல, உள்ளடக்கம்.
ChatGPT பதில்களுக்கு எந்த OpenAI கிராலர்கள் முக்கியம்?
தள உரிமையாளர்கள் வழக்கமாகச் சந்திக்கும் மூன்று ஏஜென்ட்களை OpenAI ஆவணப்படுத்துகிறது. அவற்றின் வேலைகள் வேறுபட்டவை; ஒன்றைத் தடுப்பது மற்றவற்றைத் தடுக்காது. ஒவ்வொரு robots.txt அமைப்பும் தனித்தது என்று OpenAI கூறுகிறது.
OAI-SearchBotChatGPT-இன் தேடல் அம்சங்களுக்காகப் பக்கங்களைக் கண்டறிந்து குறியிடுகிறது. அதிலிருந்து விலகிய தளங்கள் ChatGPT தேடல் பதில்களில் காட்டப்படாது என்று OpenAI கூறுகிறது. நீங்கள் மேற்கோள் காட்டப்பட முடியுமா என்பதைத் தீர்மானிப்பது இதுதான்.GPTBotOpenAI-இன் அடிப்படை மாடல்களுக்குப் பயிற்சி அளிக்கப் பயன்படக்கூடிய உள்ளடக்கத்தைச் சேகரிக்கிறது. அதைத் தடுப்பது உங்கள் உள்ளடக்கம் பயிற்சிக்குப் பயன்படக் கூடாது என்று தெரிவிக்கிறது. அது உங்களைத் தேடல் பதில்களிலிருந்து நீக்காது.ChatGPT-Userஒரு நபர் ChatGPT-இடம் கேட்கும்போது, உதாரணமாக ஒரு இணைப்பை ஒட்டும்போது, பக்கத்தைப் பார்வையிடுகிறது. பயனர் தொடங்கும் இந்த வருகைகளுக்கு robots.txt விதிகள் பொருந்தாமல் போகலாம் என்றும், உள்ளடக்கம் தேடலில் தோன்றுமா என்பதைத் தீர்மானிக்க இந்த ஏஜென்ட் பயன்படுத்தப்படுவதில்லை என்றும் OpenAI கூறுகிறது.
சுருக்கமாக: OAI-SearchBot மேற்கோள்களைக் கட்டுப்படுத்துகிறது, GPTBot பயிற்சியைக் கட்டுப்படுத்துகிறது, ChatGPT-User பயனரின் கோரிக்கையின் பேரில் நேரலை வருகைகளைக் கையாள்கிறது.
ChatGPT-க்காக என் robots.txt-ஐ எப்படிச் சரிபார்ப்பது?
உலாவியில் https://yourdomain.com/robots.txt-ஐத் திறங்கள். OAI-SearchBot எனப் பெயரிடும் குழுவைத் தேடுங்கள். அப்படி எதுவும் இல்லையெனில், கிராலர் User-agent: * குழுவைப் பின்பற்றும். பொருந்தும் குழுவில் உள்ள Disallow: / முழுத் தளத்தையும் தடுக்கிறது.
கோப்பு பதிலளிக்கிறதா என்பதையும் சரிபாருங்கள். RFC 9309-இன்படி, robots.txt சர்வர் பிழையை (5xx) தந்தால் அல்லது அடைய முடியாவிட்டால், முழுத் தளமும் தடுக்கப்பட்டதாகக் கிராலர் கருத வேண்டும். 404 பரவாயில்லை: அதற்கு விதிகள் இல்லை என்று பொருள். நிலை 200 உடன் HTML பக்கத்தைத் தரும் robots.txt முகவரி ஒரு பொதுவான தவறு, ஏனெனில் கிராலர்கள் அதில் செல்லுபடியான விதிகள் எதையும் காண்பதில்லை.
ChatGPT தேடலை வைத்துக்கொண்டு பயிற்சியிலிருந்து விலகும் அமைப்பு இப்படி இருக்கும்:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / robots.txt-ஐப் புதுப்பித்த பிறகு தேடலுக்கான மாற்றங்கள் நடைமுறைக்கு வரச் சுமார் 24 மணிநேரம் ஆகலாம் என்று OpenAI கூறுகிறது.
robots.txt அனுமதித்தாலும் ஃபயர்வால் ChatGPT-ஐத் தடுக்குமா?
ஆம், இது ஒரு பொதுவான காரணம். robots.txt நன்னடத்தை கொண்ட கிராலர்களுக்கான வேண்டுகோள், அணுகல் கட்டுப்பாடு அல்ல. உண்மையில் என்ன திருப்பி அனுப்பப்படுகிறது என்பதை உங்கள் ஃபயர்வால், CDN அல்லது பாட் பாதுகாப்பு தீர்மானிக்கிறது. அது ஒரு AI கிராலரை வேண்டாத பாட்டாகக் கருதினால், உலாவியில் உள்ளவர்கள் பக்கத்தைச் சாதாரணமாகப் பார்க்கும்போதே கிராலருக்கு 403, 429 அல்லது Cloudflare-இன் "Just a moment..." திரை போன்ற challenge பக்கம் கிடைக்கும்.
வெளியிலிருந்து பார்த்தால் இது எல்லோருக்கும் திறந்திருக்கும் தளம் போலவே தெரியும். தன்னைக் கிராலர் என அடையாளப்படுத்தும் கோரிக்கை மட்டுமே வேறுபாட்டைக் காட்டும். அப்போது robots.txt ஆம் என்கிறது, சர்வர் இல்லை என்கிறது, சர்வரே வெல்கிறது.
OAI-SearchBot என்ன பெறுகிறது என்பதை எப்படிச் சோதிப்பது?
ஒரே URL-க்கு இரண்டு கோரிக்கைகளை அனுப்புங்கள், ஒன்று உலாவி user agent-உடன், மற்றொன்று கிராலரின் user agent-உடன், பிறகு நிலைக் குறியீட்டையும் அளவையும் ஒப்பிடுங்கள். OpenAI ஒவ்வொரு கிராலருக்கும் ஒரு எடுத்துக்காட்டு user agent-ஐ வெளியிடுகிறது; அதில் உள்ள பதிப்பு எண் மாறலாம்.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page உலாவிக்குப் பெரிய body-உடன் 200-உம், கிராலருக்கு 403, 429, 503 அல்லது மிகச் சிறிய body-உம் கிடைத்தால், உங்கள் ஃபயர்வால் கிராலரை வேறுவிதமாக நடத்துகிறது. ஒரு வரம்பு உண்டு: உங்கள் சோதனை OpenAI-இன் IP-இலிருந்து அல்ல, உங்கள் சொந்த IP முகவரியிலிருந்து வருகிறது. வெளியிடப்பட்ட IP வரம்புகளுடன் கிராலர்களைச் சரிபார்க்கும் ஃபயர்வால்கள் (OpenAI அவற்றை openai.com/searchbot.json-இல் பட்டியலிடுகிறது) உங்கள் சோதனையைத் தடுத்து உண்மையான கிராலரை உள்ளே விடலாம். இந்தச் சோதனையில் தடை வந்தாலும், ஃபயர்வால் user agent-ஐ எப்படி நடத்துகிறது என்பதை அது காட்டுகிறது; அதைச் சரிசெய்வது பயனுள்ளது.
பக்கம் ஏற்றப்பட்டும் ChatGPT பயனுள்ள எதையும் சொல்லவில்லை என்றால்?
அணுகல் முதல் படி மட்டுமே. வந்து சேரும் HTML பிறகு JavaScript நிரப்பும் வெற்று shell-ஆக இருந்தால், கிராலருக்குக் கிட்டத்தட்ட எந்த உரையும் கிடைக்காமல் போகலாம். curl அல்லது உங்கள் உலாவியின் view-source மூலம் மூல HTML-ஐப் பாருங்கள்: முக்கிய உரை அங்கே இல்லையெனில், கிராலரும் அதைப் பார்க்காமல் இருக்க வாய்ப்புள்ளது.
அதன் பிறகு உள்ளடக்க signals வருகின்றன: பக்கத்தின் மேற்பகுதியில் தெளிவான சுருக்கமான பதில், மக்கள் கேட்கும் கேள்விகளுடன் பொருந்தும் தலைப்புகள், பெயரிடப்பட்ட வெளியீட்டாளரும் ஆசிரியரும், தெரியும் தேதிகள். இவை மேற்கோளுக்கு உத்தரவாதம் அளிக்காது, ஆனால் ஒரு பக்கத்தைச் சரியாக மேற்கோள் காட்டுவதை எளிதாக்குகின்றன.
AISeeWhy இதை எப்படிச் சரிபார்க்கிறது?
AISeeWhy உங்கள் பக்கத்தை ஒரு சாதாரண உலாவியுடன் சேர்த்து OAI-SearchBot, GPTBot, ChatGPT-User மற்றும் 11 பிற கிராலர்களாகப் பெறுகிறது, உங்கள் robots.txt-ஐ RFC 9309 விதிகளின்படி படிக்கிறது, தடை அல்லது challenge உடன் பதிலளிக்கும் ஃபயர்வாலைப் பெயரிடுகிறது. ஒவ்வொரு கண்டறிதலும் ஒட்ட வேண்டிய திருத்தத்துடன் வருகிறது; இலவசச் சரிபார்ப்பு உங்கள் மதிப்பெண்ணையும் முதல் கண்டறிதலையும் காட்டுகிறது.
இந்தச் சிக்கலுக்கான திருத்தங்கள்
- OAI-SearchBot தடுக்கப்பட்டுள்ளது
- GPTBot ஒரு வெற்றுப் பக்கத்தைப் பெறுகிறது
- பக்கத்தைப் பெற முடியவில்லை
- பக்கம் நிலை 403 உடன் பதிலளிக்கிறது
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
மூலங்கள்
- OpenAI: OpenAI கிராலர்களின் கண்ணோட்டம்
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI கிராலர்களை நிர்வகித்தல் (AI Crawl Control)