உங்கள் சர்வர் log-களில் உள்ள ஒரு IP முகவரியை ஒட்டி, அது ஒரு கிராலரின் அதிகாரப்பூர்வமாக வெளியிடப்பட்ட IP வரம்புகளில் உள்ளதா என்று பாருங்கள். தன்னை GPTBot அல்லது PerplexityBot என்று அழைத்துக்கொண்டு வேறு முகவரியிலிருந்து வரும் கோரிக்கை அந்த கிராலர் அல்ல; AI பதில்களில் தெரிவுநிலையை இழக்காமல் அதைத் தடுக்கலாம்.
எந்த கிராலர்கள் தங்கள் IP முகவரிகளை வெளியிடுகின்றன?
OpenAI, Perplexity, Google, Microsoft, Apple ஆகியவை தங்கள் கிராலர்களின் IP வரம்புகளை JSON கோப்புகளாக வெளியிடுகின்றன, அவற்றை நாங்கள் தினமும் படிக்கிறோம். வேறு சில AI நிறுவனங்கள் வரம்புகளை வெளியிடுவதில்லை; அவற்றுக்கு reverse DNS அல்லது நிறுவனத்தின் ஆவணங்கள் மட்டுமே சரிபார்ப்பு வழி. ஒரு log-இல் உள்ள எல்லா AI கிராலர் வருகைகளையும் ஒரே நேரத்தில் பார்க்க, உங்கள் AISeeWhy கணக்கில் log-ஐப் பதிவேற்றுங்கள்.
இந்த உரை ஆங்கிலத்திலிருந்து இயந்திரம் மூலம் மொழிபெயர்க்கப்பட்டது.
இந்த IP சரிபார்ப்பு என்ன செய்கிறது
உங்கள் சர்வர் அல்லது ஃபயர்வால் logs-இலிருந்து ஒரு IPv4 அல்லது IPv6 முகவரியை ஒட்டுங்கள். கிராலர் இயக்குநர்கள் தாங்களே வெளியிடும் IP வரம்புகளில் சரிபார்ப்பு அதைத் தேடுகிறது: GPTBot, OAI-SearchBot, ChatGPT-User-க்கு OpenAI, PerplexityBot, Perplexity-User-க்கு Perplexity, Googlebot-க்கு Google, Bingbot-க்கு Microsoft, Applebot-க்கு Apple. வெளியிடப்பட்ட அந்தப் பட்டியல்களை நாங்கள் தினமும் படிக்கிறோம். பதில், முகவரியைத் தன் வரம்புகளில் கொண்ட ஒவ்வொரு கிராலரையும் பெயரிடுகிறது, அல்லது எதுவும் இல்லை என்று சொல்கிறது.
முடிவை எப்படிப் படிப்பது
ஒரு கிராலரின் வெளியிடப்பட்ட வரம்புகளில்: கோரிக்கை அந்த இயக்குநரின் நெட்வொர்க்கிலிருந்து வந்தது. பொருந்தும் user agent-உடன் சேர்த்து, அது உண்மையான கிராலர் என்பதற்கு வலுவான சான்று.
எந்த வெளியிடப்பட்ட வரம்பிலும் இல்லை: பட்டியலிடப்பட்ட கிராலர்களில் ஒன்று என்று கோரிக்கை கூறியிருந்தால், அது அல்ல. வேறு யாரோ அந்தப் பெயரைப் பயன்படுத்தினார்கள்; AI பதில்களில் தெரிவுநிலையை இழக்காமல் அந்த முகவரியைத் தடுக்கலாம்.
ஒப்பிடப்பட்டவை: வரம்புகள் ஒப்பிடப்பட்ட கிராலர்களின் பட்டியல். இந்தப் பட்டியலில் இல்லாத கிராலரை இங்கே உறுதிப்படுத்தவோ நிராகரிக்கவோ முடியாது.
ஏன் யார் வேண்டுமானாலும் GPTBot என்று கூறலாம்
user agent என்பது client அனுப்பும் ஒரு வரி உரை, அதில் யார் வேண்டுமானாலும் GPTBot அல்லது Googlebot என்று எழுதலாம். எளிய வடிகட்டிகளைக் கடக்க scrapers இதைச் செய்கின்றன. அதனால்தான் user agent-ஐ மட்டும் பார்க்கும் ஃபயர்வால்கள் இரு திசைகளிலும் ஏமாறலாம்: போலிக் கிராலர்களை உள்ளே விடுகின்றன, அல்லது போலிக் கிராலருக்கு எதிராக எழுதிய விதி உண்மையானதையும் தடுக்கிறது. IP முகவரியை இயக்குநரின் வெளியிடப்பட்ட பட்டியலுடன் பொருத்துவதே அவற்றை வேறுபடுத்தும் வழி.
நாங்கள் படிக்கும் வரம்பை இயக்குநர்கள் வெளியிடாத கிராலர்களுக்கு, இயக்குநரின் சொந்த ஆவணங்களைப் பயன்படுத்துங்கள். Google, Microsoft, Apple ஒரு DNS சரிபார்ப்பையும் ஆதரிக்கின்றன: முகவரியின் host பெயரைத் தேடி, அது googlebot.com, google.com, search.msn.com அல்லது applebot.apple.com போன்ற இயக்குநரின் domain-இல் முடிகிறதா என்று சரிபார்த்து, பிறகு அந்த host பெயரை மீண்டும் தேடி அதே முகவரியைத் தருகிறதா என்று உறுதிப்படுத்துங்கள்.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
பொதுவான தவறுகள்
போலி கிராலரின் துஷ்பிரயோகத்தைப் பார்த்த பிறகு பெயரால் கிராலரைத் தடுப்பது. அதற்குப் பதிலாகத் துஷ்பிரயோகம் செய்யும் முகவரிகளைத் தடுங்கள், இல்லையெனில் உண்மையான கிராலரையும் இழப்பீர்கள்.
user agent GPTBot என்று சொல்லும் எந்தக் கோரிக்கையையும் அனுமதிப்பது. உங்கள் ஃபயர்வால் விதியில் user agent-ஐ வெளியிடப்பட்ட வரம்புகளுடன் இணையுங்கள்.
proxy-இன் முகவரியைச் சரிபார்ப்பது. CDN அல்லது load balancer-க்குப் பின்னால், உங்கள் சர்வர் பார்வையாளரை அல்ல, proxy-ஐப் பதிவு செய்யலாம்; client முகவரியைக் கொண்டு செல்லும் header-ஐப் பயன்படுத்துங்கள்.
வரம்புகளின் பழைய நகலை வைத்திருப்பது. இயக்குநர்கள் அவற்றை மாற்றுகிறார்கள்; மாதங்கள் பழைய பட்டியலிலிருந்து உருவாக்கிய விதிகள் உண்மையான கிராலர்களைத் தடுக்கலாம்.
ஒரு முகவரியிலிருந்து முழு log வரை
இந்தச் சரிபார்ப்பு ஒரு நேரத்தில் ஒரு முகவரிக்குப் பதில் தருகிறது. உங்கள் AISeeWhy கணக்கில், கட்டணத் திட்டங்களில் உள்ள server-log சரிபார்ப்பு முழு access log-ஐப் படித்து, ஒவ்வொரு AI கிராலரின் வருகைகளையும் எண்ணி, இந்த வெளியிடப்பட்ட வரம்புகளைக் கொண்டு உண்மையான கிராலர்களை ஆள்மாறாட்டக்காரர்களிடமிருந்து பிரித்து, உங்கள் சர்வர் அவற்றுக்கு எப்படிப் பதிலளித்தது என்று காட்டுகிறது.
அடிக்கடி கேட்கப்படும் கேள்விகள்
இந்தச் சரிபார்ப்பில் ClaudeBot வருகிறதா?
தற்போது இல்லை: நாங்கள் படிக்கும் வெளியிடப்பட்ட வரம்புக் கோப்புகளைக் கொண்ட கிராலர்களை இந்தச் சரிபார்ப்பு உள்ளடக்குகிறது; அவை முடிவுக்குக் கீழே பட்டியலிடப்பட்டுள்ளன. மற்ற கிராலர்களுக்கு, இயக்குநரின் ஆவணங்களைப் பின்பற்றுங்கள்.
ஒரு முகவரி Googlebot-இன் வரம்பில் உள்ளது, ஆனால் user agent வேறு ஒன்றைச் சொல்கிறது. அதன் பொருள் என்ன?
கோரிக்கை Google-இன் நெட்வொர்க்கிலிருந்து வந்தது. Google பல கிராலர்களையும் fetchers-ஐயும் இயக்குகிறது; எது என்று user agent சொல்கிறது. அது Google போல நடிக்கும் மூன்றாம் தரப்பு அல்ல.
பல முகவரிகளை ஒரே நேரத்தில் சரிபார்க்க முடியுமா?
இந்த இலவசக் கருவியில் முடியாது. உங்கள் கணக்கில் log-ஐப் பதிவேற்றி, அதிலுள்ள ஒவ்வொரு வருகையையும் சரிபாருங்கள்.
நான் உள்ளிடும் முகவரி சேமிக்கப்படுகிறதா?
அது சரிபார்ப்புக்குப் பதில் தரப் பயன்படுகிறது, உங்கள் கோரிக்கையுடன் சேமிக்கப்படுவதில்லை.