AI கிராலர் IP சரிபார்ப்பு

உங்கள் சர்வர் log-களில் உள்ள ஒரு IP முகவரியை ஒட்டி, அது ஒரு கிராலரின் அதிகாரப்பூர்வமாக வெளியிடப்பட்ட IP வரம்புகளில் உள்ளதா என்று பாருங்கள். தன்னை GPTBot அல்லது PerplexityBot என்று அழைத்துக்கொண்டு வேறு முகவரியிலிருந்து வரும் கோரிக்கை அந்த கிராலர் அல்ல; AI பதில்களில் தெரிவுநிலையை இழக்காமல் அதைத் தடுக்கலாம்.

எந்த கிராலர்கள் தங்கள் IP முகவரிகளை வெளியிடுகின்றன?

OpenAI, Perplexity, Google, Microsoft, Apple ஆகியவை தங்கள் கிராலர்களின் IP வரம்புகளை JSON கோப்புகளாக வெளியிடுகின்றன, அவற்றை நாங்கள் தினமும் படிக்கிறோம். வேறு சில AI நிறுவனங்கள் வரம்புகளை வெளியிடுவதில்லை; அவற்றுக்கு reverse DNS அல்லது நிறுவனத்தின் ஆவணங்கள் மட்டுமே சரிபார்ப்பு வழி. ஒரு log-இல் உள்ள எல்லா AI கிராலர் வருகைகளையும் ஒரே நேரத்தில் பார்க்க, உங்கள் AISeeWhy கணக்கில் log-ஐப் பதிவேற்றுங்கள்.

முழுச் சரிபார்ப்பை இயக்கு →

வழிகாட்டி

AI கிராலர் IP சரிபார்ப்பை எப்படிப் பயன்படுத்துவது

இந்த உரை ஆங்கிலத்திலிருந்து இயந்திரம் மூலம் மொழிபெயர்க்கப்பட்டது.

இந்த IP சரிபார்ப்பு என்ன செய்கிறது

உங்கள் சர்வர் அல்லது ஃபயர்வால் logs-இலிருந்து ஒரு IPv4 அல்லது IPv6 முகவரியை ஒட்டுங்கள். கிராலர் இயக்குநர்கள் தாங்களே வெளியிடும் IP வரம்புகளில் சரிபார்ப்பு அதைத் தேடுகிறது: GPTBot, OAI-SearchBot, ChatGPT-User-க்கு OpenAI, PerplexityBot, Perplexity-User-க்கு Perplexity, Googlebot-க்கு Google, Bingbot-க்கு Microsoft, Applebot-க்கு Apple. வெளியிடப்பட்ட அந்தப் பட்டியல்களை நாங்கள் தினமும் படிக்கிறோம். பதில், முகவரியைத் தன் வரம்புகளில் கொண்ட ஒவ்வொரு கிராலரையும் பெயரிடுகிறது, அல்லது எதுவும் இல்லை என்று சொல்கிறது.

முடிவை எப்படிப் படிப்பது

ஏன் யார் வேண்டுமானாலும் GPTBot என்று கூறலாம்

user agent என்பது client அனுப்பும் ஒரு வரி உரை, அதில் யார் வேண்டுமானாலும் GPTBot அல்லது Googlebot என்று எழுதலாம். எளிய வடிகட்டிகளைக் கடக்க scrapers இதைச் செய்கின்றன. அதனால்தான் user agent-ஐ மட்டும் பார்க்கும் ஃபயர்வால்கள் இரு திசைகளிலும் ஏமாறலாம்: போலிக் கிராலர்களை உள்ளே விடுகின்றன, அல்லது போலிக் கிராலருக்கு எதிராக எழுதிய விதி உண்மையானதையும் தடுக்கிறது. IP முகவரியை இயக்குநரின் வெளியிடப்பட்ட பட்டியலுடன் பொருத்துவதே அவற்றை வேறுபடுத்தும் வழி.

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

பட்டியலில் இல்லாத கிராலர்களைச் சரிபார்த்தல்

நாங்கள் படிக்கும் வரம்பை இயக்குநர்கள் வெளியிடாத கிராலர்களுக்கு, இயக்குநரின் சொந்த ஆவணங்களைப் பயன்படுத்துங்கள். Google, Microsoft, Apple ஒரு DNS சரிபார்ப்பையும் ஆதரிக்கின்றன: முகவரியின் host பெயரைத் தேடி, அது googlebot.com, google.com, search.msn.com அல்லது applebot.apple.com போன்ற இயக்குநரின் domain-இல் முடிகிறதா என்று சரிபார்த்து, பிறகு அந்த host பெயரை மீண்டும் தேடி அதே முகவரியைத் தருகிறதா என்று உறுதிப்படுத்துங்கள்.

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

பொதுவான தவறுகள்

ஒரு முகவரியிலிருந்து முழு log வரை

இந்தச் சரிபார்ப்பு ஒரு நேரத்தில் ஒரு முகவரிக்குப் பதில் தருகிறது. உங்கள் AISeeWhy கணக்கில், கட்டணத் திட்டங்களில் உள்ள server-log சரிபார்ப்பு முழு access log-ஐப் படித்து, ஒவ்வொரு AI கிராலரின் வருகைகளையும் எண்ணி, இந்த வெளியிடப்பட்ட வரம்புகளைக் கொண்டு உண்மையான கிராலர்களை ஆள்மாறாட்டக்காரர்களிடமிருந்து பிரித்து, உங்கள் சர்வர் அவற்றுக்கு எப்படிப் பதிலளித்தது என்று காட்டுகிறது.

அடிக்கடி கேட்கப்படும் கேள்விகள்

இந்தச் சரிபார்ப்பில் ClaudeBot வருகிறதா?

தற்போது இல்லை: நாங்கள் படிக்கும் வெளியிடப்பட்ட வரம்புக் கோப்புகளைக் கொண்ட கிராலர்களை இந்தச் சரிபார்ப்பு உள்ளடக்குகிறது; அவை முடிவுக்குக் கீழே பட்டியலிடப்பட்டுள்ளன. மற்ற கிராலர்களுக்கு, இயக்குநரின் ஆவணங்களைப் பின்பற்றுங்கள்.

ஒரு முகவரி Googlebot-இன் வரம்பில் உள்ளது, ஆனால் user agent வேறு ஒன்றைச் சொல்கிறது. அதன் பொருள் என்ன?

கோரிக்கை Google-இன் நெட்வொர்க்கிலிருந்து வந்தது. Google பல கிராலர்களையும் fetchers-ஐயும் இயக்குகிறது; எது என்று user agent சொல்கிறது. அது Google போல நடிக்கும் மூன்றாம் தரப்பு அல்ல.

பல முகவரிகளை ஒரே நேரத்தில் சரிபார்க்க முடியுமா?

இந்த இலவசக் கருவியில் முடியாது. உங்கள் கணக்கில் log-ஐப் பதிவேற்றி, அதிலுள்ள ஒவ்வொரு வருகையையும் சரிபாருங்கள்.

நான் உள்ளிடும் முகவரி சேமிக்கப்படுகிறதா?

அது சரிபார்ப்புக்குப் பதில் தரப் பயன்படுகிறது, உங்கள் கோரிக்கையுடன் சேமிக்கப்படுவதில்லை.

தொடர்புடைய கருவிகளும் வழிகாட்டிகளும்