మీ సర్వర్ లాగ్లలోని IP చిరునామాను అతికించి, అది క్రాలర్ అధికారికంగా ప్రచురించిన IP పరిధుల్లో ఉందో లేదో చూడండి. తనను GPTBot లేదా PerplexityBot అని చెప్పుకుంటూ వేరే చిరునామా నుంచి వచ్చే అభ్యర్థన ఆ క్రాలర్ కాదు, AI జవాబుల్లో కనిపించే అవకాశాన్ని కోల్పోకుండా దాన్ని బ్లాక్ చేయవచ్చు.
ఏ క్రాలర్లు తమ IP చిరునామాలను ప్రచురిస్తాయి?
OpenAI, Perplexity, Google, Microsoft, Apple తమ క్రాలర్ల IP పరిధులను JSON ఫైల్లుగా ప్రచురిస్తాయి, వాటిని మేము రోజూ చదువుతాం. కొన్ని ఇతర AI కంపెనీలు పరిధులను ప్రచురించవు; వాటికి reverse DNS లేదా సంస్థ డాక్యుమెంటేషన్ మాత్రమే తనిఖీ మార్గం. లాగ్లోని ప్రతి AI క్రాలర్ సందర్శనను ఒకేసారి చూడటానికి, మీ AISeeWhy ఖాతాలో లాగ్ను అప్లోడ్ చేయండి.
ఈ పాఠ్యం ఇంగ్లీష్ నుంచి యంత్రం ద్వారా అనువదించబడింది.
ఈ IP తనిఖీ ఏమి చేస్తుంది
మీ సర్వర్ లేదా ఫైర్వాల్ లాగ్ల నుంచి ఒక IPv4 లేదా IPv6 చిరునామాను అతికించండి. క్రాలర్ నిర్వాహకులు స్వయంగా ప్రచురించే IP రేంజ్లలో తనిఖీ దాని కోసం వెతుకుతుంది: GPTBot, OAI-SearchBot, ChatGPT-User కోసం OpenAI, PerplexityBot, Perplexity-User కోసం Perplexity, Googlebot కోసం Google, Bingbot కోసం Microsoft, Applebot కోసం Apple. ప్రచురించిన ఆ జాబితాలను మేము రోజూ చదువుతాం. జవాబు ఆ చిరునామా ఏ క్రాలర్ల రేంజ్లలో ఉందో వాటన్నిటి పేర్లు చెబుతుంది, లేదా ఏదీ లేదని చెబుతుంది.
ఫలితాన్ని ఎలా చదవాలి
ఒక క్రాలర్ ప్రచురించిన రేంజ్లలో ఉంది: అభ్యర్థన ఆ నిర్వాహకుడి నెట్వర్క్ నుంచి వచ్చింది. సరిపోలే యూజర్ ఏజెంట్తో కలిపి, అది నిజమైన క్రాలర్ అనడానికి బలమైన ఆధారం.
ప్రచురించిన ఏ రేంజ్లోనూ లేదు: అభ్యర్థన జాబితాలోని క్రాలర్లలో ఒకటి అని చెప్పుకుంటే, అది కాదు. ఎవరో ఆ పేరును వాడుకున్నారు, AI జవాబుల్లో కనిపించడం కోల్పోకుండా మీరు ఆ చిరునామాను బ్లాక్ చేయవచ్చు.
దీనితో పోల్చాం: రేంజ్లను పోల్చిన క్రాలర్ల జాబితా. ఈ జాబితాలో లేని క్రాలర్ను ఇక్కడ నిర్ధారించలేం, తోసిపుచ్చలేం.
ఎవరైనా GPTBot అని ఎందుకు చెప్పుకోగలరు
యూజర్ ఏజెంట్ అనేది క్లయింట్ పంపే ఒక పాఠ్య లైన్, ఎవరైనా దానిలో GPTBot లేదా Googlebot అని రాయవచ్చు. సాధారణ ఫిల్టర్లను దాటడానికి స్క్రేపర్లు ఇలా చేస్తాయి. అందుకే యూజర్ ఏజెంట్ను మాత్రమే చూసే ఫైర్వాల్లు రెండు వైపులా మోసపోవచ్చు: అవి నకిలీ క్రాలర్లను లోపలికి అనుమతిస్తాయి, లేదా నకిలీ క్రాలర్కు వ్యతిరేకంగా రాసిన నియమం నిజమైనదాన్ని కూడా బ్లాక్ చేస్తుంది. IP చిరునామాను నిర్వాహకుడు ప్రచురించిన జాబితాతో పోల్చడమే వాటిని వేరు చేసే మార్గం.
మేము చదివే రేంజ్ను నిర్వాహకులు ప్రచురించని క్రాలర్ల కోసం, నిర్వాహకుడి సొంత డాక్యుమెంటేషన్ను ఉపయోగించండి. Google, Microsoft, Apple DNS తనిఖీకి కూడా మద్దతిస్తాయి: చిరునామా హోస్ట్ పేరును వెతకండి, అది googlebot.com, google.com, search.msn.com లేదా applebot.apple.com వంటి నిర్వాహకుడి డొమైన్తో ముగుస్తుందో తనిఖీ చేయండి, తర్వాత ఆ హోస్ట్ పేరును మళ్లీ వెతికి అది అదే చిరునామాను ఇస్తుందని నిర్ధారించండి.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
సాధారణ పొరపాట్లు
నకిలీ క్రాలర్ దుర్వినియోగం చూసిన తర్వాత క్రాలర్ను పేరుతో బ్లాక్ చేయడం. బదులుగా దుర్వినియోగం చేసే చిరునామాలను బ్లాక్ చేయండి, లేదంటే నిజమైన క్రాలర్ను కూడా కోల్పోతారు.
యూజర్ ఏజెంట్ GPTBot అని చెప్పే ప్రతి అభ్యర్థనను అనుమతించడం. మీ ఫైర్వాల్ నియమంలో యూజర్ ఏజెంట్ను ప్రచురించిన రేంజ్లతో కలపండి.
ప్రాక్సీ చిరునామాను తనిఖీ చేయడం. CDN లేదా లోడ్ బ్యాలెన్సర్ వెనుక, మీ సర్వర్ సందర్శకుడిని కాకుండా ప్రాక్సీని లాగ్ చేయవచ్చు; క్లయింట్ చిరునామాను తీసుకువెళ్లే హెడర్ను ఉపయోగించండి.
రేంజ్ల పాత కాపీని ఉంచుకోవడం. నిర్వాహకులు వాటిని మారుస్తారు; నెలల పాత జాబితా నుంచి నిర్మించిన నియమాలు నిజమైన క్రాలర్లను బ్లాక్ చేయవచ్చు.
ఒక చిరునామా నుంచి మొత్తం లాగ్ వరకు
ఈ తనిఖీ ఒకసారి ఒక చిరునామాకు జవాబిస్తుంది. మీ AISeeWhy ఖాతాలో, చెల్లింపు ప్లాన్లలోని సర్వర్ లాగ్ తనిఖీ మొత్తం యాక్సెస్ లాగ్ను చదివి, ప్రతి AI క్రాలర్ సందర్శనలను లెక్కించి, ఈ ప్రచురించిన రేంజ్ల ఆధారంగా నిజమైన క్రాలర్లను మోసగాళ్ల నుంచి వేరు చేసి, మీ సర్వర్ వాటికి ఎలా జవాబిచ్చిందో చూపిస్తుంది.
తరచుగా అడిగే ప్రశ్నలు
ఈ తనిఖీలో ClaudeBot కనిపిస్తుందా?
ప్రస్తుతానికి లేదు: మేము చదివే ప్రచురించిన రేంజ్ ఫైల్లు ఉన్న క్రాలర్లను తనిఖీ కవర్ చేస్తుంది, అవి ఫలితం కింద జాబితా చేయబడ్డాయి. ఇతర క్రాలర్ల కోసం, నిర్వాహకుడి డాక్యుమెంటేషన్ను అనుసరించండి.
ఒక చిరునామా Googlebot రేంజ్లో ఉంది కానీ యూజర్ ఏజెంట్ వేరే చెబుతోంది. దాని అర్థం ఏమిటి?
అభ్యర్థన Google నెట్వర్క్ నుంచి వచ్చింది. Google చాలా క్రాలర్లను, ఫెచర్లను నడుపుతుంది; ఏదో యూజర్ ఏజెంట్ చెబుతుంది. ఇది Google అని నటించిన మూడో పక్షం కాదు.
ఒకేసారి చాలా చిరునామాలను తనిఖీ చేయవచ్చా?
ఈ ఉచిత టూల్తో కాదు. ప్రతి సందర్శనను తనిఖీ చేయడానికి లాగ్ను మీ ఖాతాలో అప్లోడ్ చేయండి.
నేను నమోదు చేసిన చిరునామా నిల్వ చేయబడుతుందా?
తనిఖీకి జవాబివ్వడానికి అది ఉపయోగించబడుతుంది, మీ అభ్యర్థనతో పాటు సేవ్ చేయబడదు.