ChatGPT నా వెబ్సైట్ను చూడగలదా? ఎలా తనిఖీ చేయాలి
మీ పేజీని పేస్ట్ చేసి, ChatGPT క్రాలర్లు దాన్ని చేరగలవా, చదవగలవా, ఉటంకించగలవా, లేకపోతే ఏమి మార్చాలో సుమారు 30 సెకన్లలో చూడండి.
ఉచితం · సైన్-అప్ అవసరం లేదు · 30 సెకన్లలో ఫలితాలు
robots.txt, క్రాలర్ వారీగా
OAI-SearchBot, ChatGPT-User, GPTBotలను RFC 9309 నియమాల ప్రకారం విడివిడిగా చదువుతాం, కాబట్టి ఏది అనుమతించబడిందో, ఏ లైన్ నిర్ణయిస్తుందో కనిపిస్తుంది.
ఫైర్వాల్, CDN బ్లాక్లు
మీ పేజీని 14 క్రాలర్లుగా, సాధారణ బ్రౌజర్గా అభ్యర్థిస్తాం. క్రాలర్లకు మాత్రమే వచ్చే 403, 429 లేదా ఛాలెంజ్ పేజీని గుర్తించి, దాని వెనుక ఉన్న ఫైర్వాల్ పేరు చెబుతాం.
క్రాలర్కు నిజంగా ఏం అందుతోంది
ప్రతి క్రాలర్కు వచ్చే స్టేటస్, సైజు, రీడైరెక్ట్లను బ్రౌజర్కు వచ్చే వాటితో పోలుస్తాం, కాబట్టి మనుషులకు ఇచ్చే దానికంటే క్రాలర్లకు తక్కువ ఇచ్చే పేజీ స్పష్టంగా కనిపిస్తుంది.
ప్రతి అంశానికి పరిష్కారం
ప్రతి అంశంతో పాటు చేయాల్సిన మార్పు ఉంటుంది. ఉచిత తనిఖీ మీ స్కోర్ను, మొదటి అంశాన్ని చూపిస్తుంది; పూర్తి నివేదిక $29, ఒక్కసారి చెల్లింపు.
OpenAI సెర్చ్ క్రాలర్ OAI-SearchBot మీ పేజీని తెచ్చుకోవడానికి అనుమతి ఉండి, బ్రౌజర్కు అందే HTMLనే దానికీ అందితేనే ChatGPT దాన్ని ఉటంకించగలదు. మూడు విషయాలు తనిఖీ చేయండి: మీ robots.txt OAI-SearchBotను నిషేధించడం లేదు, మీ ఫైర్వాల్ లేదా CDN దానికి 403 లేదా ఛాలెంజ్ పేజీతో జవాబివ్వడం లేదు, ప్రధాన టెక్స్ట్ ప్రారంభ HTMLలో ఉంది. చదవగలగడం అంటే సిఫార్సు చేయబడడం కాదు: ChatGPT మీ సైట్ పేరు చెబుతుందో చూడటానికి, మీ కొనుగోలుదారులు అడిగే ప్రశ్నలను దాన్ని అడిగి, అది ఏ సైట్లను ఉటంకిస్తుందో గమనించండి.
3 దశల్లో మీరే తనిఖీ చేయండి
- మీ robots.txt చదవండి
https://your-site.com/robots.txtతెరవండి.OAI-SearchBot,ChatGPT-Userగ్రూప్లు, లేదాUser-agent: *ఏవీ ఆ పేజీని నిషేధించకూడదు.GPTBotట్రైనింగ్కు మాత్రమే వర్తిస్తుంది. - క్రాలర్కు ఏం అందుతుందో పరీక్షించండి
పేజీని
OAI-SearchBotగా అభ్యర్థించండి, లేదా ఉచిత తనిఖీని నడపండి. అది 403 లేదా ఛాలెంజ్ పేజీ కాకుండా, బ్రౌజర్కు వచ్చే అదే టెక్స్ట్తో 200 ఇవ్వాలి. - ChatGPTని అడగండి
సెర్చ్ ఆన్ చేసి, మీ URLను సారాంశం చెప్పమని, మీ కొనుగోలుదారులు అడిగే ఒక ప్రశ్నకు జవాబివ్వమని అడగండి, తర్వాత అది చూపే సోర్స్లను చూడండి. యాక్సెస్ బాగుండి కూడా మీరు కనిపించకపోతే, కారణం కంటెంట్.
తరచుగా అడిగే ప్రశ్నలు
ChatGPT నా సైట్ను చూడగలదో ఉచితంగా తనిఖీ చేయవచ్చా?
అవును. మీ robots.txtను చదవడం, OAI-SearchBot యూజర్ ఏజెంట్తో curl అభ్యర్థన, ChatGPTలో ఒక ప్రశ్న, వీటికి ఖర్చు లేదు. AISeeWhy ఉచిత తనిఖీ రోజుకు ఒక పేజీకి ఖాతా లేకుండా క్రాలర్ పరీక్షలను నడుపుతుంది.
ChatGPT నా సైట్ను సిఫార్సు చేస్తుందో ఎలా తనిఖీ చేయాలి?
సెర్చ్ ఆన్ చేసి మీ కొనుగోలుదారులు అడిగే ప్రశ్నలను ChatGPTని అడగండి, అది మీ సైట్ పేరు చెబుతుందా లేదా లింక్ ఇస్తుందా, బదులుగా ఏ పోటీదారుల పేర్లు చెబుతుందో గమనించండి. జవాబులు ఒక్కో రన్కు మారుతాయి, కాబట్టి ప్రతి ప్రశ్నను మళ్లీ అడిగి, కొన్ని వారాల పాటు మళ్లీ తనిఖీ చేయండి. AISeeWhy AIలో కనిపించడం తనిఖీ మీ ప్రశ్నలను మీ సొంత API కీలతో ChatGPT, Claude, Perplexity, Gemini ద్వారా నడిపి, గరిష్టంగా నలుగురు పోటీదారుల పక్కన ప్రస్తావనలను ట్రాక్ చేస్తుంది. API ద్వారా వచ్చే జవాబులు ChatGPT యాప్ చూపించేదానికి భిన్నంగా ఉండవచ్చు.
ChatGPT నా సైట్ను ఎందుకు కనుగొనలేకపోతోంది?
చాలాసార్లు robots.txtలో OAI-SearchBot నిషేధించబడి ఉంటుంది, ఫైర్వాల్ దానికి 403 లేదా ఛాలెంజ్ పేజీతో జవాబిస్తుంది, లేదా టెక్స్ట్ JavaScript నడిచిన తర్వాతే కనిపిస్తుంది. ఈ మూడూ సరిగ్గా ఉంటే, ChatGPT ఉటంకించే పేజీల కంటే మీ పేజీ ప్రశ్నకు తక్కువ నేరుగా జవాబిస్తుండవచ్చు.
GPTBotను బ్లాక్ చేస్తే నా సైట్ ChatGPT సెర్చ్ నుంచి తొలగిపోతుందా?
లేదు. OpenAI ప్రతి క్రాలర్ సెట్టింగ్ను స్వతంత్రమైనదిగా పరిగణిస్తుంది. GPTBot ట్రైనింగ్కు సంబంధించినది, OAI-SearchBot పేజీలను ChatGPT సెర్చ్ జవాబుల్లో చూపవచ్చో నిర్ణయిస్తుంది. ఒకదాన్ని నిషేధించి మరొకదాన్ని అనుమతించవచ్చు.
ChatGPT-User robots.txtను పాటిస్తుందా?
ఈ సందర్శనలు యూజర్ ప్రారంభించేవి కాబట్టి robots.txt నియమాలు వర్తించకపోవచ్చని OpenAI చెబుతుంది. ఆ సందర్శనలను ఆపాలనుకుంటే, robots.txt నియమం నమ్మదగిన నియంత్రణ కాదు.
robots.txt మార్పు ChatGPTకి చేరడానికి ఎంత సమయం పడుతుంది?
robots.txt అప్డేట్ నుంచి దాని సిస్టమ్లు సెర్చ్ కోసం సర్దుబాటు కావడానికి సుమారు 24 గంటలు పట్టవచ్చని OpenAI చెబుతుంది.
చేరుకోగలిగేలా ఉంటే ఉటంకింపుకు సరిపోతుందా?
సరిపోదు. యాక్సెస్ ఉటంకింపును సాధ్యం చేస్తుంది; దానికి హామీ ఇవ్వదు. పేజీ ఏమి చెబుతుంది, ఎంత స్పష్టంగా చెబుతుంది అనేవే దాన్ని జవాబులో ఉపయోగిస్తారా లేదా అని నిర్ణయిస్తాయి.
పూర్తి గైడ్ చదవండి
చాలా మంది సైట్ యజమానులు ChatGPTని తమ సొంత ప్రోడక్ట్ గురించి అడుగుతారు, బదులుగా ఒక పోటీదారు ఉటంకించబడటం చూస్తారు, అసలు ChatGPT తమ సైట్ను చేరుకోగలదా అని ఆశ్చర్యపోతారు. ఈ ప్రశ్నకు స్పష్టమైన, పరీక్షించగల జవాబు ఉంది. OpenAI తన క్రాలర్ల పేర్లను, ఒక్కొక్కటి ఏమి చేస్తుందో ప్రచురిస్తుంది, కాబట్టి మీరు గొలుసులోని ప్రతి లింక్ను తనిఖీ చేయవచ్చు: robots.txt నియమాలు, మీ సర్వర్ పంపే ప్రతిస్పందన, ఆ ప్రతిస్పందనలోని కంటెంట్.
5 నిమిషాల తనిఖీ, దశలవారీగా
https://your-site.com/robots.txtను తెరిచి,OAI-SearchBot,ChatGPT-UserలేదాUser-agent: *కోసం ఏ గ్రూప్ కూడా పేజీని నిషేధించడం లేదని నిర్ధారించుకోండి.GPTBotట్రైనింగ్కు మాత్రమే ముఖ్యం.- AISeeWhyలో పేజీకి ఉచిత తనిఖీ నడపండి లేదా
OAI-SearchBotయూజర్ ఏజెంట్తో ఒక అభ్యర్థన పంపండి: దానికి స్టేటస్ 200, బ్రౌజర్కు వచ్చే అదే పాఠ్యం రావాలి, 403 లేదా చాలెంజ్ పేజీ కాదు. - పేజీ సోర్స్ను చూసి, ప్రధాన పాఠ్యం HTMLలోనే ఉందని, తర్వాత JavaScript ద్వారా జోడించబడలేదని నిర్ధారించుకోండి.
- సెర్చ్ ఆన్తో ChatGPTని మీ URLను సంగ్రహించమని, మీ కొనుగోలుదారులు అడిగే ఒక ప్రశ్నకు జవాబివ్వమని అడగండి. అది జాబితా చేసే మూలాలను చూడండి.
దశ 1 లేదా 2 విఫలమైతే, మొదట దాన్ని సరిచేయండి: కింది విభాగాలు ఎలాగో చూపిస్తాయి. నాలుగూ పాస్ అయినా ChatGPT మిమ్మల్ని ఉటంకించకపోతే, కారణం కంటెంట్, యాక్సెస్ కాదు.
ChatGPT జవాబులకు ఏ OpenAI క్రాలర్లు ముఖ్యం?
సైట్ యజమానులు సాధారణంగా ఎదుర్కొనే మూడు ఏజెంట్లను OpenAI డాక్యుమెంట్ చేస్తుంది. వాటి పనులు వేరు, ఒకదాన్ని బ్లాక్ చేస్తే మిగతావి బ్లాక్ కావు. ప్రతి robots.txt సెట్టింగ్ స్వతంత్రమైనదని OpenAI చెబుతుంది.
OAI-SearchBotChatGPT సెర్చ్ ఫీచర్ల కోసం పేజీలను కనుగొని ఇండెక్స్ చేస్తుంది. దీని నుంచి వైదొలగిన సైట్లు ChatGPT సెర్చ్ జవాబుల్లో చూపించబడవని OpenAI చెబుతుంది. మిమ్మల్ని ఉటంకించగలరా లేదా అనేది నిర్ణయించేది ఇదే.GPTBotOpenAI ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు ఉపయోగపడే కంటెంట్ను సేకరిస్తుంది. దీన్ని నిషేధించడం మీ కంటెంట్ ట్రైనింగ్కు ఉపయోగపడకూడదని చెబుతుంది. ఇది మిమ్మల్ని సెర్చ్ జవాబుల నుంచి తొలగించదు.ChatGPT-Userఎవరైనా ChatGPTని అడిగినప్పుడు, ఉదాహరణకు లింక్ అతికించినప్పుడు, ఒక పేజీని సందర్శిస్తుంది. యూజర్ ప్రారంభించే ఈ సందర్శనలకు robots.txt నియమాలు వర్తించకపోవచ్చని, కంటెంట్ సెర్చ్లో కనిపించాలా వద్దా అని నిర్ణయించడానికి ఈ ఏజెంట్ ఉపయోగించబడదని OpenAI చెబుతుంది.
క్లుప్తంగా: OAI-SearchBot ఉటంకింపులను, GPTBot ట్రైనింగ్ను నియంత్రిస్తాయి, ChatGPT-User యూజర్ అభ్యర్థనపై లైవ్ సందర్శనలను నిర్వహిస్తుంది.
ChatGPT కోసం నా robots.txtను ఎలా తనిఖీ చేయాలి?
బ్రౌజర్లో https://yourdomain.com/robots.txtను తెరవండి. OAI-SearchBot పేరు ఉన్న గ్రూప్ కోసం చూడండి. అలాంటిది లేకపోతే, క్రాలర్ User-agent: * గ్రూప్ను అనుసరిస్తుంది. వర్తించే గ్రూప్లో ఏదైనా Disallow: / ఉంటే మొత్తం సైట్ బ్లాక్ అవుతుంది.
ఫైల్ అసలు జవాబిస్తోందో లేదో కూడా తనిఖీ చేయండి. RFC 9309 ప్రకారం, robots.txt సర్వర్ ఎర్రర్ (5xx) ఇస్తే లేదా చేరుకోలేకపోతే, క్రాలర్ మొత్తం సైట్ నిషేధించబడిందని భావించాలి. 404 సమస్య కాదు: దాని అర్థం నియమాలు లేవని. స్టేటస్ 200తో HTML పేజీని ఇచ్చే robots.txt చిరునామా సాధారణ తప్పు, ఎందుకంటే అప్పుడు క్రాలర్లకు అందులో చెల్లుబాటయ్యే నియమాలు దొరకవు.
ChatGPT సెర్చ్ను ఉంచుకుని ట్రైనింగ్ నుంచి వైదొలగే సెటప్ ఇలా ఉంటుంది:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / robots.txtను అప్డేట్ చేసిన తర్వాత సెర్చ్ మార్పులు అమలులోకి రావడానికి సుమారు 24 గంటలు పట్టవచ్చని OpenAI చెబుతుంది.
robots.txt అనుమతించినా ఫైర్వాల్ ChatGPTని బ్లాక్ చేయగలదా?
అవును, ఇది సాధారణ కారణం. robots.txt మర్యాదగా ప్రవర్తించే క్రాలర్లకు ఒక విజ్ఞప్తి మాత్రమే, యాక్సెస్ నియంత్రణ కాదు. నిజంగా ఏమి తిరిగి పంపాలో మీ ఫైర్వాల్, CDN లేదా బాట్ ప్రొటెక్షన్ నిర్ణయిస్తుంది. అది AI క్రాలర్ను అవాంఛిత బాట్గా పరిగణిస్తే, బ్రౌజర్లోని వ్యక్తులు పేజీని మామూలుగా చూస్తుండగా, క్రాలర్కు 403, 429 లేదా Cloudflare "Just a moment..." స్క్రీన్ వంటి ఛాలెంజ్ పేజీ వస్తుంది.
బయటి నుంచి చూస్తే ఇది అందరికీ తెరిచి ఉన్న సైట్లా కనిపిస్తుంది. తనను క్రాలర్గా పరిచయం చేసుకునే అభ్యర్థన మాత్రమే తేడాను చూపిస్తుంది. అలాంటప్పుడు robots.txt అవును అంటుంది, సర్వర్ కాదు అంటుంది, గెలిచేది సర్వరే.
OAI-SearchBotకు ఏమి అందుతుందో ఎలా పరీక్షించాలి?
ఒకే URLకు రెండు అభ్యర్థనలు పంపండి, ఒకటి బ్రౌజర్ యూజర్ ఏజెంట్తో, మరొకటి క్రాలర్ యూజర్ ఏజెంట్తో, స్టేటస్ కోడ్ను, పరిమాణాన్ని పోల్చండి. OpenAI ప్రతి క్రాలర్కు ఒక ఉదాహరణ యూజర్ ఏజెంట్ను ప్రచురిస్తుంది; అందులోని వెర్షన్ నంబర్ మారవచ్చు.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page బ్రౌజర్కు పెద్ద బాడీతో 200 వచ్చి, క్రాలర్కు 403, 429, 503 లేదా చాలా చిన్న బాడీ వస్తే, మీ ఫైర్వాల్ క్రాలర్ను వేరేలా చూస్తోంది. ఒక పరిమితి ఉంది: మీ పరీక్ష OpenAI IP నుంచి కాకుండా మీ సొంత IP చిరునామా నుంచి వెళ్తుంది. ప్రచురించిన IP పరిధులతో (OpenAI వాటిని openai.com/searchbot.jsonలో ఇస్తుంది) క్రాలర్లను ధృవీకరించే ఫైర్వాల్లు మీ పరీక్షను బ్లాక్ చేస్తూ అసలు క్రాలర్ను అనుమతించవచ్చు. అయినా ఈ పరీక్షలో బ్లాక్ వస్తే, ఫైర్వాల్ యూజర్ ఏజెంట్ను ఎలా చూస్తుందో అది చెబుతుంది, దాన్ని సరిచేయడం విలువైనదే.
పేజీ లోడ్ అయినా ChatGPT ఉపయోగకరమైనదేమీ చెప్పకపోతే?
యాక్సెస్ మొదటి అడుగు మాత్రమే. వచ్చే HTML తర్వాత JavaScript నింపే ఖాళీ షెల్ అయితే, క్రాలర్కు దాదాపు టెక్స్ట్ ఏదీ అందకపోవచ్చు. curlతో లేదా మీ బ్రౌజర్ view-sourceతో ముడి HTMLను చూడండి: ప్రధాన టెక్స్ట్ అక్కడ లేకపోతే, బహుశా క్రాలర్కూ అది కనిపించదు.
ఆ తర్వాత కంటెంట్ సంకేతాలు వస్తాయి: పేజీ పైభాగంలో స్పష్టమైన చిన్న జవాబు, ప్రజలు అడిగే ప్రశ్నలకు సరిపోయే హెడింగ్లు, పేరున్న పబ్లిషర్, రచయిత, కనిపించే తేదీలు. ఇవి ఉటంకింపుకు హామీ ఇవ్వవు, కానీ పేజీని సరిగ్గా కోట్ చేయడం సులభం చేస్తాయి.
AISeeWhy దీన్ని ఎలా తనిఖీ చేస్తుంది?
AISeeWhy మీ పేజీని సాధారణ బ్రౌజర్తో పాటు OAI-SearchBot, GPTBot, ChatGPT-User, మరో 11 క్రాలర్లుగా తెస్తుంది, RFC 9309 నియమాల ప్రకారం మీ robots.txtను చదువుతుంది, ఫైర్వాల్ బ్లాక్ లేదా ఛాలెంజ్తో జవాబిస్తే దాని పేరు చెబుతుంది. ప్రతి అంశంతో పాటు అతికించడానికి పరిష్కారం వస్తుంది, ఉచిత తనిఖీ మీ స్కోర్ను, మొదటి అంశాన్ని చూపిస్తుంది.
ఈ సమస్యకు పరిష్కారాలు
- OAI-SearchBot బ్లాక్ అయింది
- GPTBotకు స్టబ్ పేజీ అందుతోంది
- పేజీని తెచ్చుకోలేకపోయాం
- పేజీ స్టేటస్ 403తో జవాబిస్తోంది
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
మూలాలు
- OpenAI: OpenAI క్రాలర్ల అవలోకనం
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI క్రాలర్లను నిర్వహించడం (AI Crawl Control)