OpenAI క్రాలర్ల వివరణ: GPTBot, OAI-SearchBot, ChatGPT-User
OpenAI తన మోడల్ల ట్రైనింగ్కు ఉపయోగపడే కంటెంట్ సేకరణకు GPTBotను, ChatGPT సెర్చ్ కోసం పేజీలను ఇండెక్స్ చేయడానికి OAI-SearchBotను, ఒక వ్యక్తి అడిగే సందర్శనలకు ChatGPT-Userను ఉపయోగిస్తుంది. GPTBotను బ్లాక్ చేస్తే మీరు ట్రైనింగ్ నుంచి మాత్రమే వైదొలగుతారు. OAI-SearchBotను బ్లాక్ చేస్తే మీరు ChatGPT సెర్చ్ జవాబుల నుంచి తొలగిపోతారు. ChatGPT-Userకు robots.txt వర్తించకపోవచ్చు.
ఒకే సంస్థ నుంచి మూడు వేర్వేరు యూజర్ ఏజెంట్లు, ఒక్కోదానికి సొంత robots.txt టోకెన్, ఇది చాలా గందరగోళానికి కారణమవుతుంది. GPTBot వచ్చినప్పుడు చాలా సైట్లు దాన్ని బ్లాక్ చేశాయి, ChatGPT తమను ఉటంకించగలదా అని నిర్ణయించే క్రాలర్ను కూడా బ్లాక్ చేశామని కొన్ని తర్వాత గ్రహించాయి, తరచుగా విస్తృతమైన ఫైర్వాల్ నియమం ద్వారా. ఈ వ్యాసం OpenAI సొంత డాక్యుమెంటేషన్ ఆధారంగా ప్రతి ఏజెంట్ను వివరిస్తుంది.
ఈ పేజీలో
GPTBot ఏమి చేస్తుంది?
GPTBot OpenAI జనరేటివ్ AI ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు ఉపయోగపడే కంటెంట్ను క్రాల్ చేస్తుంది. GPTBotను నిషేధించడం సైట్ కంటెంట్ ఆ మోడల్ల ట్రైనింగ్లో ఉపయోగపడకూడదని సూచిస్తుందని OpenAI డాక్యుమెంటేషన్ చెబుతుంది.
దాని యూజర్ ఏజెంట్లో GPTBot టోకెన్ ఉంటుంది, ఉదాహరణకు Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. వెర్షన్ నంబర్ మారవచ్చని OpenAI పేర్కొంటుంది, కాబట్టి పూర్తి స్ట్రింగ్ను కాకుండా టోకెన్ను సరిపోల్చండి. OpenAI తన IP పరిధులను openai.com/gptbot.jsonలో ప్రచురిస్తుంది.
దీన్ని అనుమతించాలా వద్దా అనేది విధానపరమైన నిర్ణయం. కొందరు పబ్లిషర్లు తమ కంటెంట్ ట్రైనింగ్ డేటాలో ఉండాలని కోరుకుంటారు, మరికొందరు కోరుకోరు. దీన్ని బ్లాక్ చేయడం ChatGPT సెర్చ్ను ప్రభావితం చేయదు, ఎందుకంటే అది వేరే క్రాలర్. తర్వాత మీ మనసు మారితే, Disallow లైన్ను తీసేస్తే చాలు; నమోదు చేయాల్సింది గానీ అభ్యర్థించాల్సింది గానీ ఏమీ లేదు.
OAI-SearchBot ఏమి చేస్తుంది?
OAI-SearchBot OpenAI సెర్చ్ క్రాలర్. ఇది ChatGPT సెర్చ్ ఫీచర్లలో వెబ్సైట్లను చూపిస్తుంది. OAI-SearchBot నుంచి వైదొలగిన సైట్లు ChatGPT సెర్చ్ జవాబుల్లో చూపించబడవని OpenAI స్పష్టంగా చెబుతుంది.
ChatGPT మీ పేజీలను ఉటంకించాలనుకుంటే, robots.txtలోనూ మీ ఫైర్వాల్లోనూ అనుమతించాల్సిన క్రాలర్ ఇదే. దాని IP పరిధులు openai.com/searchbot.jsonలో ప్రచురించబడ్డాయి, వీటితో అభ్యర్థన నిజంగా OpenAI నుంచే వస్తోందని ఫైర్వాల్ ధృవీకరించగలదు.
ChatGPT-User ఏమి చేస్తుంది?
ChatGPT-User సాధారణ అర్థంలో క్రాలర్ కాదు. ChatGPT యూజర్ లేదా Custom GPT అడిగినప్పుడు ఇది ఒక పేజీని తెస్తుంది, ఉదాహరణకు ఎవరైనా మీ URLను చాట్లో అతికించి సారాంశం అడిగినప్పుడు. ఇది వెబ్ను ఆటోమేటిక్గా క్రాల్ చేయడానికి ఉపయోగించబడదని OpenAI చెబుతుంది.
OpenAI డాక్యుమెంటేషన్లోని రెండు వివరాలు ఇక్కడ ముఖ్యం. మొదటిది, ఈ చర్యలు యూజర్ ప్రారంభించేవి కాబట్టి robots.txt నియమాలు వర్తించకపోవచ్చు. రెండోది, కంటెంట్ సెర్చ్లో కనిపించవచ్చో నిర్ణయించడానికి ChatGPT-User ఉపయోగించబడదు. సెర్చ్ కోసం లెక్కలోకి వచ్చే సెట్టింగ్ OAI-SearchBot.
ఒక్కోదాన్ని బ్లాక్ చేస్తే ఏమవుతుంది?
GPTBotను బ్లాక్ చేస్తే: మీ కంటెంట్ ట్రైనింగ్కు ఉపయోగించకూడనిదిగా గుర్తించబడుతుంది.OAI-SearchBotఅనుమతించబడితే ChatGPT సెర్చ్ మిమ్మల్ని ఇంకా చూపించి ఉటంకించగలదు.OAI-SearchBotను బ్లాక్ చేస్తే: మీ పేజీలు ChatGPT సెర్చ్ జవాబుల్లో చూపించబడవు. ట్రైనింగ్నుGPTBotవిడిగా నియంత్రిస్తుంది.- robots.txtలో
ChatGPT-Userను బ్లాక్ చేస్తే: ఈ సందర్శనలకు robots.txt వర్తించకపోవచ్చని OpenAI చెబుతుంది, కాబట్టి ప్రభావానికి హామీ లేదు. ఫైర్వాల్లో బ్లాక్ చేస్తే ఫెచ్ ఆగిపోతుంది, మీ లింక్ అతికించే యూజర్లకు మీ కంటెంట్కు బదులు ఎర్రర్ వస్తుంది. - ఫైర్వాల్లో మూడింటినీ బ్లాక్ చేస్తే: ChatGPT మీ పేజీలను ఇండెక్స్ చేయలేదు, తెచ్చుకోలేదు, కాబట్టి కోట్ చేయడానికి దానికి మీదంటూ ఏమీ ఉండదు.
- మూడింటినీ అనుమతిస్తే: మీ పేజీలు సెర్చ్ కోసం ఇండెక్స్ కావచ్చు, అభ్యర్థనపై తెచ్చుకోబడవచ్చు,
GPTBotద్వారా ట్రైనింగ్కు ఉపయోగపడవచ్చు.
GPTBot, OAI-SearchBot రెండూ అనుమతించబడినప్పుడు, రెండుసార్లు క్రాల్ చేయకుండా ఉండటానికి ఒక క్రాల్ ఫలితాలను రెండు ప్రయోజనాలకూ ఉపయోగించవచ్చని కూడా OpenAI పేర్కొంటుంది.
OpenAI క్రాలర్ల కోసం ఏ robots.txt ఉపయోగించాలి?
ChatGPT జవాబుల్లో కనిపించాలనుకునే చాలా సైట్లకు: సెర్చ్ క్రాలర్ను అనుమతించి, ట్రైనింగ్ గురించి విడిగా నిర్ణయించండి. ఈ ఫైల్ సెర్చ్ను అనుమతించి ట్రైనింగ్ నుంచి వైదొలగుతుంది:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309లోని ఒక వివరాన్ని గమనించండి: క్రాలర్ తన పేరు ఉన్న గ్రూప్ను అనుసరిస్తుంది, * గ్రూప్ను విస్మరిస్తుంది. పై ఉదాహరణలో OAI-SearchBotకు /admin/లోకి అనుమతి ఉంటుంది, ఎందుకంటే దాని సొంత గ్రూప్లో Disallow: /admin/ లైన్ లేదు. ప్రైవేట్గా ఉంచాలనుకునే ఏ పాత్నైనా పేరు ఉన్న ప్రతి గ్రూప్లో మళ్లీ రాయండి. సెర్చ్ మార్పులు వర్తించడానికి సుమారు 24 గంటలు పట్టవచ్చని OpenAI చెబుతుంది.
ఫైర్వాల్ వాటిని అనుమతిస్తోందని ఎలా నిర్ధారించుకోవాలి?
robots.txt మీ విధానాన్ని మాత్రమే తెలియజేస్తుంది. ప్రతి అభ్యర్థనకు నిజంగా ఏమి అందుతుందో ఫైర్వాల్ లేదా CDN నిర్ణయిస్తుంది. ప్రతి క్రాలర్ యూజర్ ఏజెంట్తో ఒక పేజీని అభ్యర్థించి, స్టేటస్ కోడ్ను, బాడీ పరిమాణాన్ని బ్రౌజర్ అభ్యర్థనతో పోల్చండి. బ్రౌజర్కు సాధారణ పేజీ, క్రాలర్కు 403, 429 లేదా ఛాలెంజ్ పేజీ వస్తే, ఫైర్వాల్ మీ robots.txtను అధిగమిస్తోంది.
AISeeWhy మూడు OpenAI ఏజెంట్లకూ ఈ పోలికను ఒకేసారి నడుపుతుంది, ఉటంకింపులను కోల్పోయేలా చేస్తాయి కాబట్టి OAI-SearchBot, ChatGPT-User బ్లాక్లను P1గా గుర్తిస్తుంది, బ్లాక్ అయిన GPTBotను తప్పుగా కాకుండా P3 విధానపరమైన ఎంపికగా చూపిస్తుంది.
ఈ సమస్యకు పరిష్కారాలు
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
OpenAI క్రాలర్ల యూజర్ ఏజెంట్ స్ట్రింగ్లు ఏమిటి?
OpenAI డాక్యుమెంటేషన్ GPTBot కోసం Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotను, OAI-SearchBot కోసం compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotతో ముగిసే Chrome తరహా స్ట్రింగ్ను, ChatGPT-User కోసం Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/botను ఇస్తుంది. వెర్షన్ నంబర్లు మారవచ్చు, కాబట్టి టోకెన్పై మ్యాచ్ చేయండి. IP పరిధులు openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.jsonలో ప్రచురించబడ్డాయి; అసలు క్రాలర్ను అనుకరణ నుంచి వేరు చేయడానికి మూల IPను వాటితో తనిఖీ చేయండి.
GPTBot, ChatGPT ఒకటేనా?
కాదు. GPTBot ట్రైనింగ్ డేటా కోసం క్రాలర్. ChatGPT సెర్చ్ OAI-SearchBotను ఉపయోగిస్తుంది, యూజర్లు అభ్యర్థించే లైవ్ సందర్శనలు ChatGPT-User నుంచి వస్తాయి.
ChatGPT సెర్చ్ను అనుమతించి ట్రైనింగ్ను బ్లాక్ చేయవచ్చా?
అవును. robots.txtలో OAI-SearchBotను అనుమతించి GPTBotను నిషేధించండి. OpenAI ఈ రెండు సెట్టింగ్లను స్వతంత్రమైనవిగా డాక్యుమెంట్ చేస్తుంది.
OpenAIని IP చిరునామా ద్వారా బ్లాక్ చేయాలా?
IP ద్వారా బ్లాక్ చేస్తే క్రాలర్ మీ robots.txtను చదవలేదు, మీ విధానాన్ని మార్చడం కష్టమవుతుంది. సాధారణంగా విధానాన్ని robots.txtలో చెప్పి, ప్రచురించిన IP పరిధులను OpenAI క్రాలర్లను బ్లాక్ చేయడానికి కాకుండా ధృవీకరించడానికి ఉపయోగించడం మంచిది.
పూర్తి యూజర్ ఏజెంట్ను కాకుండా టోకెన్ను ఎందుకు సరిపోల్చాలి?
తన యూజర్ ఏజెంట్లలోని వెర్షన్ నంబర్ మారవచ్చని OpenAI చెబుతుంది, అది ప్రచురించే ఉదాహరణ స్ట్రింగ్లు క్రాలర్కు క్రాలర్కు భిన్నంగా ఉంటాయి. GPTBot లేదా OAI-SearchBotను సరిపోల్చే నియమాలు అప్డేట్ తర్వాత కూడా పనిచేస్తాయి; కచ్చితమైన స్ట్రింగ్ను సరిపోల్చే నియమాలు నిశ్శబ్దంగా సరిపోలడం ఆగిపోవచ్చు.