మీ సైట్ను ఏ AI క్రాలర్లు చదవవచ్చో ఎంచుకుని, తయారైన robots.txtను కాపీ చేయండి. సాధారణంగా GPTBot, ClaudeBot వంటి AI ట్రైనింగ్ క్రాలర్లను బ్లాక్ చేసి, OAI-SearchBot, PerplexityBot వంటి AI సెర్చ్ క్రాలర్లను అనుమతిస్తారు, తద్వారా మీ పేజీలు AI జవాబుల్లో కనిపిస్తూ, ఉదహరించబడుతూనే ఉంటాయి.
యూజర్ అభ్యర్థించిన ఫెచర్లను బ్లాక్ చేయడం వల్ల పరిమిత ప్రభావమే ఉంటుంది: ఒక వ్యక్తి పేజీని అడిగినందున ఈ ఏజెంట్లు robots.txtను పాటించకపోవచ్చని కొన్ని సంస్థలు చెబుతాయి. ప్రచురించే ముందు ఫలితాన్ని robots.txt చెకర్తో పరీక్షించండి. AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్ →
దీన్ని ఎలా ఉపయోగించాలి
ఫైల్ను మీ డొమైన్ రూట్లో ఉంచండి (https://example.com/robots.txt). ఇతర క్రాలర్ల కోసం ఇప్పటికే రూల్స్ ఉంటే, వాటిని అలాగే ఉంచి AI గ్రూప్లను మాత్రమే జోడించండి. ప్రతి క్రాలర్ తర్వాతిసారి ఫైల్ను చదివినప్పుడు, సాధారణంగా ఒక రోజులోపు, మార్పులు అమల్లోకి వస్తాయి.
ఈ పాఠ్యం ఇంగ్లీష్ నుంచి యంత్రం ద్వారా అనువదించబడింది.
జనరేటర్ ఏమి రాస్తుంది
మీ సైట్ను చదవగల క్రాలర్లను టిక్ చేసి, బ్లాక్ చేయాలనుకున్నవాటిని అన్టిక్ చేయండి. జనరేటర్ బ్లాక్ చేసిన ఒక్కో క్రాలర్కు ఒక గ్రూప్తో, User-agent: <token> తర్వాత Disallow: /, చివర మిగతా అన్నిటినీ అనుమతించే User-agent: * గ్రూప్తో robots.txt రాస్తుంది. సైట్మ్యాప్ చిరునామా జోడిస్తే Sitemap లైన్ జోడిస్తుంది. Content-Signal ఎంపికలను టిక్ చేస్తే, మీ కంటెంట్ను ఎలా ఉపయోగించవచ్చో చెప్పే Content-Signal లైన్ జోడిస్తుంది.
మీ బ్రౌజర్ నుంచి ఏదీ బయటకు వెళ్లదు: మీరు క్లిక్ చేస్తుండగానే ఫైల్ పేజీలో తయారవుతుంది, మీరు దాన్ని అవుట్పుట్ బాక్స్ నుంచి కాపీ చేస్తారు.
ఏ ప్రీసెట్తో మొదలుపెట్టాలి
అన్నిటినీ అనుమతించు: ప్రతి క్రాలర్ ప్రతి పేజీని చదవవచ్చు. కనిపించాలనుకునే, ఉటంకించబడాలనుకునే చాలా సైట్లకు ఇది సరైనది.
ట్రైనింగ్ బ్లాక్ చేయి, AI సెర్చ్ అనుమతించు: GPTBot, ClaudeBot, CCBot, Google-Extended వంటి ట్రైనింగ్ క్రాలర్లు బ్లాక్ అవుతాయి; OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User వంటి సెర్చ్, యూజర్ క్రాలర్లు అనుమతించబడతాయి. మీ పేజీలు AI జవాబుల్లో కనిపించి ఉటంకించబడవచ్చు.
అన్ని AI క్రాలర్లను బ్లాక్ చేయి: జాబితాలోని ప్రతి AI క్రాలర్ బ్లాక్ అవుతుంది. ఆ క్రాలర్లు AI జవాబుల కోసం మీ పేజీలను తెచ్చుకోవు, సాధారణంగా దీని అర్థం అసిస్టెంట్ల నుంచి తక్కువ ఉటంకింపులు, తక్కువ ట్రాఫిక్.
ఉదాహరణ: ట్రైనింగ్ బ్లాక్ చేయి, AI సెర్చ్ అనుమతించు
బ్లాక్ చేసిన ప్రతి క్రాలర్కు సొంత గ్రూప్ ఉంటుంది, కాబట్టి దాని Disallow: / దానికి మాత్రమే వర్తిస్తుంది. OAI-SearchBot, Googlebotతో సహా మిగతా క్రాలర్లన్నీ User-agent: *కు చేరి అన్నిటినీ చదవవచ్చు. Content-Signal లైన్ దాన్ని చదివే క్రాలర్లకు అదే ఉద్దేశాన్ని మళ్లీ చెబుతుంది: సెర్చ్, రియల్ టైమ్ జవాబులు అవును, ట్రైనింగ్ కాదు.
కలపండి, భర్తీ చేయకండి. మీ ప్రస్తుత robots.txtలో అడ్మిన్ విభాగాలు, కార్ట్లు లేదా సెర్చ్ పేజీల కోసం నియమాలు ఉంటే, వాటిని కొత్త ఫైల్లోని User-agent: * గ్రూప్లోకి కాపీ చేయండి, లేదంటే ఆ విభాగాలను అన్ని క్రాలర్లకు తెరిచేస్తారు.
ప్రతి హోస్ట్ రూట్లో ఫైల్ ఉంచండి: https://example.com/robots.txt. సబ్డొమైన్కు సొంత ఫైల్ కావాలి.
దాన్ని స్టేటస్ 200తో సాధారణ పాఠ్యంగా అందించండి. ఆ చిరునామాలో HTML పేజీ లేదా ఎర్రర్ robots.txtగా పనిచేయదు.
ఫలితాన్ని robots.txt టెస్టర్లో అతికించి, మీకు ముఖ్యమైన క్రాలర్ల కోసం కొన్ని నిజమైన పాత్లను తనిఖీ చేయండి.
robots.txt ఒక అభ్యర్థన అని గుర్తుంచుకోండి. మీరు అనుమతించిన క్రాలర్ను ఫైర్వాల్ బ్లాక్ చేస్తే, ఫైల్ దాన్ని సరిచేయలేదు; పూర్తి తనిఖీ దాన్ని చూపిస్తుంది.
సాధారణ పొరపాట్లు
ట్రైనింగ్ను ఆపడానికి OAI-SearchBot లేదా PerplexityBotను బ్లాక్ చేయడం. అవి సెర్చ్ క్రాలర్లు; వాటిని బ్లాక్ చేస్తే మీరు జవాబుల నుంచి తొలగిపోతారు.
వాటిలో ఒక్కదాన్నే బ్లాక్ చేయాలనుకుని, ఒకే Disallow: / పైన చాలా User-agent లైన్లు రాయడం: ఒకదాని కింద ఒకటి ఉన్న లైన్లు ఒకే గ్రూప్ అవుతాయి.
ChatGPT-User వంటి యూజర్ అభ్యర్థించిన ఫెచర్లు బ్లాక్ను పాటిస్తాయని ఆశించడం. ఒక వ్యక్తి పేజీని అడిగినప్పుడు ఈ ఏజెంట్లు robots.txtను పాటించకపోవచ్చని కొన్ని కంపెనీలు చెబుతాయి.
Crawl-delay లేదా Noindex లైన్లు జోడించడం. అవి RFC 9309లో భాగం కావు, Google రెండింటినీ విస్మరిస్తుంది.
తరచుగా అడిగే ప్రశ్నలు
GPTBotను బ్లాక్ చేస్తే నా సైట్ ChatGPT నుంచి తొలగిపోతుందా?
లేదు. GPTBot ట్రైనింగ్ డేటాను సేకరిస్తుంది. ChatGPT సెర్చ్ OAI-SearchBotను ఉపయోగిస్తుంది, ChatGPT-User వ్యక్తులు అడిగిన పేజీలను తెరుస్తుంది. ఉటంకించబడాలనుకుంటే వాటిని అనుమతించి ఉంచండి.
Content-Signal అంటే ఏమిటి?
మీ కంటెంట్ను ఎలా ఉపయోగించవచ్చో చెప్పే robots.txtలోని ఒక లైన్: search, ai-input (రియల్ టైమ్ జవాబులు), ai-train (ట్రైనింగ్), ఒక్కోటి yes లేదా no. మద్దతు కంపెనీని బట్టి మారుతుంది; క్రాలర్లు పాటించే నియమం క్రాలర్ ప్రత్యేక గ్రూప్లే.
Google-Extended, Google Searchపై ప్రభావం చూపుతుందా?
లేదు. ఇది robots.txtలో మాత్రమే ఉండే టోకెన్, Google మీ పేజీలను తన AI మోడల్ల కోసం ఉపయోగించవచ్చో లేదో నియంత్రిస్తుంది; Google Searchలో క్రాలింగ్ను లేదా ర్యాంకింగ్ను మార్చదు.
నా ఎంపిక ఎక్కడికైనా పంపబడుతుందా?
లేదు. జనరేటర్ మీ బ్రౌజర్లో నడుస్తుంది, మీరు ఫైల్ను పరీక్షించాలని ఎంచుకునే వరకు మా సర్వర్కు ఏదీ పంపబడదు.