AI క్రాలర్‌ల కోసం robots.txt జనరేటర్

మీ సైట్‌ను ఏ AI క్రాలర్‌లు చదవవచ్చో ఎంచుకుని, తయారైన robots.txt‌ను కాపీ చేయండి. సాధారణంగా GPTBot, ClaudeBot వంటి AI ట్రైనింగ్ క్రాలర్‌లను బ్లాక్ చేసి, OAI-SearchBot, PerplexityBot వంటి AI సెర్చ్ క్రాలర్‌లను అనుమతిస్తారు, తద్వారా మీ పేజీలు AI జవాబుల్లో కనిపిస్తూ, ఉదహరించబడుతూనే ఉంటాయి.

దీనితో మొదలుపెట్టండి
AI ట్రైనింగ్
AI సెర్చ్
యూజర్ అభ్యర్థించిన ఫెచ్
Content-Signal (ఐచ్ఛికం): మీరు అనుమతించేవాటిని టిక్ చేయండి

యూజర్ అభ్యర్థించిన ఫెచర్‌లను బ్లాక్ చేయడం వల్ల పరిమిత ప్రభావమే ఉంటుంది: ఒక వ్యక్తి పేజీని అడిగినందున ఈ ఏజెంట్‌లు robots.txt‌ను పాటించకపోవచ్చని కొన్ని సంస్థలు చెబుతాయి. ప్రచురించే ముందు ఫలితాన్ని robots.txt చెకర్‌తో పరీక్షించండి. AI క్రాలర్‌ల కోసం robots.txt టెస్టర్, చెకర్ →

దీన్ని ఎలా ఉపయోగించాలి

ఫైల్‌ను మీ డొమైన్ రూట్‌లో ఉంచండి (https://example.com/robots.txt). ఇతర క్రాలర్‌ల కోసం ఇప్పటికే రూల్స్ ఉంటే, వాటిని అలాగే ఉంచి AI గ్రూప్‌లను మాత్రమే జోడించండి. ప్రతి క్రాలర్ తర్వాతిసారి ఫైల్‌ను చదివినప్పుడు, సాధారణంగా ఒక రోజులోపు, మార్పులు అమల్లోకి వస్తాయి.

పూర్తి తనిఖీ నడపండి →

గైడ్

robots.txt జనరేటర్‌ను ఎలా ఉపయోగించాలి

ఈ పాఠ్యం ఇంగ్లీష్ నుంచి యంత్రం ద్వారా అనువదించబడింది.

జనరేటర్ ఏమి రాస్తుంది

మీ సైట్‌ను చదవగల క్రాలర్‌లను టిక్ చేసి, బ్లాక్ చేయాలనుకున్నవాటిని అన్‌టిక్ చేయండి. జనరేటర్ బ్లాక్ చేసిన ఒక్కో క్రాలర్‌కు ఒక గ్రూప్‌తో, User-agent: <token> తర్వాత Disallow: /, చివర మిగతా అన్నిటినీ అనుమతించే User-agent: * గ్రూప్‌తో robots.txt రాస్తుంది. సైట్‌మ్యాప్ చిరునామా జోడిస్తే Sitemap లైన్ జోడిస్తుంది. Content-Signal ఎంపికలను టిక్ చేస్తే, మీ కంటెంట్‌ను ఎలా ఉపయోగించవచ్చో చెప్పే Content-Signal లైన్ జోడిస్తుంది.

మీ బ్రౌజర్ నుంచి ఏదీ బయటకు వెళ్లదు: మీరు క్లిక్ చేస్తుండగానే ఫైల్ పేజీలో తయారవుతుంది, మీరు దాన్ని అవుట్‌పుట్ బాక్స్ నుంచి కాపీ చేస్తారు.

ఏ ప్రీసెట్‌తో మొదలుపెట్టాలి

ఉదాహరణ: ట్రైనింగ్ బ్లాక్ చేయి, AI సెర్చ్ అనుమతించు

బ్లాక్ చేసిన ప్రతి క్రాలర్‌కు సొంత గ్రూప్ ఉంటుంది, కాబట్టి దాని Disallow: / దానికి మాత్రమే వర్తిస్తుంది. OAI-SearchBot, Googlebotతో సహా మిగతా క్రాలర్‌లన్నీ User-agent: *కు చేరి అన్నిటినీ చదవవచ్చు. Content-Signal లైన్ దాన్ని చదివే క్రాలర్‌లకు అదే ఉద్దేశాన్ని మళ్లీ చెబుతుంది: సెర్చ్, రియల్ టైమ్ జవాబులు అవును, ట్రైనింగ్ కాదు.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

ప్రచురించే ముందు

సాధారణ పొరపాట్లు

తరచుగా అడిగే ప్రశ్నలు

GPTBotను బ్లాక్ చేస్తే నా సైట్ ChatGPT నుంచి తొలగిపోతుందా?

లేదు. GPTBot ట్రైనింగ్ డేటాను సేకరిస్తుంది. ChatGPT సెర్చ్ OAI-SearchBotను ఉపయోగిస్తుంది, ChatGPT-User వ్యక్తులు అడిగిన పేజీలను తెరుస్తుంది. ఉటంకించబడాలనుకుంటే వాటిని అనుమతించి ఉంచండి.

Content-Signal అంటే ఏమిటి?

మీ కంటెంట్‌ను ఎలా ఉపయోగించవచ్చో చెప్పే robots.txtలోని ఒక లైన్: search, ai-input (రియల్ టైమ్ జవాబులు), ai-train (ట్రైనింగ్), ఒక్కోటి yes లేదా no. మద్దతు కంపెనీని బట్టి మారుతుంది; క్రాలర్‌లు పాటించే నియమం క్రాలర్ ప్రత్యేక గ్రూప్‌లే.

Google-Extended, Google Searchపై ప్రభావం చూపుతుందా?

లేదు. ఇది robots.txtలో మాత్రమే ఉండే టోకెన్, Google మీ పేజీలను తన AI మోడల్‌ల కోసం ఉపయోగించవచ్చో లేదో నియంత్రిస్తుంది; Google Searchలో క్రాలింగ్‌ను లేదా ర్యాంకింగ్‌ను మార్చదు.

నా ఎంపిక ఎక్కడికైనా పంపబడుతుందా?

లేదు. జనరేటర్ మీ బ్రౌజర్‌లో నడుస్తుంది, మీరు ఫైల్‌ను పరీక్షించాలని ఎంచుకునే వరకు మా సర్వర్‌కు ఏదీ పంపబడదు.

సంబంధిత టూల్స్, గైడ్‌లు