AI ట్రైనింగ్ను బ్లాక్ చేసి AI సెర్చ్ జవాబుల్లో ఉండటం ఎలా
చాలా AI సంస్థలు మోడల్ ట్రైనింగ్కు, సెర్చ్కు వేర్వేరు robots.txt టోకెన్లను ఉపయోగిస్తాయి. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot వంటి ట్రైనింగ్ టోకెన్లను నిషేధించండి, OAI-SearchBot, Claude-SearchBot, PerplexityBot వంటి సెర్చ్, యూజర్ టోకెన్లను అనుమతించండి. అదే ప్రాధాన్యతను మాటల్లో చెప్పడానికి Content-Signal లైన్ జోడించండి.
చాలా మంది సైట్ యజమానులు ఒకేసారి రెండు విషయాలు కోరుకుంటారు: తమ కంటెంట్ AI మోడల్ల ట్రైనింగ్కు ఉపయోగపడకూడదు, కానీ AI అసిస్టెంట్లు తమ పేజీలను కనుగొని, ఉటంకించి, లింక్ ఇవ్వాలి. ప్రధాన సంస్థలు ఇప్పుడు ఈ పనులను వేర్వేరు క్రాలర్లు లేదా టోకెన్లకు పంచినందున, robots.txt ఈ రెండు ఎంపికలనూ వ్యక్తపరచగలదు. చిక్కు ఏమిటంటే పేర్లు సంస్థకు సంస్థకు మారుతాయి, కొన్ని సంస్థలు ఈ పద్ధతికి సరిపోవు, ఒక్క తప్పు లైన్ మిమ్మల్ని ట్రైనింగ్ డేటా నుంచి కాకుండా AI జవాబుల నుంచి తొలగించగలదు.
ఈ పేజీలో
ట్రైనింగ్ క్రాలర్కు, సెర్చ్ క్రాలర్కు తేడా ఏమిటి?
ట్రైనింగ్ క్రాలర్ AI మోడల్లను నిర్మించడానికి లేదా మెరుగుపరచడానికి ఉపయోగపడే పేజీలను సేకరిస్తుంది. ట్రైనింగ్ దానంతట అదే ఉటంకింపును గానీ లింక్ను గానీ ఇవ్వదు. సెర్చ్ క్రాలర్ ఒక ఇండెక్స్ను నిర్మిస్తుంది, AI అసిస్టెంట్ జవాబు కోసం మూలాలను కనుగొనడానికి దాన్ని ఉపయోగిస్తుంది, అది ఉటంకించగలిగేది ఆ మూలాలనే. యూజర్ ప్రేరేపించే ఫెచర్ ఎవరైనా ఒక పేజీ గురించి అడిగినందున దాన్ని లైవ్గా తెరుస్తుంది.
సంస్థలు ఈ పాత్రలను విడిగా డాక్యుమెంట్ చేస్తాయి, సెట్టింగ్లు ఒకదానిపై ఒకటి ఆధారపడవని చెబుతాయి. ఉదాహరణకు, తన క్రాలర్ల కోసం ప్రతి robots.txt సెట్టింగ్ మిగతావాటి నుంచి స్వతంత్రమైనదని OpenAI చెబుతుంది. కాబట్టి సరిగ్గా చేసిన ట్రైనింగ్ ఆప్ట్-అవుట్ మీ సెర్చ్ విజిబిలిటీని తాకదు.
ఏ టోకెన్లు ట్రైనింగ్ను, ఏవి సెర్చ్ను నియంత్రిస్తాయి?
సంస్థలు డాక్యుమెంట్ చేసే టోకెన్లు ఇవి, అవి నియంత్రించే దాన్ని బట్టి వర్గీకరించబడ్డాయి:
- OpenAI:
GPTBotదాని ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు ఉపయోగపడే కంటెంట్ను క్రాల్ చేస్తుంది.OAI-SearchBotChatGPT సెర్చ్ కోసం,ChatGPT-Userయూజర్ చర్యలను నిర్వహిస్తుంది; దానికి robots.txt వర్తించకపోవచ్చని OpenAI చెబుతుంది. - Anthropic:
ClaudeBotట్రైనింగ్కు తోడ్పడగల కంటెంట్ను సేకరిస్తుంది.Claude-SearchBotClaude సెర్చ్ ఫలితాలను మెరుగుపరుస్తుంది,Claude-Userయూజర్ల కోసం పేజీలను తెస్తుంది. తన బాట్లు robots.txtను గౌరవిస్తాయని Anthropic చెబుతుంది. - Google:
Google-Extendedసొంత క్రాలర్ లేని robots.txt టోకెన్. ఇది భవిష్యత్ Gemini మోడల్ల ట్రైనింగ్లో, Gemini Apps, Vertex AI కోసం గ్రౌండింగ్లో వినియోగాన్ని నియంత్రిస్తుంది. ఇది Google Searchలో చేరికను గానీ ర్యాంకింగ్ను గానీ ప్రభావితం చేయదని Google చెబుతుంది; అదిGooglebotద్వారా నియంత్రించబడుతుంది. - Apple:
Applebot-Extendedక్రాల్ చేయదు;Applebotక్రాల్ చేసిన కంటెంట్ Apple ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు ఉపయోగపడుతుందా లేదా అనేదాన్ని ఇది నియంత్రిస్తుంది. దీన్ని నిషేధించే పేజీలు కూడా తన సెర్చ్ ఫలితాల్లో కనిపించవచ్చని Apple చెబుతుంది. - Meta:
meta-externalagentఫౌండేషన్ మోడల్ల ట్రైనింగ్ వంటి ఉపయోగాల కోసం క్రాల్ చేస్తుంది,meta-webindexerMeta AI సెర్చ్ ఫలితాలను మెరుగుపరుస్తుంది. - Common Crawl:
CCBotCommon Crawl పబ్లిక్ వెబ్ ఆర్కైవ్ను నిర్మిస్తుంది. Cloudflare managed robots.txt తాను నిషేధించే AI ట్రైనింగ్ క్రాలర్లలో దీన్ని పేర్కొంటుంది. - Perplexity:
PerplexityBot,Perplexity-Userసెర్చ్, యూజర్ అభ్యర్థనలకు సేవ చేస్తాయి. వీటిలో ఏదీ ట్రైనింగ్ డేటా సేకరణకు ఉపయోగపడదని Perplexity చెబుతుంది, కాబట్టి బ్లాక్ చేయడానికి Perplexity ట్రైనింగ్ టోకెన్ అంటూ ఏదీ లేదు.
robots.txt ఎలా ఉంటుంది?
RFC 9309 ప్రకారం వరుసగా వచ్చే అనేక User-agent లైన్లు ఒకే గ్రూప్ అవుతాయి, కాబట్టి నియమాలు వాటిలో ప్రతిదానికీ వర్తిస్తాయి. ఈ ఫైల్ పైన పేర్కొన్న ట్రైనింగ్ టోకెన్ల నుంచి వైదొలగుతుంది, సెర్చ్, యూజర్ ఏజెంట్లను అనుమతిస్తుంది, ఒక ప్రైవేట్ పాత్ను అందరికీ మూసి ఉంచుతుంది:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml రెండు వివరాలు ముఖ్యం. మొదటిది, పేరు ఉన్న గ్రూప్ * నుంచి ఏమీ వారసత్వంగా పొందదు, కాబట్టి ప్రైవేట్ పాత్లను సెర్చ్ గ్రూప్లో మళ్లీ రాయాలి. రెండోది, ట్రైనింగ్ గ్రూప్లో Googlebot లేదా Applebotను చేర్చకండి: అవి సెర్చ్ క్రాలర్లు, వాటిని బ్లాక్ చేస్తే మీరు Google Search నుంచి, Apple సెర్చ్ ఫీచర్ల నుంచి తొలగిపోతారు. మార్పులు వెంటనే అమలు కావు: సెర్చ్కు సుమారు 24 గంటలని OpenAI, 24 గంటల వరకని Perplexity చెబుతాయి.
ఇప్పటికే ఎన్ని సైట్లు ఇలా చేస్తున్నాయి?
మీరు ఊహించే దానికంటే తక్కువ. 2026-11-12న Tranco జాబితాలోని 1,000 అత్యంత ప్రజాదరణ పొందిన డొమైన్ల robots.txt ఫైల్లను మేము చదివాం. robots.txt అందించిన 518 సైట్లలో 155 (29.9%) కనీసం ఒక AI ట్రైనింగ్ క్రాలర్కు హోమ్ పేజీని నిషేధిస్తాయి. కేవలం 57 (11.0%) మాత్రమే ఎంపిక చేసిన మార్గాన్ని అనుసరిస్తాయి: అవి ట్రైనింగ్ క్రాలర్లను బ్లాక్ చేసి, మేము పరీక్షించిన ప్రతి AI సెర్చ్, యూజర్ క్రాలర్ను అనుమతిస్తాయి. మొత్తంగా 101 సైట్లు (19.5%) కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను బ్లాక్ చేస్తాయి.
ఒక్కో క్రాలర్ సంఖ్యలూ ఇదే విభజనను చూపిస్తాయి. GPTBot 111 సైట్లలో (21.4%), OAI-SearchBot 58 సైట్లలో (11.2%) బ్లాక్ అయ్యాయి. ClaudeBot 110 (21.2%), Claude-SearchBot 67 (12.9%) సైట్లలో బ్లాక్ అయ్యాయి. Google-Extended 94 (18.1%), Googlebot 14 (2.7%) సైట్లలో బ్లాక్ అయ్యాయి. కేవలం 18 సైట్లు (3.5%) Content-Signalను ఉపయోగిస్తున్నాయి.
ఈ అధ్యయనం హోమ్ పేజీకి సంబంధించిన robots.txt నియమాలను మాత్రమే చూస్తుంది. ఇది ఫైర్వాల్ బ్లాక్లను కొలవదు, ప్రతి సైట్ ఉద్దేశం ఏమిటో చూపించదు.
Content-Signal ఏమి జోడిస్తుంది?
Content Signals అనేది contentsignals.orgలో Cloudflare ప్రచురించిన robots.txt ఎక్స్టెన్షన్. Content-Signal లైన్ కంటెంట్ను ఎలా ఉపయోగించవచ్చో మూడు సిగ్నల్లతో చెబుతుంది: search (సెర్చ్ ఇండెక్స్ నిర్మించడం, లింక్లు, చిన్న ఎక్సర్ప్ట్లు చూపించడం), ai-input (గ్రౌండింగ్ లేదా జనరేటివ్ జవాబుల కోసం రిట్రీవల్ వంటి, కంటెంట్ను రియల్ టైమ్లో AI మోడల్లకు అందించడం), ai-train (మోడల్లకు ట్రైనింగ్ లేదా ఫైన్-ట్యూనింగ్).
search నిర్వచనం AI రూపొందించే సెర్చ్ సారాంశాలను మినహాయిస్తుందని గమనించండి. మీరు AI జవాబుల్లో కనిపించాలనుకుంటే, పై ఉదాహరణలో లాగా ai-input=yes కూడా సెట్ చేయండి. Cloudflare managed robots.txt డిఫాల్ట్గా search=yes, ai-train=noను జోడిస్తుంది; మీరు వదిలేసిన సిగ్నల్ ఆ వినియోగాన్ని అనుమతించదు, పరిమితం చేయదు.
ఇవి ప్రకటించిన ప్రాధాన్యతలు మాత్రమే. అవి సాంకేతిక స్థాయిలో క్రాలింగ్ను ఆపవని Content Signals సైట్ చెబుతుంది, robots.txtను పాటించడం స్వచ్ఛందమని Cloudflare పేర్కొంటుంది. మేము తనిఖీ చేసిన OpenAI, Anthropic, Google, Perplexity క్రాలర్ పేజీలలో ఏదీ అవి Content-Signalను చదువుతాయో లేదో చెప్పదు, కాబట్టి దీన్ని ఒక్కో క్రాలర్ గ్రూప్లకు అదనంగా చూడండి, వాటికి బదులుగా కాదు.
ఈ విభజన ఎక్కడ సరిగ్గా పనిచేయదు?
కొన్ని సందర్భాల్లో జాగ్రత్త అవసరం:
- Google AI Overviews, AI Mode
Googlebotనిర్మించే Search ఇండెక్స్పై ఆధారపడతాయి, కాబట్టిGoogle-Extendedమిమ్మల్ని వాటి నుంచి తొలగించదు. Search యొక్క జనరేటివ్ AI ఫీచర్ల వెనుక ఉన్న మోడల్ల ట్రైనింగ్నుGoogle-Extendedపరిమితం చేస్తుందని Google Search Console సహాయ పేజీ జోడిస్తుంది; ఈ పరిధిని దాని క్రాలర్ డాక్యుమెంటేషన్ పేర్కొనదు. AI Overviews, AI Mode నుంచి సైట్ను మినహాయించడానికి Google ఇప్పుడు ప్రత్యేక Search Console సెట్టింగ్ను అందిస్తోంది. - ఒక సైట్
GPTBot,OAI-SearchBotరెండింటినీ అనుమతిస్తే, ఒక క్రాల్ ఫలితాలను రెండు ప్రయోజనాలకూ ఉపయోగించవచ్చని OpenAI చెబుతుంది. కంటెంట్ ట్రైనింగ్కు ఉపయోగపడకూడదని సూచించేదిGPTBotను నిషేధించడమే. - ఆప్ట్-అవుట్లు భవిష్యత్తుకే వర్తిస్తాయి. ఉదాహరణకు,
ClaudeBotను నిషేధించడం మీ సైట్ భవిష్యత్ కంటెంట్ను ట్రైనింగ్ డేటాసెట్ల నుంచి మినహాయిస్తుందని Anthropic వివరిస్తుంది. - యూజర్ ప్రేరేపించే ఫెచర్లు మధ్యలో ఉంటాయి.
ChatGPT-Userకు robots.txt వర్తించకపోవచ్చని,Perplexity-Userకు సాధారణంగా వర్తించదని OpenAI, Perplexity చెబుతాయి. - ఫైర్వాల్లు robots.txtను చదవవు. విస్తృతమైన బాట్-బ్లాకింగ్ నియమం మీరు అనుమతించిన సెర్చ్ క్రాలర్లను ఆపగలదు. ట్రైనింగ్ బ్లాక్ను ఫైర్వాల్లో అమలు చేస్తే, ట్రైనింగ్ ఏజెంట్లను పేరుతో సరిపోల్చండి, వాటి ప్రచురించిన IP పరిధుల ద్వారా ధృవీకరించండి.
ఈ విభజన పనిచేస్తోందని ఎలా తనిఖీ చేయాలి?
ప్రతి క్రాలర్ చదివినట్లుగా మీ robots.txtను చదవండి: దాని పేరు ఉన్న గ్రూప్ను కనుగొనండి, అలాంటిది లేకపోతేనే *కు వెళ్లండి, సరిపోలే పొడవైన నియమాన్ని వర్తింపజేయండి. తర్వాత ప్రతి సెర్చ్ క్రాలర్ యూజర్ ఏజెంట్తో ఒక పేజీని అభ్యర్థించి, దానికి 403 లేదా ఛాలెంజ్ పేజీ కాకుండా పూర్తి కంటెంట్తో 200 వస్తోందని నిర్ధారించుకోండి.
AISeeWhy ట్రైనింగ్, సెర్చ్, యూజర్ ఏజెంట్లుగా వర్గీకరించిన 14 క్రాలర్లకు ఈ రెండూ చేస్తుంది, అత్యంత సాధారణమైన తప్పును ఫ్లాగ్ చేస్తుంది: ట్రైనింగ్ను బ్లాక్ చేయాలనుకుంటూ PerplexityBot లేదా Claude-SearchBot వంటి సెర్చ్ టోకెన్ను బ్లాక్ చేయడం.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
GPTBotను బ్లాక్ చేస్తే నా సైట్ ChatGPT జవాబుల నుంచి తొలగిపోతుందా?
లేదు. GPTBot ట్రైనింగ్ కోసమని, ప్రతి robots.txt సెట్టింగ్ స్వతంత్రమైనదని OpenAI చెబుతుంది. ChatGPT సెర్చ్ OAI-SearchBotను ఉపయోగిస్తుంది; అది అనుమతించబడి, మీ ఫైర్వాల్ దాన్ని బ్లాక్ చేయనంత వరకు, మీ పేజీలు అర్హతతోనే ఉంటాయి.
Google-Extendedను బ్లాక్ చేస్తే నేను AI Overviews నుంచి తొలగిపోతానా?
Google డాక్యుమెంటేషన్ ప్రకారం కాదు. Google-Extended Google Searchలో చేరికను ప్రభావితం చేయదని Google చెబుతుంది, AI Overviews Search ఇండెక్స్పై ఆధారపడతాయి. AI Overviews, AI Mode నుంచి సైట్ను మినహాయించడానికి Google ప్రత్యేక Search Console నియంత్రణను అందిస్తుంది.
అన్ని AI ట్రైనింగ్లను బ్లాక్ చేసే ఒకే లైన్ ఉందా?
ప్రామాణికమైన లైన్ ఏదీ లేదు. Content-Signal: ai-train=no అన్ని క్రాలర్లకు ప్రాధాన్యతను తెలియజేస్తుంది, కానీ క్రాలర్ దాన్ని గౌరవిస్తుందా లేదా అనేది దాని నిర్వాహకుడిపై ఆధారపడి ఉంటుంది. ప్రతి ట్రైనింగ్ టోకెన్కు పేరు ఉన్న గ్రూప్లే డాక్యుమెంట్ చేయబడిన మార్గం.
AI ట్రైనింగ్ను ఆపడానికి Perplexityని బ్లాక్ చేయాలా?
తన ఏజెంట్లు ట్రైనింగ్ డేటా సేకరణకు ఉపయోగపడవని Perplexity చెబుతుంది. PerplexityBotను బ్లాక్ చేయడం ట్రైనింగ్ ఆప్ట్-అవుట్గా పనిచేయకుండానే Perplexity సెర్చ్ ఫలితాల్లో మీ విజిబిలిటీని తగ్గిస్తుంది.
మూలాలు
- OpenAI: OpenAI క్రాలర్ల అవలోకనం
- Anthropic: Anthropic వెబ్ నుంచి డేటాను క్రాల్ చేస్తుందా, సైట్ యజమానులు ఆ క్రాలర్ను ఎలా బ్లాక్ చేయవచ్చు?
- Google: Google-Extendedతో సహా సాధారణ క్రాలర్లు
- Google Search Console సహాయం: Search జనరేటివ్ AI నియంత్రణ
- Apple: Applebot గురించి
- Meta: Meta వెబ్ క్రాలర్లు
- Common Crawl: CCBot
- Perplexity: Perplexity క్రాలర్లు
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt, Content Signals
- AISeeWhy: AI క్రాలర్ యాక్సెస్ రిపోర్ట్, 2026-11