AI ట్రైనింగ్‌ను బ్లాక్ చేసి AI సెర్చ్ జవాబుల్లో ఉండటం ఎలా

ప్రచురించినది

చిన్న జవాబు

చాలా AI సంస్థలు మోడల్ ట్రైనింగ్‌కు, సెర్చ్‌కు వేర్వేరు robots.txt టోకెన్‌లను ఉపయోగిస్తాయి. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot వంటి ట్రైనింగ్ టోకెన్‌లను నిషేధించండి, OAI-SearchBot, Claude-SearchBot, PerplexityBot వంటి సెర్చ్, యూజర్ టోకెన్‌లను అనుమతించండి. అదే ప్రాధాన్యతను మాటల్లో చెప్పడానికి Content-Signal లైన్ జోడించండి.

చాలా మంది సైట్ యజమానులు ఒకేసారి రెండు విషయాలు కోరుకుంటారు: తమ కంటెంట్ AI మోడల్‌ల ట్రైనింగ్‌కు ఉపయోగపడకూడదు, కానీ AI అసిస్టెంట్‌లు తమ పేజీలను కనుగొని, ఉటంకించి, లింక్ ఇవ్వాలి. ప్రధాన సంస్థలు ఇప్పుడు ఈ పనులను వేర్వేరు క్రాలర్‌లు లేదా టోకెన్‌లకు పంచినందున, robots.txt ఈ రెండు ఎంపికలనూ వ్యక్తపరచగలదు. చిక్కు ఏమిటంటే పేర్లు సంస్థకు సంస్థకు మారుతాయి, కొన్ని సంస్థలు ఈ పద్ధతికి సరిపోవు, ఒక్క తప్పు లైన్ మిమ్మల్ని ట్రైనింగ్ డేటా నుంచి కాకుండా AI జవాబుల నుంచి తొలగించగలదు.

ఈ పేజీలో
  1. ట్రైనింగ్ క్రాలర్‌కు, సెర్చ్ క్రాలర్‌కు తేడా ఏమిటి?
  2. ఏ టోకెన్‌లు ట్రైనింగ్‌ను, ఏవి సెర్చ్‌ను నియంత్రిస్తాయి?
  3. robots.txt ఎలా ఉంటుంది?
  4. ఇప్పటికే ఎన్ని సైట్‌లు ఇలా చేస్తున్నాయి?
  5. Content-Signal ఏమి జోడిస్తుంది?
  6. ఈ విభజన ఎక్కడ సరిగ్గా పనిచేయదు?
  7. ఈ విభజన పనిచేస్తోందని ఎలా తనిఖీ చేయాలి?

ట్రైనింగ్ క్రాలర్‌కు, సెర్చ్ క్రాలర్‌కు తేడా ఏమిటి?

ట్రైనింగ్ క్రాలర్ AI మోడల్‌లను నిర్మించడానికి లేదా మెరుగుపరచడానికి ఉపయోగపడే పేజీలను సేకరిస్తుంది. ట్రైనింగ్ దానంతట అదే ఉటంకింపును గానీ లింక్‌ను గానీ ఇవ్వదు. సెర్చ్ క్రాలర్ ఒక ఇండెక్స్‌ను నిర్మిస్తుంది, AI అసిస్టెంట్ జవాబు కోసం మూలాలను కనుగొనడానికి దాన్ని ఉపయోగిస్తుంది, అది ఉటంకించగలిగేది ఆ మూలాలనే. యూజర్ ప్రేరేపించే ఫెచర్ ఎవరైనా ఒక పేజీ గురించి అడిగినందున దాన్ని లైవ్‌గా తెరుస్తుంది.

సంస్థలు ఈ పాత్రలను విడిగా డాక్యుమెంట్ చేస్తాయి, సెట్టింగ్‌లు ఒకదానిపై ఒకటి ఆధారపడవని చెబుతాయి. ఉదాహరణకు, తన క్రాలర్‌ల కోసం ప్రతి robots.txt సెట్టింగ్ మిగతావాటి నుంచి స్వతంత్రమైనదని OpenAI చెబుతుంది. కాబట్టి సరిగ్గా చేసిన ట్రైనింగ్ ఆప్ట్-అవుట్ మీ సెర్చ్ విజిబిలిటీని తాకదు.

ఏ టోకెన్‌లు ట్రైనింగ్‌ను, ఏవి సెర్చ్‌ను నియంత్రిస్తాయి?

సంస్థలు డాక్యుమెంట్ చేసే టోకెన్‌లు ఇవి, అవి నియంత్రించే దాన్ని బట్టి వర్గీకరించబడ్డాయి:

robots.txt ఎలా ఉంటుంది?

RFC 9309 ప్రకారం వరుసగా వచ్చే అనేక User-agent లైన్‌లు ఒకే గ్రూప్ అవుతాయి, కాబట్టి నియమాలు వాటిలో ప్రతిదానికీ వర్తిస్తాయి. ఈ ఫైల్ పైన పేర్కొన్న ట్రైనింగ్ టోకెన్‌ల నుంచి వైదొలగుతుంది, సెర్చ్, యూజర్ ఏజెంట్‌లను అనుమతిస్తుంది, ఒక ప్రైవేట్ పాత్‌ను అందరికీ మూసి ఉంచుతుంది:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

రెండు వివరాలు ముఖ్యం. మొదటిది, పేరు ఉన్న గ్రూప్ * నుంచి ఏమీ వారసత్వంగా పొందదు, కాబట్టి ప్రైవేట్ పాత్‌లను సెర్చ్ గ్రూప్‌లో మళ్లీ రాయాలి. రెండోది, ట్రైనింగ్ గ్రూప్‌లో Googlebot లేదా Applebotను చేర్చకండి: అవి సెర్చ్ క్రాలర్‌లు, వాటిని బ్లాక్ చేస్తే మీరు Google Search నుంచి, Apple సెర్చ్ ఫీచర్‌ల నుంచి తొలగిపోతారు. మార్పులు వెంటనే అమలు కావు: సెర్చ్‌కు సుమారు 24 గంటలని OpenAI, 24 గంటల వరకని Perplexity చెబుతాయి.

ఇప్పటికే ఎన్ని సైట్‌లు ఇలా చేస్తున్నాయి?

మీరు ఊహించే దానికంటే తక్కువ. 2026-11-12న Tranco జాబితాలోని 1,000 అత్యంత ప్రజాదరణ పొందిన డొమైన్‌ల robots.txt ఫైల్‌లను మేము చదివాం. robots.txt అందించిన 518 సైట్‌లలో 155 (29.9%) కనీసం ఒక AI ట్రైనింగ్ క్రాలర్‌కు హోమ్ పేజీని నిషేధిస్తాయి. కేవలం 57 (11.0%) మాత్రమే ఎంపిక చేసిన మార్గాన్ని అనుసరిస్తాయి: అవి ట్రైనింగ్ క్రాలర్‌లను బ్లాక్ చేసి, మేము పరీక్షించిన ప్రతి AI సెర్చ్, యూజర్ క్రాలర్‌ను అనుమతిస్తాయి. మొత్తంగా 101 సైట్‌లు (19.5%) కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్‌ను బ్లాక్ చేస్తాయి.

ఒక్కో క్రాలర్ సంఖ్యలూ ఇదే విభజనను చూపిస్తాయి. GPTBot 111 సైట్‌లలో (21.4%), OAI-SearchBot 58 సైట్‌లలో (11.2%) బ్లాక్ అయ్యాయి. ClaudeBot 110 (21.2%), Claude-SearchBot 67 (12.9%) సైట్‌లలో బ్లాక్ అయ్యాయి. Google-Extended 94 (18.1%), Googlebot 14 (2.7%) సైట్‌లలో బ్లాక్ అయ్యాయి. కేవలం 18 సైట్‌లు (3.5%) Content-Signalను ఉపయోగిస్తున్నాయి.

ఈ అధ్యయనం హోమ్ పేజీకి సంబంధించిన robots.txt నియమాలను మాత్రమే చూస్తుంది. ఇది ఫైర్‌వాల్ బ్లాక్‌లను కొలవదు, ప్రతి సైట్ ఉద్దేశం ఏమిటో చూపించదు.

Content-Signal ఏమి జోడిస్తుంది?

Content Signals అనేది contentsignals.orgలో Cloudflare ప్రచురించిన robots.txt ఎక్స్‌టెన్షన్. Content-Signal లైన్ కంటెంట్‌ను ఎలా ఉపయోగించవచ్చో మూడు సిగ్నల్‌లతో చెబుతుంది: search (సెర్చ్ ఇండెక్స్ నిర్మించడం, లింక్‌లు, చిన్న ఎక్సర్ప్ట్‌లు చూపించడం), ai-input (గ్రౌండింగ్ లేదా జనరేటివ్ జవాబుల కోసం రిట్రీవల్ వంటి, కంటెంట్‌ను రియల్ టైమ్‌లో AI మోడల్‌లకు అందించడం), ai-train (మోడల్‌లకు ట్రైనింగ్ లేదా ఫైన్-ట్యూనింగ్).

search నిర్వచనం AI రూపొందించే సెర్చ్ సారాంశాలను మినహాయిస్తుందని గమనించండి. మీరు AI జవాబుల్లో కనిపించాలనుకుంటే, పై ఉదాహరణలో లాగా ai-input=yes కూడా సెట్ చేయండి. Cloudflare managed robots.txt డిఫాల్ట్‌గా search=yes, ai-train=noను జోడిస్తుంది; మీరు వదిలేసిన సిగ్నల్ ఆ వినియోగాన్ని అనుమతించదు, పరిమితం చేయదు.

ఇవి ప్రకటించిన ప్రాధాన్యతలు మాత్రమే. అవి సాంకేతిక స్థాయిలో క్రాలింగ్‌ను ఆపవని Content Signals సైట్ చెబుతుంది, robots.txtను పాటించడం స్వచ్ఛందమని Cloudflare పేర్కొంటుంది. మేము తనిఖీ చేసిన OpenAI, Anthropic, Google, Perplexity క్రాలర్ పేజీలలో ఏదీ అవి Content-Signalను చదువుతాయో లేదో చెప్పదు, కాబట్టి దీన్ని ఒక్కో క్రాలర్ గ్రూప్‌లకు అదనంగా చూడండి, వాటికి బదులుగా కాదు.

ఈ విభజన ఎక్కడ సరిగ్గా పనిచేయదు?

కొన్ని సందర్భాల్లో జాగ్రత్త అవసరం:

ఈ విభజన పనిచేస్తోందని ఎలా తనిఖీ చేయాలి?

ప్రతి క్రాలర్ చదివినట్లుగా మీ robots.txtను చదవండి: దాని పేరు ఉన్న గ్రూప్‌ను కనుగొనండి, అలాంటిది లేకపోతేనే *కు వెళ్లండి, సరిపోలే పొడవైన నియమాన్ని వర్తింపజేయండి. తర్వాత ప్రతి సెర్చ్ క్రాలర్ యూజర్ ఏజెంట్‌తో ఒక పేజీని అభ్యర్థించి, దానికి 403 లేదా ఛాలెంజ్ పేజీ కాకుండా పూర్తి కంటెంట్‌తో 200 వస్తోందని నిర్ధారించుకోండి.

AISeeWhy ట్రైనింగ్, సెర్చ్, యూజర్ ఏజెంట్‌లుగా వర్గీకరించిన 14 క్రాలర్‌లకు ఈ రెండూ చేస్తుంది, అత్యంత సాధారణమైన తప్పును ఫ్లాగ్ చేస్తుంది: ట్రైనింగ్‌ను బ్లాక్ చేయాలనుకుంటూ PerplexityBot లేదా Claude-SearchBot వంటి సెర్చ్ టోకెన్‌ను బ్లాక్ చేయడం.

ఉచిత టూల్స్

తదుపరి దశలు

ఈ వ్యాసంలోని క్రాలర్‌లు

తరచుగా అడిగే ప్రశ్నలు

GPTBotను బ్లాక్ చేస్తే నా సైట్ ChatGPT జవాబుల నుంచి తొలగిపోతుందా?

లేదు. GPTBot ట్రైనింగ్ కోసమని, ప్రతి robots.txt సెట్టింగ్ స్వతంత్రమైనదని OpenAI చెబుతుంది. ChatGPT సెర్చ్ OAI-SearchBotను ఉపయోగిస్తుంది; అది అనుమతించబడి, మీ ఫైర్‌వాల్ దాన్ని బ్లాక్ చేయనంత వరకు, మీ పేజీలు అర్హతతోనే ఉంటాయి.

Google-Extendedను బ్లాక్ చేస్తే నేను AI Overviews నుంచి తొలగిపోతానా?

Google డాక్యుమెంటేషన్ ప్రకారం కాదు. Google-Extended Google Searchలో చేరికను ప్రభావితం చేయదని Google చెబుతుంది, AI Overviews Search ఇండెక్స్‌పై ఆధారపడతాయి. AI Overviews, AI Mode నుంచి సైట్‌ను మినహాయించడానికి Google ప్రత్యేక Search Console నియంత్రణను అందిస్తుంది.

అన్ని AI ట్రైనింగ్‌లను బ్లాక్ చేసే ఒకే లైన్ ఉందా?

ప్రామాణికమైన లైన్ ఏదీ లేదు. Content-Signal: ai-train=no అన్ని క్రాలర్‌లకు ప్రాధాన్యతను తెలియజేస్తుంది, కానీ క్రాలర్ దాన్ని గౌరవిస్తుందా లేదా అనేది దాని నిర్వాహకుడిపై ఆధారపడి ఉంటుంది. ప్రతి ట్రైనింగ్ టోకెన్‌కు పేరు ఉన్న గ్రూప్‌లే డాక్యుమెంట్ చేయబడిన మార్గం.

AI ట్రైనింగ్‌ను ఆపడానికి Perplexityని బ్లాక్ చేయాలా?

తన ఏజెంట్‌లు ట్రైనింగ్ డేటా సేకరణకు ఉపయోగపడవని Perplexity చెబుతుంది. PerplexityBotను బ్లాక్ చేయడం ట్రైనింగ్ ఆప్ట్-అవుట్‌గా పనిచేయకుండానే Perplexity సెర్చ్ ఫలితాల్లో మీ విజిబిలిటీని తగ్గిస్తుంది.

మూలాలు

మరిన్ని వ్యాసాలు