AI క్రాలర్ల కోసం robots.txt: ఏది అనుమతించాలి, ఏది బ్లాక్ చేయాలి
మీకు ముఖ్యమైన ప్రతి AI క్రాలర్కు దాని సొంత User-agent గ్రూప్ ఇవ్వండి. ఉటంకించబడాలనుకుంటే OAI-SearchBot, Claude-SearchBot, PerplexityBot వంటి సెర్చ్ క్రాలర్లను అనుమతించండి, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended వంటి ట్రైనింగ్ టోకెన్ల గురించి విడిగా నిర్ణయించండి. పేరు ఉన్న గ్రూప్ ఆ క్రాలర్కు * గ్రూప్ను భర్తీ చేస్తుంది.
robots.txt 1994 నాటి సాధారణ టెక్స్ట్ ఫైల్, 2022లో RFC 9309 అనే అధికారిక ప్రమాణంగా మారింది. తమ క్రాలర్లు దాన్ని అనుసరిస్తాయని చాలా AI సంస్థలు చెబుతాయి, కొన్ని సెర్చ్కు, ట్రైనింగ్కు వేర్వేరు టోకెన్లను ప్రచురిస్తాయి. అందువల్ల AI విధానాన్ని చెప్పడానికి robots.txt అత్యంత సులభమైన చోటు, నియమాల అర్థం మీరు అనుకున్నదే అయితే.
ఈ పేజీలో
AI క్రాలర్లు ఏ robots.txt టోకెన్లను ఉపయోగిస్తాయి?
సంస్థలు డాక్యుమెంట్ చేసే టోకెన్లు ఇవి. RFC 9309 ప్రకారం సరిపోల్చడం case-insensitive.
- OpenAI:
OAI-SearchBot(ChatGPT సెర్చ్),GPTBot(ట్రైనింగ్),ChatGPT-User(యూజర్ అభ్యర్థించిన సందర్శనలు; robots.txt వర్తించకపోవచ్చని OpenAI చెబుతుంది). - Anthropic:
Claude-SearchBot(సెర్చ్),ClaudeBot(ట్రైనింగ్),Claude-User(యూజర్ అభ్యర్థించిన సందర్శనలు). - Perplexity:
PerplexityBot(సెర్చ్),Perplexity-User(యూజర్ అభ్యర్థించిన సందర్శనలు; ఇది సాధారణంగా robots.txtను విస్మరిస్తుందని Perplexity చెబుతుంది). - Google:
Googlebot(దాని AI ఫీచర్లతో సహా Search),Google-Extended, ఇది సొంత క్రాలర్ లేని టోకెన్, Gemini ట్రైనింగ్లో, గ్రౌండింగ్లో వినియోగాన్ని నియంత్రిస్తుంది. - Apple:
Applebot(Spotlight, Siri, Safari సెర్చ్),Applebot-Extended, ఇది క్రాల్ చేయదు కానీ Apple ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు వినియోగాన్ని నియంత్రిస్తుంది. - Meta:
meta-externalagent(ట్రైనింగ్, ప్రోడక్ట్ ఇండెక్సింగ్),meta-webindexer(Meta AI సెర్చ్). - Common Crawl:
CCBot, ఇది వెబ్ డేటాతో Common Crawl ఉచిత పబ్లిక్ ఆర్కైవ్ను నిర్మిస్తుంది.
మంచి AI robots.txt ఎలా ఉంటుంది?
ఈ ఉదాహరణ AI సెర్చ్ను, యూజర్ ఫెచ్లను లోపలికి అనుమతిస్తుంది, ప్రధాన ట్రైనింగ్ టోకెన్ల నుంచి వైదొలగుతుంది, ఒక ప్రైవేట్ భాగాన్ని అందరికీ మూసి ఉంచుతుంది:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml వరుసగా వచ్చే అనేక User-agent లైన్లు ఒకే గ్రూప్ అవుతాయి, కాబట్టి వాటి కింది నియమాలు ఆ క్రాలర్లలో ప్రతిదానికీ వర్తిస్తాయి. మీ కంటెంట్ ట్రైనింగ్కు ఉపయోగపడాలని మీరు కోరుకుంటే, రెండో గ్రూప్ను తీసేయండి చాలు. Google-Extendedను బ్లాక్ చేయడం Google Searchను ప్రభావితం చేయదు: అది Searchలో చేరికను ప్రభావితం చేయదని, ర్యాంకింగ్ సిగ్నల్ కాదని Google చెబుతుంది. అలాగే, Applebot-Extendedను నిషేధించే పేజీలు కూడా తన సెర్చ్ ఫలితాల్లో కనిపించవచ్చని Apple చెబుతుంది.
ఏ నియమాలు తమకు వర్తిస్తాయో క్రాలర్లు ఎలా ఎంచుకుంటాయి?
RFC 9309 దీన్ని కచ్చితంగా నిర్వచిస్తుంది, చాలా ఆశ్చర్యాలను ఈ వివరాలే వివరిస్తాయి:
- క్రాలర్ తన ప్రోడక్ట్ టోకెన్కు
User-agentసరిపోలే గ్రూప్ కోసం చూస్తుంది, అక్షరాల కేస్ను పట్టించుకోకుండా. అనేక గ్రూప్లు సరిపోలితే, వాటి నియమాలు ఒకటిగా కలపబడతాయి. - ఏ గ్రూప్ సరిపోలకపోతేనే క్రాలర్
User-agent: *గ్రూప్ను అనుసరిస్తుంది. పేరు ఉన్న గ్రూప్*నుంచి ఏమీ వారసత్వంగా పొందదు. - గ్రూప్లో, సరిపోలే పొడవైన పాత్ ఉన్న నియమం గెలుస్తుంది.
/blog/postకోసంAllow: /blog/Disallow: /ను అధిగమిస్తుంది. - ఒక
Allowనియమం, ఒకDisallowనియమం సమాన పొడవుతో సరిపోలితే,Allowను ఉపయోగించాలి. - పాత్లో
*ఏ అక్షరాలకైనా సరిపోతుంది,$ముగింపును సూచిస్తుంది, కాబట్టిDisallow: /*.pdf$ప్రతి PDFను కవర్ చేస్తుంది.
robots.txtలో అత్యంత సాధారణ తప్పులు ఏమిటి?
- పేరు ఉన్న గ్రూప్
*నుంచి వారసత్వంగా పొందుతుందని ఆశించడం. కేవలంAllow: /ఉన్నOAI-SearchBotగ్రూప్*కింద మీరు నిషేధించిన వాటితో సహా ప్రతి పాత్ను తెరుస్తుంది. - HTML పేజీని ఇచ్చే robots.txt చిరునామా, తరచుగా స్టేటస్ 200తో అందించే 404 పేజీ. క్రాలర్లకు అందులో చెల్లుబాటయ్యే నియమాలు దొరకవు.
- సర్వర్ ఎర్రర్ ఇచ్చే robots.txt. అప్పుడు క్రాలర్ మొత్తం సైట్ నిషేధించబడిందని భావించాలని RFC 9309 చెబుతుంది. 404 వేరు: దాని అర్థం ఏ పరిమితులూ లేవని.
- ట్రైనింగ్ను బ్లాక్ చేయాలనుకుంటూ సెర్చ్ టోకెన్ను బ్లాక్ చేయడం, ఉదాహరణకు మోడల్ ట్రైనింగ్ను నివారించడానికి
PerplexityBotలేదాClaude-SearchBotను నిషేధించడం. - యూజర్ అభ్యర్థించిన ఫెచ్లను ఆపడానికి robots.txtపై ఆధారపడటం. తమ యూజర్ ఏజెంట్లు దాన్ని పాటించకపోవచ్చని OpenAI, Perplexity రెండూ చెబుతాయి.
- సబ్డొమైన్లను మర్చిపోవడం. ప్రతి హోస్ట్కు సొంత robots.txt ఉంటుంది; ప్రతి సబ్డొమైన్కు నియమాలు జోడించాలని Anthropic డాక్యుమెంటేషన్ సైట్ యజమానులకు గుర్తు చేస్తుంది.
అనుమతి, నిషేధం కాకుండా AI వినియోగ విధానాన్ని చెప్పవచ్చా?
robots.txt కోసం Cloudflare మూడు సిగ్నల్లతో Content-Signal లైన్ను ప్రతిపాదించింది: search (సెర్చ్ ఇండెక్స్ నిర్మించడం, లింక్లు, చిన్న ఎక్సర్ప్ట్లు చూపించడం), ai-input (AI జవాబుల కోసం కంటెంట్ను రియల్ టైమ్లో ఉపయోగించడం), ai-train (మోడల్లకు ట్రైనింగ్ లేదా ఫైన్-ట్యూనింగ్). Cloudflare managed robots.txt దీన్ని మీ కోసం జోడించగలదు.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txtలోని ప్రతిదానిలాగే, ఇవి ప్రాధాన్యతలు మాత్రమే, సాంకేతిక నియంత్రణలు కావు. robots.txtను పాటించడం స్వచ్ఛందమని Cloudflare స్వయంగా పేర్కొంటుంది. ఈ లైన్ ఐచ్ఛికం, హాని చేయదు, కానీ పైన ఉన్న ఒక్కో క్రాలర్ గ్రూప్లను ఇది భర్తీ చేయదు.
మార్పులకు ఎంత సమయం పడుతుంది, వాటిని ఎలా తనిఖీ చేయాలి?
క్రాలర్లు కాష్ చేసిన robots.txtను 24 గంటలకు మించి ఉపయోగించకూడదని RFC 9309 చెబుతుంది, మార్పులు వర్తించడానికి సుమారు ఒక రోజు పట్టవచ్చని OpenAI, Perplexity రెండూ చెబుతాయి. robots.txt యాక్సెస్ నియంత్రణ కాదని కూడా గుర్తుంచుకోండి: మీ నియమాలు అనుమతించిన క్రాలర్ను కూడా ఫైర్వాల్ బ్లాక్ చేయగలదు.
AISeeWhy తాను పరీక్షించే ప్రతి క్రాలర్ కోసం RFC 9309 ప్రకారం మీ robots.txtను పార్స్ చేస్తుంది, చేరుకోలేని లేదా HTMLగా అందించే ఫైల్లను ఫ్లాగ్ చేస్తుంది, మీ నియమాలు, మీ సర్వర్ ఎక్కడ విభేదిస్తాయో చూపిస్తుంది, మార్పు కోసం సిద్ధమైన diffను ఇస్తుంది.
ఈ సమస్యకు పరిష్కారాలు
- robots.txt GPTBotను అనుమతిస్తోంది, కానీ సర్వర్ బ్లాక్ చేస్తోంది
- robots.txt OAI-SearchBotను నిషేధిస్తోంది
- robots.txt ఒక HTML పేజీ
- robots.txtలో Content-Signal లేదు
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
GPTBot లేదా ClaudeBotను బ్లాక్ చేస్తే AI జవాబుల్లో నా విజిబిలిటీ దెబ్బతింటుందా?
నేరుగా కాదు. రెండు సంస్థలూ సెర్చ్ కోసం OAI-SearchBot, Claude-SearchBot అనే వేర్వేరు సెర్చ్ క్రాలర్లను ఉపయోగిస్తాయి. ట్రైనింగ్ క్రాలర్ను బ్లాక్ చేయడం విధానపరమైన ఎంపిక.
Google-Extended AI Overviewsను ఆపుతుందా?
లేదు. Searchలోని AI ఫీచర్లు Googlebotను, nosnippet, noindex వంటి సాధారణ Search నియంత్రణలను ఉపయోగిస్తాయని Google చెబుతుంది. Google-Extended ఇతర Google ప్రోడక్ట్లలో Gemini ట్రైనింగ్ను, గ్రౌండింగ్ను కవర్ చేస్తుంది, Searchను ప్రభావితం చేయదు.
AI క్రాలర్లు Crawl-delayకు మద్దతిస్తాయా?
అది RFC 9309లో భాగం కాదు. ప్రామాణికం కాని ఎక్స్టెన్షన్గా Crawl-delayకు మద్దతిస్తామని Anthropic చెబుతుంది; ఇతర సంస్థల కోసం వాటి డాక్యుమెంటేషన్ చూడండి.
robots.txt ఎక్కడ ఉండాలి?
ప్రతి హోస్ట్ రూట్లో, ఉదాహరణకు https://example.com/robots.txt. సబ్ఫోల్డర్లోని ఫైల్ విస్మరించబడుతుంది, ప్రతి సబ్డొమైన్కు సొంత ఫైల్ అవసరం.
మూలాలు
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI క్రాలర్ల అవలోకనం
- Google: Google-Extendedతో సహా సాధారణ క్రాలర్లు
- Apple: Applebot గురించి
- Cloudflare: Managed robots.txt, Content Signals