AI క్రాలర్‌ల కోసం robots.txt: ఏది అనుమతించాలి, ఏది బ్లాక్ చేయాలి

ప్రచురించినది

చిన్న జవాబు

మీకు ముఖ్యమైన ప్రతి AI క్రాలర్‌కు దాని సొంత User-agent గ్రూప్ ఇవ్వండి. ఉటంకించబడాలనుకుంటే OAI-SearchBot, Claude-SearchBot, PerplexityBot వంటి సెర్చ్ క్రాలర్‌లను అనుమతించండి, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended వంటి ట్రైనింగ్ టోకెన్‌ల గురించి విడిగా నిర్ణయించండి. పేరు ఉన్న గ్రూప్ ఆ క్రాలర్‌కు * గ్రూప్‌ను భర్తీ చేస్తుంది.

robots.txt 1994 నాటి సాధారణ టెక్స్ట్ ఫైల్, 2022లో RFC 9309 అనే అధికారిక ప్రమాణంగా మారింది. తమ క్రాలర్‌లు దాన్ని అనుసరిస్తాయని చాలా AI సంస్థలు చెబుతాయి, కొన్ని సెర్చ్‌కు, ట్రైనింగ్‌కు వేర్వేరు టోకెన్‌లను ప్రచురిస్తాయి. అందువల్ల AI విధానాన్ని చెప్పడానికి robots.txt అత్యంత సులభమైన చోటు, నియమాల అర్థం మీరు అనుకున్నదే అయితే.

ఈ పేజీలో
  1. AI క్రాలర్‌లు ఏ robots.txt టోకెన్‌లను ఉపయోగిస్తాయి?
  2. మంచి AI robots.txt ఎలా ఉంటుంది?
  3. ఏ నియమాలు తమకు వర్తిస్తాయో క్రాలర్‌లు ఎలా ఎంచుకుంటాయి?
  4. robots.txtలో అత్యంత సాధారణ తప్పులు ఏమిటి?
  5. అనుమతి, నిషేధం కాకుండా AI వినియోగ విధానాన్ని చెప్పవచ్చా?
  6. మార్పులకు ఎంత సమయం పడుతుంది, వాటిని ఎలా తనిఖీ చేయాలి?

AI క్రాలర్‌లు ఏ robots.txt టోకెన్‌లను ఉపయోగిస్తాయి?

సంస్థలు డాక్యుమెంట్ చేసే టోకెన్‌లు ఇవి. RFC 9309 ప్రకారం సరిపోల్చడం case-insensitive.

మంచి AI robots.txt ఎలా ఉంటుంది?

ఈ ఉదాహరణ AI సెర్చ్‌ను, యూజర్ ఫెచ్‌లను లోపలికి అనుమతిస్తుంది, ప్రధాన ట్రైనింగ్ టోకెన్‌ల నుంచి వైదొలగుతుంది, ఒక ప్రైవేట్ భాగాన్ని అందరికీ మూసి ఉంచుతుంది:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

వరుసగా వచ్చే అనేక User-agent లైన్‌లు ఒకే గ్రూప్ అవుతాయి, కాబట్టి వాటి కింది నియమాలు ఆ క్రాలర్‌లలో ప్రతిదానికీ వర్తిస్తాయి. మీ కంటెంట్ ట్రైనింగ్‌కు ఉపయోగపడాలని మీరు కోరుకుంటే, రెండో గ్రూప్‌ను తీసేయండి చాలు. Google-Extendedను బ్లాక్ చేయడం Google Searchను ప్రభావితం చేయదు: అది Searchలో చేరికను ప్రభావితం చేయదని, ర్యాంకింగ్ సిగ్నల్ కాదని Google చెబుతుంది. అలాగే, Applebot-Extendedను నిషేధించే పేజీలు కూడా తన సెర్చ్ ఫలితాల్లో కనిపించవచ్చని Apple చెబుతుంది.

ఏ నియమాలు తమకు వర్తిస్తాయో క్రాలర్‌లు ఎలా ఎంచుకుంటాయి?

RFC 9309 దీన్ని కచ్చితంగా నిర్వచిస్తుంది, చాలా ఆశ్చర్యాలను ఈ వివరాలే వివరిస్తాయి:

robots.txtలో అత్యంత సాధారణ తప్పులు ఏమిటి?

అనుమతి, నిషేధం కాకుండా AI వినియోగ విధానాన్ని చెప్పవచ్చా?

robots.txt కోసం Cloudflare మూడు సిగ్నల్‌లతో Content-Signal లైన్‌ను ప్రతిపాదించింది: search (సెర్చ్ ఇండెక్స్ నిర్మించడం, లింక్‌లు, చిన్న ఎక్సర్ప్ట్‌లు చూపించడం), ai-input (AI జవాబుల కోసం కంటెంట్‌ను రియల్ టైమ్‌లో ఉపయోగించడం), ai-train (మోడల్‌లకు ట్రైనింగ్ లేదా ఫైన్-ట్యూనింగ్). Cloudflare managed robots.txt దీన్ని మీ కోసం జోడించగలదు.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txtలోని ప్రతిదానిలాగే, ఇవి ప్రాధాన్యతలు మాత్రమే, సాంకేతిక నియంత్రణలు కావు. robots.txtను పాటించడం స్వచ్ఛందమని Cloudflare స్వయంగా పేర్కొంటుంది. ఈ లైన్ ఐచ్ఛికం, హాని చేయదు, కానీ పైన ఉన్న ఒక్కో క్రాలర్ గ్రూప్‌లను ఇది భర్తీ చేయదు.

మార్పులకు ఎంత సమయం పడుతుంది, వాటిని ఎలా తనిఖీ చేయాలి?

క్రాలర్‌లు కాష్ చేసిన robots.txtను 24 గంటలకు మించి ఉపయోగించకూడదని RFC 9309 చెబుతుంది, మార్పులు వర్తించడానికి సుమారు ఒక రోజు పట్టవచ్చని OpenAI, Perplexity రెండూ చెబుతాయి. robots.txt యాక్సెస్ నియంత్రణ కాదని కూడా గుర్తుంచుకోండి: మీ నియమాలు అనుమతించిన క్రాలర్‌ను కూడా ఫైర్‌వాల్ బ్లాక్ చేయగలదు.

AISeeWhy తాను పరీక్షించే ప్రతి క్రాలర్ కోసం RFC 9309 ప్రకారం మీ robots.txtను పార్స్ చేస్తుంది, చేరుకోలేని లేదా HTMLగా అందించే ఫైల్‌లను ఫ్లాగ్ చేస్తుంది, మీ నియమాలు, మీ సర్వర్ ఎక్కడ విభేదిస్తాయో చూపిస్తుంది, మార్పు కోసం సిద్ధమైన diffను ఇస్తుంది.

ఈ సమస్యకు పరిష్కారాలు

ఉచిత టూల్స్

తదుపరి దశలు

ఈ వ్యాసంలోని క్రాలర్‌లు

తరచుగా అడిగే ప్రశ్నలు

GPTBot లేదా ClaudeBotను బ్లాక్ చేస్తే AI జవాబుల్లో నా విజిబిలిటీ దెబ్బతింటుందా?

నేరుగా కాదు. రెండు సంస్థలూ సెర్చ్ కోసం OAI-SearchBot, Claude-SearchBot అనే వేర్వేరు సెర్చ్ క్రాలర్‌లను ఉపయోగిస్తాయి. ట్రైనింగ్ క్రాలర్‌ను బ్లాక్ చేయడం విధానపరమైన ఎంపిక.

Google-Extended AI Overviewsను ఆపుతుందా?

లేదు. Searchలోని AI ఫీచర్‌లు Googlebotను, nosnippet, noindex వంటి సాధారణ Search నియంత్రణలను ఉపయోగిస్తాయని Google చెబుతుంది. Google-Extended ఇతర Google ప్రోడక్ట్‌లలో Gemini ట్రైనింగ్‌ను, గ్రౌండింగ్‌ను కవర్ చేస్తుంది, Searchను ప్రభావితం చేయదు.

AI క్రాలర్‌లు Crawl-delayకు మద్దతిస్తాయా?

అది RFC 9309లో భాగం కాదు. ప్రామాణికం కాని ఎక్స్‌టెన్షన్‌గా Crawl-delayకు మద్దతిస్తామని Anthropic చెబుతుంది; ఇతర సంస్థల కోసం వాటి డాక్యుమెంటేషన్ చూడండి.

robots.txt ఎక్కడ ఉండాలి?

ప్రతి హోస్ట్ రూట్‌లో, ఉదాహరణకు https://example.com/robots.txt. సబ్‌ఫోల్డర్‌లోని ఫైల్ విస్మరించబడుతుంది, ప్రతి సబ్‌డొమైన్‌కు సొంత ఫైల్ అవసరం.

మూలాలు

మరిన్ని వ్యాసాలు