అత్యంత ప్రసిద్ధ 10,000 సైట్ల robots.txt చదివాము. AI క్రాలర్ల విషయంలో అవి ఏం చేస్తున్నాయో ఇదిగో
Tranco టాప్ 10,000లో robots.txt అందించే 6,192 డొమైన్లలో, 23.2% కనీసం ఒక AI ట్రైనింగ్ క్రాలర్ను నిరోధిస్తున్నాయి, 12.3% కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను నిరోధిస్తున్నాయి. ట్రైనింగ్ను నిరోధించే సైట్లలో 51.6% AI సెర్చ్ను కూడా నిరోధిస్తున్నాయి. అన్ని AI సెర్చ్ క్రాలర్లను అనుమతిస్తూ ట్రైనింగ్ నుంచి మాత్రమే వైదొలిగేవి కేవలం 11.2%.
నవంబర్లో అత్యంత ప్రసిద్ధ 1,000 డొమైన్ల robots.txt చదివాము. ఈసారి అదే పద్ధతిలో 10,000 చదివాము, సైట్లు చిన్నవి అయ్యేకొద్దీ చిత్రం ఎలా మారుతుందో కూడా పరిశీలించాము. ప్రధాన నిర్ధారణ మారలేదు: ట్రైనింగ్ను నిరోధించడం, సెర్చ్ను నిరోధించడం రెండు వేర్వేరు నిర్ణయాలు అయినా, వాటిని ఒకటిగానే చూస్తున్నారు.
ఈ పేజీలో
దీన్ని ఎలా కొలిచాము?
Tranco జాబితాలోని టాప్ 10,000 డొమైన్లను (జాబితా ID JZWZY) తీసుకుని, 2026 నవంబర్ 21న AISeeWhy స్వంత user agentతో ప్రతి డొమైన్ హోమ్ పేజీని, robots.txtని, llms.txtని ఒక్కసారి తెచ్చాము. ప్రతి robots.txtని RFC 9309 ప్రకారం హోమ్ పేజీ (/) కోసం, 16 AI మరియు సెర్చ్ క్రాలర్ల కోసం విశ్లేషించాము.
10,000 డొమైన్లలో 6,192 robots.txt అందించాయి (HTML పేజీ కాని విజయవంతమైన సమాధానం). 1,121 4xx సమాధానం ఇచ్చాయి, అంటే నియమాలు లేవు, అన్ని క్రాలర్లకు అనుమతి ఉంది. 2,687 అసలు అందించలేదు (HTTPS సైట్ లేకపోవడం, ఎర్రర్లు, టైమ్అవుట్లు, లేదా బదులుగా HTML పేజీ). కింది శాతాలన్నీ ఆ 6,192లో లెక్కించినవే. జాబితాలో వెబ్సైట్ లేని CDNలు, APIలు కూడా ఉన్నాయి.
ఏం కనుగొన్నాము?
- 23.2% (1,437 డొమైన్లు) కనీసం ఒక AI ట్రైనింగ్ క్రాలర్ను నిరోధిస్తున్నాయి.
- 12.3% (762) కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను నిరోధిస్తున్నాయి, అంటే దానిపై ఆధారపడే సమాధానాల్లో ఆ పేజీలను వాడకూడదు, ప్రస్తావించకూడదు.
- ట్రైనింగ్ క్రాలర్ను నిరోధించే డొమైన్లలో 51.6% (1,437లో 742) కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను కూడా నిరోధిస్తున్నాయి.
- కేవలం 11.2% (695) ఎంపిక చేసిన మార్గం తీసుకుంటున్నాయి: ట్రైనింగ్ క్రాలర్లను నిరోధించి, అన్ని AI సెర్చ్, యూజర్ క్రాలర్లను అనుమతిస్తున్నాయి.
- 6.5% (401) తమ AI ప్రాధాన్యతలను
Content-Signalద్వారా తెలియజేస్తున్నాయి. - మొత్తం 10,000 డొమైన్లలో 12.4% (1,240)
llms.txtప్రచురిస్తున్నాయి. - పోలిక కోసం, 2.0% (124) హోమ్ పేజీలో
Googlebotను నిరోధిస్తున్నాయి.
ఏ క్రాలర్లను ఎక్కువగా నిరోధిస్తున్నారు?
హోమ్ పేజీని ఆ క్రాలర్కు disallow చేసిన robots.txt ఉన్న 6,192 డొమైన్లలో శాతం:
- ట్రైనింగ్ క్రాలర్లలో ముందున్నవి
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%. - ఆ తర్వాత వరుసగా
Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%. PerplexityBot10.4% అనేది ఎక్కువగా నిరోధించే AI సెర్చ్ క్రాలర్; తర్వాతOAI-SearchBot7.0%,Claude-SearchBot7.0%.- ఎవరైనా అడిగినప్పుడు పేజీని తెరిచే క్రాలర్లు:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%.
పెద్ద సైట్లు ఎక్కువగా నిరోధిస్తాయా?
అవును, పైగా అవి ట్రైనింగ్ను, సెర్చ్ను తరచుగా కలిపి చూస్తాయి. జాబితాను ర్యాంక్ ప్రకారం విభజించాము:
- ర్యాంక్ 1 నుంచి 1,000 (robots.txt ఉన్న 560 డొమైన్లు): 28.6% ట్రైనింగ్ను నిరోధిస్తున్నాయి, 18.6% AI సెర్చ్ను నిరోధిస్తున్నాయి, ట్రైనింగ్ను నిరోధించేవాటిలో 63.1% AI సెర్చ్ను కూడా నిరోధిస్తున్నాయి.
- ర్యాంక్ 1,001 నుంచి 3,000 (1,256 డొమైన్లు): 23.5%, 13.5%, 55.6%.
- ర్యాంక్ 3,001 నుంచి 10,000 (4,376 డొమైన్లు): 22.4%, 11.2%, 48.6%.
ఎంపిక చేసిన మార్గం ప్రతి పరిమాణంలోనూ అరుదే: మూడు సమూహాల్లో వరుసగా 10.5%, 10.4%, 11.5% డొమైన్లు.
మా నవంబర్ 12 నివేదిక తర్వాత ఏమైనా మారిందా?
అదే జాబితాతో మొదటి 1,000 డొమైన్లను మళ్లీ పరీక్షించాము. ఫలితం సుమారు ఒక పాయింట్ పరిధిలో స్థిరంగా ఉంది: 28.6% ట్రైనింగ్ను నిరోధిస్తున్నాయి (నవంబర్ 12న 29.9%), 18.6% AI సెర్చ్ను నిరోధిస్తున్నాయి (19.5%), ట్రైనింగ్ను నిరోధించేవాటిలో 63.1% AI సెర్చ్ను కూడా నిరోధిస్తున్నాయి (63.2%). హారం సంఖ్యలు కొద్దిగా భిన్నం (ఇప్పుడు robots.txt ఉన్న డొమైన్లు 560, అప్పుడు 518), ఎందుకంటే ఈసారి తెచ్చే ముందు డొమైన్ రీడైరెక్ట్ను అనుసరించి దాని ప్రధాన హోస్ట్కు వెళ్లాము.
మీ robots.txtకి దీని అర్థం ఏమిటి?
చాలా AI కంపెనీలు ట్రైనింగ్కు, సెర్చ్కు వేర్వేరు క్రాలర్లను డాక్యుమెంట్ చేస్తాయి, ఆ సెట్టింగ్లు స్వతంత్రమని చెబుతాయి. GPTBotను disallow చేస్తే OAI-SearchBotపై ప్రభావం ఉండదు, ClaudeBotను disallow చేస్తే Claude-SearchBotపై ప్రభావం ఉండదు. ట్రైనింగ్ నుంచి వైదొలగాలి కానీ ప్రస్తావనలు కొనసాగాలి అంటే, ట్రైనింగ్ టోకెన్లను నిరోధించి, సెర్చ్, యూజర్ టోకెన్లను అనుమతించండి. ప్రైవేట్ పాత్లు ఉంటే ప్రతి గ్రూప్లోనూ మళ్లీ రాయండి, ఎందుకంటే పేరు పెట్టిన గ్రూప్ * నుంచి ఏదీ వారసత్వంగా తీసుకోదు.
ఈ సంఖ్యలు ఎంత నమ్మదగినవి?
ఇవి హోమ్ పేజీకి సంబంధించిన robots.txt నియమాలు, ఒక రోజున ఒక పార్సర్తో చదివినవి. robots.txt అనుమతించిన క్రాలర్ను కూడా తిరస్కరించగల ఫైర్వాల్ బ్లాక్లను ఇవి కొలవవు. ప్రతి సైట్ ఉద్దేశం ఏమిటో చెప్పలేవు, పైగా Tranco జాబితాలో వెబ్సైట్ లేని డొమైన్లు కూడా ఉన్నాయి. సెర్చ్ క్రాలర్ను నిరోధించే నియమం పొరపాటుకు రుజువు కాదు; తేడా తెలియకుండానే తరచుగా తీసుకునే ఎంపికకు సూచన మాత్రమే. ఈ పేజీకి లింక్ ఇచ్చి గణాంకాలను ఉటంకించవచ్చు.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- llms.txt చెకర్, వ్యాలిడేటర్
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
ప్రసిద్ధ సైట్లలో ఎంత శాతం AI క్రాలర్లను నిరోధిస్తున్నాయి?
Tranco టాప్ 10,000లో robots.txt అందించే 6,192 డొమైన్లలో, 23.2% కనీసం ఒక AI ట్రైనింగ్ క్రాలర్ను, 12.3% కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను నిరోధిస్తున్నాయి.
AI ట్రైనింగ్ను నిరోధించే సైట్లు AI సెర్చ్ను కూడా నిరోధిస్తాయా?
తరచుగా. ట్రైనింగ్ క్రాలర్ను నిరోధించే సైట్లలో 51.6% కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను కూడా నిరోధిస్తున్నాయి, అయినా అవి స్వతంత్ర సెట్టింగ్లు ఉన్న వేర్వేరు క్రాలర్లని సంస్థలు డాక్యుమెంట్ చేశాయి.
ఏ AI క్రాలర్ను ఎక్కువగా నిరోధిస్తున్నారు?
ట్రైనింగ్ క్రాలర్లలో Bytespider (18.7%), CCBot (18.5%), ఆ తర్వాత GPTBot (17.4%). AI సెర్చ్ క్రాలర్లలో PerplexityBotను ఎక్కువగా, 10.4% డొమైన్లలో నిరోధిస్తున్నారు.
మీ 1,000 సైట్ల నివేదికకు, దీనికి సంఖ్యలు ఎందుకు భిన్నం?
మొదటి 1,000 డొమైన్లు దాదాపు అవే శాతాలు ఇస్తాయి (29.9%, 19.5%కి బదులు 28.6%, 18.6%). చిన్న సైట్లు తక్కువగా నిరోధిస్తాయి కాబట్టి 10,000 సైట్ల గణాంకాలు తక్కువగా ఉన్నాయి.
మూలాలు
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: పరిశోధన ఆధారిత టాప్ సైట్ల ర్యాంకింగ్
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI క్రాలర్ల అవలోకనం
- Anthropic: Anthropic వెబ్ నుంచి డేటా క్రాల్ చేస్తుందా, సైట్ యజమానులు క్రాలర్ను ఎలా నిరోధించవచ్చు?
- Perplexity: Perplexity క్రాలర్లు