అత్యంత ప్రసిద్ధ 10,000 సైట్ల robots.txt చదివాము. AI క్రాలర్ల విషయంలో అవి ఏం చేస్తున్నాయో ఇదిగో

ప్రచురించినది

చిన్న జవాబు

Tranco టాప్ 10,000లో robots.txt అందించే 6,192 డొమైన్లలో, 23.2% కనీసం ఒక AI ట్రైనింగ్ క్రాలర్‌ను నిరోధిస్తున్నాయి, 12.3% కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్‌ను నిరోధిస్తున్నాయి. ట్రైనింగ్‌ను నిరోధించే సైట్లలో 51.6% AI సెర్చ్‌ను కూడా నిరోధిస్తున్నాయి. అన్ని AI సెర్చ్ క్రాలర్లను అనుమతిస్తూ ట్రైనింగ్ నుంచి మాత్రమే వైదొలిగేవి కేవలం 11.2%.

నవంబర్‌లో అత్యంత ప్రసిద్ధ 1,000 డొమైన్ల robots.txt చదివాము. ఈసారి అదే పద్ధతిలో 10,000 చదివాము, సైట్లు చిన్నవి అయ్యేకొద్దీ చిత్రం ఎలా మారుతుందో కూడా పరిశీలించాము. ప్రధాన నిర్ధారణ మారలేదు: ట్రైనింగ్‌ను నిరోధించడం, సెర్చ్‌ను నిరోధించడం రెండు వేర్వేరు నిర్ణయాలు అయినా, వాటిని ఒకటిగానే చూస్తున్నారు.

ఈ పేజీలో
  1. దీన్ని ఎలా కొలిచాము?
  2. ఏం కనుగొన్నాము?
  3. ఏ క్రాలర్లను ఎక్కువగా నిరోధిస్తున్నారు?
  4. పెద్ద సైట్లు ఎక్కువగా నిరోధిస్తాయా?
  5. మా నవంబర్ 12 నివేదిక తర్వాత ఏమైనా మారిందా?
  6. మీ robots.txtకి దీని అర్థం ఏమిటి?
  7. ఈ సంఖ్యలు ఎంత నమ్మదగినవి?

దీన్ని ఎలా కొలిచాము?

Tranco జాబితాలోని టాప్ 10,000 డొమైన్లను (జాబితా ID JZWZY) తీసుకుని, 2026 నవంబర్ 21న AISeeWhy స్వంత user agentతో ప్రతి డొమైన్ హోమ్ పేజీని, robots.txtని, llms.txtని ఒక్కసారి తెచ్చాము. ప్రతి robots.txtని RFC 9309 ప్రకారం హోమ్ పేజీ (/) కోసం, 16 AI మరియు సెర్చ్ క్రాలర్ల కోసం విశ్లేషించాము.

10,000 డొమైన్లలో 6,192 robots.txt అందించాయి (HTML పేజీ కాని విజయవంతమైన సమాధానం). 1,121 4xx సమాధానం ఇచ్చాయి, అంటే నియమాలు లేవు, అన్ని క్రాలర్లకు అనుమతి ఉంది. 2,687 అసలు అందించలేదు (HTTPS సైట్ లేకపోవడం, ఎర్రర్లు, టైమ్‌అవుట్లు, లేదా బదులుగా HTML పేజీ). కింది శాతాలన్నీ ఆ 6,192లో లెక్కించినవే. జాబితాలో వెబ్‌సైట్ లేని CDNలు, APIలు కూడా ఉన్నాయి.

ఏం కనుగొన్నాము?

ఏ క్రాలర్లను ఎక్కువగా నిరోధిస్తున్నారు?

హోమ్ పేజీని ఆ క్రాలర్‌కు disallow చేసిన robots.txt ఉన్న 6,192 డొమైన్లలో శాతం:

పెద్ద సైట్లు ఎక్కువగా నిరోధిస్తాయా?

అవును, పైగా అవి ట్రైనింగ్‌ను, సెర్చ్‌ను తరచుగా కలిపి చూస్తాయి. జాబితాను ర్యాంక్ ప్రకారం విభజించాము:

ఎంపిక చేసిన మార్గం ప్రతి పరిమాణంలోనూ అరుదే: మూడు సమూహాల్లో వరుసగా 10.5%, 10.4%, 11.5% డొమైన్లు.

మా నవంబర్ 12 నివేదిక తర్వాత ఏమైనా మారిందా?

అదే జాబితాతో మొదటి 1,000 డొమైన్లను మళ్లీ పరీక్షించాము. ఫలితం సుమారు ఒక పాయింట్ పరిధిలో స్థిరంగా ఉంది: 28.6% ట్రైనింగ్‌ను నిరోధిస్తున్నాయి (నవంబర్ 12న 29.9%), 18.6% AI సెర్చ్‌ను నిరోధిస్తున్నాయి (19.5%), ట్రైనింగ్‌ను నిరోధించేవాటిలో 63.1% AI సెర్చ్‌ను కూడా నిరోధిస్తున్నాయి (63.2%). హారం సంఖ్యలు కొద్దిగా భిన్నం (ఇప్పుడు robots.txt ఉన్న డొమైన్లు 560, అప్పుడు 518), ఎందుకంటే ఈసారి తెచ్చే ముందు డొమైన్ రీడైరెక్ట్‌ను అనుసరించి దాని ప్రధాన హోస్ట్‌కు వెళ్లాము.

మీ robots.txtకి దీని అర్థం ఏమిటి?

చాలా AI కంపెనీలు ట్రైనింగ్‌కు, సెర్చ్‌కు వేర్వేరు క్రాలర్లను డాక్యుమెంట్ చేస్తాయి, ఆ సెట్టింగ్‌లు స్వతంత్రమని చెబుతాయి. GPTBotను disallow చేస్తే OAI-SearchBotపై ప్రభావం ఉండదు, ClaudeBotను disallow చేస్తే Claude-SearchBotపై ప్రభావం ఉండదు. ట్రైనింగ్ నుంచి వైదొలగాలి కానీ ప్రస్తావనలు కొనసాగాలి అంటే, ట్రైనింగ్ టోకెన్లను నిరోధించి, సెర్చ్, యూజర్ టోకెన్లను అనుమతించండి. ప్రైవేట్ పాత్‌లు ఉంటే ప్రతి గ్రూప్‌లోనూ మళ్లీ రాయండి, ఎందుకంటే పేరు పెట్టిన గ్రూప్ * నుంచి ఏదీ వారసత్వంగా తీసుకోదు.

ఈ సంఖ్యలు ఎంత నమ్మదగినవి?

ఇవి హోమ్ పేజీకి సంబంధించిన robots.txt నియమాలు, ఒక రోజున ఒక పార్సర్‌తో చదివినవి. robots.txt అనుమతించిన క్రాలర్‌ను కూడా తిరస్కరించగల ఫైర్‌వాల్ బ్లాక్‌లను ఇవి కొలవవు. ప్రతి సైట్ ఉద్దేశం ఏమిటో చెప్పలేవు, పైగా Tranco జాబితాలో వెబ్‌సైట్ లేని డొమైన్లు కూడా ఉన్నాయి. సెర్చ్ క్రాలర్‌ను నిరోధించే నియమం పొరపాటుకు రుజువు కాదు; తేడా తెలియకుండానే తరచుగా తీసుకునే ఎంపికకు సూచన మాత్రమే. ఈ పేజీకి లింక్ ఇచ్చి గణాంకాలను ఉటంకించవచ్చు.

ఉచిత టూల్స్

తదుపరి దశలు

ఈ వ్యాసంలోని క్రాలర్‌లు

తరచుగా అడిగే ప్రశ్నలు

ప్రసిద్ధ సైట్లలో ఎంత శాతం AI క్రాలర్లను నిరోధిస్తున్నాయి?

Tranco టాప్ 10,000లో robots.txt అందించే 6,192 డొమైన్లలో, 23.2% కనీసం ఒక AI ట్రైనింగ్ క్రాలర్‌ను, 12.3% కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్‌ను నిరోధిస్తున్నాయి.

AI ట్రైనింగ్‌ను నిరోధించే సైట్లు AI సెర్చ్‌ను కూడా నిరోధిస్తాయా?

తరచుగా. ట్రైనింగ్ క్రాలర్‌ను నిరోధించే సైట్లలో 51.6% కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్‌ను కూడా నిరోధిస్తున్నాయి, అయినా అవి స్వతంత్ర సెట్టింగ్‌లు ఉన్న వేర్వేరు క్రాలర్లని సంస్థలు డాక్యుమెంట్ చేశాయి.

ఏ AI క్రాలర్‌ను ఎక్కువగా నిరోధిస్తున్నారు?

ట్రైనింగ్ క్రాలర్లలో Bytespider (18.7%), CCBot (18.5%), ఆ తర్వాత GPTBot (17.4%). AI సెర్చ్ క్రాలర్లలో PerplexityBotను ఎక్కువగా, 10.4% డొమైన్లలో నిరోధిస్తున్నారు.

మీ 1,000 సైట్ల నివేదికకు, దీనికి సంఖ్యలు ఎందుకు భిన్నం?

మొదటి 1,000 డొమైన్లు దాదాపు అవే శాతాలు ఇస్తాయి (29.9%, 19.5%కి బదులు 28.6%, 18.6%). చిన్న సైట్లు తక్కువగా నిరోధిస్తాయి కాబట్టి 10,000 సైట్ల గణాంకాలు తక్కువగా ఉన్నాయి.

మూలాలు

మరిన్ని వ్యాసాలు