పది బిజినెస్ వెబ్సైట్లలో నాలుగు AI క్రాలర్లను అడ్డుకుంటున్నాయి
US, UK, ఫ్రాన్స్లోని 165 బిజినెస్ వెబ్సైట్లపై మా ఆడిట్లో, 38% సైట్లు కనీసం ఒక AI క్రాలర్ను సర్వర్ స్థాయిలోనే అడ్డుకున్నాయి. అది దాదాపు ఎప్పుడూ ట్రైనింగ్ లేదా స్క్రాపర్ బాట్ అయ్యింది. సుమారు పది సైట్లలో ఒకటి, సైటేషన్కు దారితీయగల PerplexityBot లేదా OAI-SearchBot వంటి AI సెర్చ్ క్రాలర్ను కూడా తిరస్కరించింది. ప్రతి క్రాలర్కు ఒక రిక్వెస్ట్తో మీ సైట్ను చెక్ చేయండి.
మీ సొంత ప్రొడక్ట్ గురించి ChatGPTని అడిగితే అది ఒక పోటీదారును, ఒక రివ్యూ సైట్ను, ఒక ఫోరమ్ థ్రెడ్ను చెబుతుంది. కొన్నిసార్లు ఇది కంటెంట్ సమస్య. చాలాసార్లు, AI క్రాలర్లకు ఫైర్వాల్ "నో" అని చెప్పడమే కారణం. బ్రౌజర్లో సైట్ బాగా పనిచేస్తుంది కాబట్టి మీ టీమ్లో ఎవరూ దీన్ని గమనించి ఉండరు.
ఈ పేజీలో
మేము ఏమి పరీక్షించాం?
ఒకే అడ్రస్ నుంచి ఒక పేజీని అనేకసార్లు రిక్వెస్ట్ చేస్తాం: ఒకసారి సాధారణ బ్రౌజర్గా, మరోసారి 14 AI, సెర్చ్ క్రాలర్లలో ఒక్కొక్కటిగా. వీటిలో OpenAI నుంచి GPTBot, OAI-SearchBot, ChatGPT-User, Anthropic నుంచి ClaudeBot, Claude-SearchBot, Perplexity నుంచి PerplexityBot ఉన్నాయి. బ్రౌజర్కు పేజీ వచ్చి, క్రాలర్కు 401, 403, 406, 429, 451, 503 లేదా ఛాలెంజ్ పేజీ వస్తే, ఆ సైట్ ఆ క్రాలర్ను అడ్డుకుంటున్నట్లే.
నమూనాలో US, UK, ఫ్రాన్స్లోని 218 బిజినెస్ వెబ్సైట్లు ఉన్నాయి. వాటిని 2026 నవంబర్ 18 నుంచి 21 వరకు ఆడిట్ చేశాం. 165 సైట్లపై పూర్తి పరీక్ష చేయగలిగాం. మిగిలిన 53 సైట్లు మా సాధారణ బ్రౌజర్ రిక్వెస్ట్ను కూడా తిరస్కరించాయి లేదా స్పందించలేదు. అందుకే అంచనా వేయకుండా వాటిని వదిలేశాం.
మేము ఏమి కనుగొన్నాం?
- పరీక్షించగలిగిన సైట్లలో 38% (165లో 63) కనీసం ఒక AI క్రాలర్ను అడ్డుకున్నాయి.
- ఆ సైట్లన్నీ కనీసం ఒక ట్రైనింగ్ లేదా స్క్రాపర్ క్రాలర్ను తిరస్కరించాయి. అన్ని సైట్లలో
Bytespiderను 35%,ClaudeBotను 13%,GPTBotను 11% తిరస్కరించాయి. - 10% సైట్లు (16) కనీసం ఒక AI సెర్చ్ క్రాలర్ను కూడా తిరస్కరించాయి, 5% (8) యూజర్ అసిస్టెంట్ను అడిగినప్పుడు పేజీని లైవ్గా తెరిచే క్రాలర్ను తిరస్కరించాయి.
- అత్యంత ముఖ్యమైన సెర్చ్ క్రాలర్లు
PerplexityBot(11 సైట్లు),OAI-SearchBot(5 సైట్లు). - మేము పరీక్షించిన క్రాలర్లలో ఏదైనా తిరస్కరించిన 66 సైట్లలో 32 వెనుక Cloudflare ఉంది. మరో 30 సైట్లలో ఏ ఫైర్వాల్ స్పందించిందో చెప్పలేకపోయాం.
ఇది ఎందుకు జరుగుతుంది, ఎప్పుడు ఇది ఎంపిక?
ఇందులో చాలావరకు ఉద్దేశపూర్వకమే కావచ్చు. చాలామంది యజమానులు తమ కంటెంట్ మోడళ్ల ట్రైనింగ్కు వాడబడటాన్ని కోరరు, స్క్రాపర్లను ఆపే బాట్ ప్రొటెక్షన్ సెట్టింగ్లను ఆన్ చేయడం సులభం. అది సమంజసమైన ఎంపిక.
సమస్య ఏమిటంటే, AI కంపెనీలు ట్రైనింగ్కు, సెర్చ్కు వేర్వేరు క్రాలర్లు నడుపుతాయి. ట్రైనింగ్ క్రాలర్ను బ్లాక్ చేయడానికి సెర్చ్ క్రాలర్ను బ్లాక్ చేయాల్సిన అవసరం లేదు, పైగా సమాధానంలో మీ పేజీ సైట్ అయ్యేందుకు దారితీసేది సెర్చ్ క్రాలర్యే.
అతిపెద్ద సైట్లు మెరుగ్గా ఉన్నాయా?
నిజంగా కాదు. అత్యంత ప్రజాదరణ పొందిన 1,000 డొమైన్లపై మా robots.txt రిపోర్ట్లో, robots.txt ఉన్న సైట్లలో 29.9% కనీసం ఒక AI ట్రైనింగ్ క్రాలర్ను బ్లాక్ చేస్తున్నాయి, వాటిలో 63.2% కనీసం ఒక AI సెర్చ్ లేదా యూజర్ క్రాలర్ను కూడా బ్లాక్ చేస్తున్నాయి. ట్రైనింగ్ను బ్లాక్ చేస్తూ అన్ని AI సెర్చ్ క్రాలర్లను అనుమతించేవి కేవలం 11.0% మాత్రమే. చాలామంది బహుశా కోరుకున్న సెటప్ అదే.
పది నిమిషాల్లో నా సైట్ను ఎలా చెక్ చేయాలి?
yoursite.com/robots.txtతెరవండి. మీకు ముఖ్యమైన ప్రతి AI క్రాలర్ కోసం, ఏదైనా గ్రూప్ దాని పేరు చెబుతుందా, ఆ గ్రూప్ ఏమి చెబుతుందో చూడండి. క్రాలర్ పేరున్న గ్రూప్ సాధారణ*గ్రూప్ను పూర్తిగా భర్తీ చేస్తుంది.- ఫైల్ ఏమి చెబుతుందో కాదు, సర్వర్ ఏమి చేస్తుందో పరీక్షించండి. మీ ముఖ్యమైన పేజీని బ్రౌజర్గా, క్రాలర్గా రిక్వెస్ట్ చేయండి. 403, 429,
Just a moment...అనే టైటిల్ ఉన్న పేజీ, లేదా బ్రౌజర్ రెస్పాన్స్ కంటే చాలా చిన్న రెస్పాన్స్ ఫైర్వాల్ బ్లాక్కు గుర్తు. - అసిస్టెంట్ను అడగండి. సెర్చ్ ఆన్ చేసి, మీ కొనుగోలుదారులు అడిగే ప్రశ్నలను ChatGPT లేదా Perplexityని అడిగి, అవి ఏ సైట్లను సైట్ చేస్తున్నాయో చూడండి. యాక్సెస్ బాగున్నా మీరు కనిపించకపోతే, సమస్య యాక్సెస్ కాదు, కంటెంట్.
ఈ సంఖ్యలు ఎంత నమ్మదగినవి?
వీటిని జనాభా లెక్కలుగా కాక, ఒక ధోరణిగా చూడండి. నమూనా యాదృచ్ఛికం కాదు: ఇవి యాడ్ లైబ్రరీలు, జాబ్ బోర్డులు, మ్యాప్ లిస్టింగ్ల ద్వారా దొరికిన కంపెనీలు. మేము ఒకే అడ్రస్ నుంచి యూజర్ ఏజెంట్ ద్వారా పరీక్షిస్తాం, కానీ నిజమైన క్రాలర్లు వాటి విక్రేతలు ప్రచురించిన అడ్రస్ల నుంచి వస్తాయి, కాబట్టి కొన్ని ఫైర్వాల్లు నిజమైన వాటిని వేరుగా చూడవచ్చు. అంతేకాక, బ్లాక్ ఎల్లప్పుడూ పొరపాటు కాదు.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
ఎంత శాతం వెబ్సైట్లు AI క్రాలర్లను బ్లాక్ చేస్తున్నాయి?
పరీక్షించగలిగిన 165 బిజినెస్ వెబ్సైట్ల మా ఆడిట్లో, 38% సైట్లు కనీసం ఒక AI క్రాలర్ను సర్వర్ వద్ద అడ్డుకున్నాయి, ఎక్కువగా ట్రైనింగ్, స్క్రాపర్ బాట్లను. సుమారు 10% AI సెర్చ్ క్రాలర్ను కూడా తిరస్కరించాయి.
GPTBotను బ్లాక్ చేస్తే నా సైట్ ChatGPT సెర్చ్లో కనిపించకుండా పోతుందా?
లేదు. OpenAI ప్రకారం, దాని క్రాలర్ల ప్రతి robots.txt సెట్టింగ్ స్వతంత్రమైనది: GPTBot ట్రైనింగ్కు, OAI-SearchBot ChatGPT సెర్చ్కు సంబంధించినవి. ఒకదాన్ని బ్లాక్ చేస్తే మరొకటి బ్లాక్ కాదు.
robots.txt లేకుండా సైట్ క్రాలర్ను ఎలా బ్లాక్ చేయగలదు?
ఫైర్వాల్, CDN లేదా బాట్ ప్రొటెక్షన్ రూల్ క్రాలర్కు 403, 429 లేదా ఛాలెంజ్ పేజీతో స్పందించవచ్చు. robots.txt దీన్ని ఎప్పుడూ చూపదు, కాబట్టి క్రాలర్గా పేజీని రిక్వెస్ట్ చేసి పరీక్షించాలి.
క్రాలర్ను అడ్డుకోవడం ఎల్లప్పుడూ పొరపాటేనా?
కాదు. చాలామంది యజమానులు ట్రైనింగ్ క్రాలర్లను, స్క్రాపర్లను దూరంగా ఉంచాలనుకుంటారు. పొరపాటు ఏమిటంటే సెర్చ్ క్రాలర్లను అనుకోకుండా బ్లాక్ చేయడం, ఎందుకంటే మీ పేజీని సైట్ చేయగలిగేవి అవే.
మూలాలు
- AISeeWhy: AI క్రాలర్ యాక్సెస్ రిపోర్ట్, 2026-11
- RFC 9309: రోబోట్స్ ఎక్స్క్లూజన్ ప్రోటోకాల్
- OpenAI: OpenAI క్రాలర్ల అవలోకనం
- Perplexity: Perplexity క్రాలర్లు
- Cloudflare: AI క్రాలర్లను నిర్వహించండి (AI Crawl Control)