నా సైట్ అకస్మాత్తుగా AI క్రాలర్లను ఎందుకు బ్లాక్ చేస్తోంది?
AI క్రాలర్లను బ్లాక్ చేయడం మొదలుపెట్టిన సైట్ దాదాపు ఎప్పుడూ ఈ ఐదు చోట్లలో ఒకదానిలో మారి ఉంటుంది: నిజంగా అందించబడే robots.txt, Cloudflare AI క్రాలర్ పాలసీల వంటి CDN సెట్టింగ్, బాట్ ప్రొటెక్షన్ లేదా రేట్ లిమిట్, హోస్టింగ్ డిఫాల్ట్, లేదా ఇప్పుడు ఎర్రర్తో జవాబిచ్చే robots.txt. ఈరోజు robots.txtను, ఒక పేజీని ప్రతి క్రాలర్గా తెచ్చి, బ్రౌజర్తో, మునుపు మీ దగ్గర ఉన్నదానితో పోల్చి, ఆ పొరలను అదే క్రమంలో తనిఖీ చేయండి.
AI జవాబుల నుంచి మాయమవ్వాలని ఎవరూ నిర్ణయించుకోరు. థీమ్ అప్డేట్, సెక్యూరిటీ సెట్టింగ్, మైగ్రేషన్ లేదా ప్రొవైడర్ వద్ద మారిన డిఫాల్ట్ వల్ల ఇది పక్క ప్రభావంగా జరుగుతుంది. బ్రౌజర్కు సైట్ ఇంకా మామూలుగానే కనిపిస్తుంది, కాబట్టి ఎవరైనా ప్రోడక్ట్ గురించి ChatGPT లేదా Perplexityని అడిగి పోటీదారు పేరు వినే వరకు ఈ మార్పు గుర్తించబడకపోవచ్చు. ప్రతి పొర బయటి నుంచి గానీ మీ లాగ్లలో గానీ తనిఖీ చేయగల జాడలు వదులుతుంది.
ఈ పేజీలో
- క్రాలర్లకు అందే robots.txt మారిందా?
- Cloudflare 2026 AI క్రాలర్ పాలసీలు నా సైట్ అనుమతించేదాన్ని మార్చాయా?
- బాట్ ప్రొటెక్షన్ లేదా రేట్ లిమిట్ క్రాలర్లను పట్టుకుంటోందా?
- నా హోస్టింగ్ ప్రొవైడర్ తన డిఫాల్ట్లను మార్చిందా?
- robots.txt ఎర్రర్తో జవాబిస్తోందా?
- ఇది ఎప్పుడు మొదలైందో ఎలా కనుగొనాలి?
- తదుపరిసారి దీన్ని ముందుగానే ఎలా పట్టుకోవాలి?
క్రాలర్లకు అందే robots.txt మారిందా?
https://yourdomain.com/robots.txt తెచ్చి, మీ రిపోజిటరీ లేదా బ్యాకప్లోని ఫైల్తో పోల్చండి. డిస్క్లోని ఫైల్ను కాదు, అందించబడే ఫైల్ను చూడండి, ఎందుకంటే దారిలో అనేక పొరలు దాన్ని మార్చగలవు:
- డిప్లాయ్
Disallow: /తో ఉన్న స్టేజింగ్ robots.txtను పంపుతుంది, లేదా మైగ్రేషన్ ప్లాట్ఫామ్ డిఫాల్ట్ను అలాగే వదిలేస్తుంది. - సైట్ బిల్డర్ సెట్టింగ్ AI క్రాలర్ నియమాలను జోడిస్తుంది. ఉదాహరణకు Squarespaceలో Block known artificial intelligence crawlers ఆప్షన్ ఉంది, అది robots.txtలో 26 బాట్ పేర్లు రాస్తుంది, కాలక్రమేణా మరిన్ని జోడించవచ్చని చెబుతుంది. ఇది డిఫాల్ట్గా ఆఫ్లో ఉంటుంది, కాబట్టి ఎవరైనా ఆన్ చేయాలి, కానీ ఆ తర్వాత జాబితా పెరగవచ్చు.
- SEO లేదా సెక్యూరిటీ ప్లగిన్ అప్డేట్ కొత్త నియమాలు రాస్తుంది, లేదా ఎవరైనా ఆన్ చేసే కొత్త ఆప్షన్ జోడిస్తుంది.
- Bot Preference Sync ఆన్లో ఉండి, ఒక AI పాలసీ Block లేదా Disallowకు సెట్ అయి ఉంటే, Cloudflare తన managed robots.txtను మీ ఫైల్ ముందు జోడిస్తుంది. అప్పుడు మీ సొంత ఫైల్ మారకపోయినా, అందించబడే ఫైల్
ClaudeBot,GPTBot, మరో ఆరు ట్రైనింగ్ టోకెన్ల కోసంDisallow: /తో మొదలవుతుంది. - ట్రైనింగ్ క్రాలర్ కోసం ఉద్దేశించిన నియమం
OAI-SearchBot,Claude-SearchBotలేదాPerplexityBotవంటి సెర్చ్ క్రాలర్లతో సహా ఇతరులకు కాపీ చేయబడింది.
Google Search Console robots.txt రిపోర్ట్ గత 30 రోజుల్లో Google తెచ్చిన వెర్షన్లను చూపిస్తుంది, ఫైల్ లేదా ఫెచ్ ఫలితం మారిన ప్రతిసారీ కొత్త ఎంట్రీతో. ఇది Google చూసినదాన్ని మాత్రమే కవర్ చేస్తుంది, కానీ మీ సర్వర్ యూజర్ ఏజెంట్ను బట్టి robots.txtను మార్చకపోతే, AI క్రాలర్లకు అదే ఫైల్ అందింది.
Cloudflare 2026 AI క్రాలర్ పాలసీలు నా సైట్ అనుమతించేదాన్ని మార్చాయా?
Cloudflare తన AI క్రాలర్ నియంత్రణలను చాలాసార్లు మార్చింది, కొన్ని మార్పులు ఎవరూ ఎడిట్ చేయకుండానే జోన్ ప్రవర్తనను మారుస్తాయి. 1 జూలై 2025న, కొత్త డొమైన్లను సైన్-అప్ సమయంలో AI క్రాలర్లను అనుమతించాలా అని అడగడం మొదలుపెట్టింది, బ్లాకింగ్ ప్రారంభ స్థితిగా. 1 జూలై 2026న, ఒకే Block AI bots స్విచ్ను Free సహా అన్ని ప్లాన్లకు వేర్వేరు Search, Agent, Training పాలసీలతో భర్తీ చేసింది.
చాలా సైట్లను పట్టుకునే వివరం బహుళ ప్రయోజన క్రాలర్లు. Training చర్యలు సెర్చ్కు, ట్రైనింగ్కు రెండింటికీ ఉపయోగించే క్రాలర్లకు కూడా వర్తిస్తాయని Cloudflare డాక్యుమెంటేషన్ చెబుతుంది. 15 సెప్టెంబర్ 2026 నుంచి, కొత్త ఆప్షన్ల ద్వారా గానీ పాత Block AI bots సెట్టింగ్ ద్వారా గానీ Trainingను బ్లాక్ చేయాలని ఎంచుకున్న కస్టమర్లకు Googlebot, Applebot, BingBot వంటి బహుళ ప్రయోజన క్రాలర్లు బ్లాక్ అవుతాయని దాని జూలై 2026 ప్రకటన చెప్పింది. కాబట్టి ఏడాది క్రితం సెట్ చేసిన ట్రైనింగ్ opt-out ఇప్పుడు సెర్చ్ క్రాలర్లను కూడా చేరవచ్చు.
కొత్త డొమైన్ల డిఫాల్ట్లు కాలక్రమేణా వేర్వేరుగా వివరించబడ్డాయి. 15 సెప్టెంబర్ 2026 నుంచి కొత్త డొమైన్లలో యాడ్లు చూపించే పేజీలపై Training, Agent బ్లాక్ అవుతాయని అదే ప్రకటన చెప్పింది, కానీ 2 నవంబర్ 2026న అప్డేట్ అయిన పాలసీ డాక్యుమెంటేషన్ కొత్త డొమైన్లు మూడింటినీ Allowతో ప్రారంభిస్తాయని చెబుతుంది. Security, తర్వాత Settings తెరిచి, Bot trafficతో ఫిల్టర్ చేసి, మీ సొంత జోన్ కోసం AI Crawler and Agent access policies చదవండి. ప్రతి సెట్టింగ్ను Cloudflare AI Crawl Controlపై మా గైడ్ వివరిస్తుంది.
బాట్ ప్రొటెక్షన్ లేదా రేట్ లిమిట్ క్రాలర్లను పట్టుకుంటోందా?
బాట్ ప్రొటెక్షన్ ప్రతి అభ్యర్థనను అంచనా వేస్తుంది, క్రాలర్లు డేటా సెంటర్ల నుంచి చాలా పేజీలను వేగంగా తెస్తాయి, బాట్లు చేసేది అదే. ఆపరేటర్ IP రేంజ్లు లేదా క్రాల్ రేట్ మార్చిన తర్వాత, లేదా ప్రొటెక్షన్ నియమాలు అప్డేట్ అయిన తర్వాత, గత నెల లోపలికి వచ్చిన క్రాలర్కు ఛాలెంజ్ పేజీలు రావడం మొదలవ్వచ్చు. Cloudflare Bot Fight Mode సాధారణ కారణం, దాన్ని WAF కస్టమ్ నియమాలతో లేదా Page Rulesతో దాటలేమని Cloudflare చెబుతుంది, కాబట్టి అది ఆన్లో ఉన్నంత వరకు తర్వాత జోడించిన allow నియమం సహాయపడదు. బర్స్ట్లకు 429తో జవాబిచ్చే కొత్త రేట్ లిమిట్ బిజీ క్రాలర్పై అదే ప్రభావం చూపిస్తుంది.
బయటి నుంచి పరీక్షించండి: ఒక పేజీని బ్రౌజర్గా, రెండు AI సెర్చ్ క్రాలర్లుగా అభ్యర్థించి, తర్వాత robots.txtను క్రాలర్గా అభ్యర్థించండి.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt క్రాలర్కు మాత్రమే 403, 429 లేదా 503, Just a moment... అనే టైటిల్ ఉన్న పేజీ, లేదా బ్రౌజర్ కంటే చాలా చిన్న బాడీ వస్తే, క్రాలర్ను వేరుగా చూస్తున్నారని అర్థం. పరీక్ష వెండర్ IP నుంచి కాకుండా మీ IP నుంచి వస్తుంది, కాబట్టి ధృవీకరించిన బాట్ స్టేటస్ ఆధారంగా పనిచేసే నియమాలు అసలు క్రాలర్ను ఇంకా వేరుగా చూడవచ్చు. ఏ నియమం జవాబిచ్చిందో ఫైర్వాల్ ఈవెంట్ లాగ్ చూపిస్తుంది.
నా హోస్టింగ్ ప్రొవైడర్ తన డిఫాల్ట్లను మార్చిందా?
కొన్ని హోస్ట్లు మీ సొంత నియమాలు రన్ అవ్వకముందే సర్వర్ వద్ద AI ట్రాఫిక్ను ఫిల్టర్ చేస్తాయి. ఉదాహరణకు SiteGround, ట్రైనింగ్ డేటా సేకరించడానికి రూపొందించిన AI క్రాలర్లను డిఫాల్ట్గా బ్లాక్ చేస్తుందని, ఎవరైనా ఒక పేజీ గురించి AI అసిస్టెంట్ను అడిగినప్పుడు వచ్చే క్రాలర్లను అనుమతిస్తుందని ఆగస్టు 2025లో రాసింది. ఇలాంటి నియమాలు మీ robots.txtలో కనిపించవు, హోస్ట్ తన బాట్ జాబితాలను అప్డేట్ చేసినప్పుడు మారవచ్చు.
ఒకే హోస్ట్లోని అనేక సైట్లలో ఒకేసారి బ్లాక్ కనిపిస్తే, లేదా మీ అప్లికేషన్ లాగ్లకు ఎప్పుడూ చేరని రెస్పాన్స్లలో కనిపిస్తే, మీ ఖాతాకు ఏ బాట్ నియమాలు వర్తిస్తాయో, మీరు ఉంచుకోవాలనుకునే క్రాలర్లను మినహాయించగలరో హోస్ట్ను అడగండి.
robots.txt ఎర్రర్తో జవాబిస్తోందా?
విఫలమయ్యే robots.txt ఏ Disallow లైన్ కంటే ఎక్కువ బ్లాక్ చేయగలదు. RFC 9309 ప్రకారం, 4xx రెస్పాన్స్ అంటే క్రాలర్ అన్నీ తెచ్చుకోవచ్చు, కానీ సర్వర్ ఎర్రర్ (5xx) లేదా అసలు జవాబే లేకపోతే సైట్ మొత్తం నిషేధించబడిందని భావించాలి. అలాంటి ఎర్రర్ల మొదటి 12 గంటలు Google క్రాలింగ్ ఆపి, తర్వాత 30 రోజుల వరకు చివరి మంచి కాపీని ఉపయోగిస్తుంది.
ఈ విధంగానే లోడ్ స్పైక్, /robots.txtను ఛాలెంజ్ చేసే ఫైర్వాల్ నియమం, లేదా దాన్ని కూడా కలిపే రేట్ లిమిట్ ఒక్క నియమం కూడా మారకుండా మంచి ప్రవర్తన గల క్రాలర్లను బయటే ఆపగలవు. పై పరీక్షలోని చివరి కమాండ్ 200, text/plain తిరిగి ఇవ్వాలి. అక్కడ 5xx, టైమ్అవుట్ లేదా ఛాలెంజ్ పేజీ వస్తే, ముందుగా సరిచేయాల్సింది అదే.
ఇది ఎప్పుడు మొదలైందో ఎలా కనుగొనాలి?
తేదీ ఒక రహస్యాన్ని diffగా మారుస్తుంది. మీ యాక్సెస్ లాగ్లలో AI క్రాలర్ యూజర్ ఏజెంట్ల అభ్యర్థనలను ఫిల్టర్ చేసి, వాటి స్టేటస్ కోడ్లు 200 నుంచి 403, 429 లేదా 503కు మారిన రోజును, లేదా robots.txt చదివిన తర్వాత అవి పేజీలను అభ్యర్థించడం ఆపేసిన రోజును వెతకండి; AI క్రాలర్ల కోసం సర్వర్ లాగ్లను తనిఖీ చేయడంపై మా గైడ్లో కమాండ్లు ఉన్నాయి. మీ CDN బ్లాక్ చేసిన అభ్యర్థనలు ఆరిజిన్కు ఎప్పుడూ చేరవు, కాబట్టి CDNను కూడా తనిఖీ చేయండి. Cloudflareలో AI Crawl Control కాలక్రమేణా స్టేటస్ కోడ్ పంపిణీని చూపిస్తుంది, దాన్ని క్రాలర్ ప్రకారం ఫిల్టర్ చేయవచ్చు.
తర్వాత ఆ తేదీని డిప్లాయ్లు, ప్లగిన్, థీమ్ అప్డేట్లు, CDN సెట్టింగ్ మార్పులు, ప్రొవైడర్ ప్రకటనలతో పోల్చండి. చర్య తీసుకునే ముందు, సోర్స్ IPలు వెండర్కు చెందినవని నిర్ధారించుకోండి, అప్పుడే మీరు దాని పేరు వాడుకునే నకిలీని కాకుండా అసలు క్రాలర్ను చూస్తున్నారు.
తదుపరిసారి దీన్ని ముందుగానే ఎలా పట్టుకోవాలి?
ట్రాఫిక్ పడిపోయినప్పుడు మాత్రమే కాకుండా, ప్రతి డిప్లాయ్, CDN మార్పు, ప్లగిన్ అప్డేట్ తర్వాత యాక్సెస్ను తనిఖీ చేయండి. ఉచిత AISeeWhy తనిఖీ పేజీని అసలు బ్రౌజర్తో పాటు 16 AI, సెర్చ్ క్రాలర్లుగా తెస్తుంది, ప్రతి క్రాలర్కు మీ robots.txt వర్తింపజేస్తుంది, ఫైర్వాల్ ఛాలెంజ్ పేజీలను గుర్తిస్తుంది. ఈరోజు లైవ్లో ఉన్న ఫైల్ ప్రకారం ఒక పేజీని తెచ్చుకోవచ్చో ఉచిత robots.txt చెకర్ ప్రతి క్రాలర్కు చూపిస్తుంది.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
ChatGPT నా సైట్ను చూపించడం ఎందుకు ఆపేసింది?
తరచుగా ChatGPT సెర్చ్ వెనుక ఉన్న క్రాలర్ OAI-SearchBot robots.txt మార్పు, CDN పాలసీ లేదా బాట్ ప్రొటెక్షన్ వల్ల బ్లాక్ అయినందుకు. దాన్ని బ్లాక్ చేసే సైట్లు ChatGPT సెర్చ్ జవాబుల్లో కనిపించవని OpenAI చెబుతుంది. ఆ క్రాలర్ కోసం ప్రతి పొరను తనిఖీ చేయండి, robots.txt సరిచేసిన తర్వాత సుమారు 24 గంటలు ఆగండి, తన సిస్టమ్లు సర్దుకోవడానికి అంత సమయం పడుతుందని OpenAI చెబుతుంది.
Cloudflare నా సైట్లో Googlebotను బ్లాక్ చేయడం మొదలుపెట్టిందా?
అలా జరగవచ్చు. 15 సెప్టెంబర్ 2026 నుంచి Trainingను బ్లాక్ చేసే కస్టమర్లు Googlebot, Applebot, BingBot వంటి బహుళ ప్రయోజన క్రాలర్లను కూడా బ్లాక్ చేస్తారని Cloudflare చెప్పింది. Training Disallow ఆప్షన్ ఎడ్జ్ వద్ద ట్రైనింగ్ క్రాలర్లను బ్లాక్ చేస్తుంది కానీ మిశ్రమ ఉపయోగ క్రాలర్లను వదిలేస్తుందని దాని డాక్యుమెంటేషన్ చెబుతుంది, కాబట్టి మీ జోన్ ఏ ఆప్షన్ ఉపయోగిస్తుందో తనిఖీ చేయండి.
వెబ్సైట్ బిల్డర్ లేదా ప్లగిన్ నా కోసం robots.txtను మార్చగలదా?
అవును. సైట్ బిల్డర్లు, SEO లేదా సెక్యూరిటీ ప్లగిన్లు robots.txtలో AI క్రాలర్ నియమాలు రాయగలవు, కొన్ని కాలక్రమేణా తమ బాట్ జాబితాలను పెంచుతాయి. ప్రతి అప్డేట్ తర్వాత లైవ్ ఫైల్ను తెచ్చి, మీకు ముఖ్యమైన సెర్చ్ క్రాలర్లకు వర్తించే గ్రూప్లను చదవండి.
నా లైవ్ robots.txt సర్వర్లోని ఫైల్కు ఎందుకు భిన్నంగా ఉంది?
మీ సర్వర్ ముందు ఉన్న ఏదో దాన్ని మారుస్తోంది. ఉదాహరణకు Cloudflare managed robots.txt అదే రెస్పాన్స్లో మీ ఫైల్ ముందు తన సొంత నియమాలను, content signalsను జోడిస్తుంది. అభ్యర్థనపై robots.txtను జనరేట్ చేసే CMS, లేదా హోస్ట్ స్థాయి సెట్టింగ్ కూడా దాన్ని భర్తీ చేయవచ్చు లేదా పొడిగించవచ్చు.
సరిచేసిన తర్వాత AI క్రాలర్లు తిరిగి రావడానికి ఎంత సమయం పడుతుంది?
కాష్ చేసిన robots.txtను క్రాలర్లు 24 గంటలకు మించి ఉపయోగించకూడదని RFC 9309 చెబుతుంది, OpenAI సుమారు 24 గంటలు, Perplexity 24 గంటల వరకు అని చెబుతాయి. ఫైర్వాల్ మార్పులు మీ ప్రొవైడర్ వాటిని డిప్లాయ్ చేసిన వెంటనే వర్తిస్తాయి, కానీ క్రాలర్లు తమ సొంత షెడ్యూల్ ప్రకారం తిరిగి వస్తాయి.
మూలాలు
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers