AI క్రాలర్లను బ్లాక్ చేయకుండా నెమ్మదించడం ఎలా
బ్లాక్ చేయకుండా రేట్ లిమిట్ పెట్టండి. అదనపు క్రాలర్ అభ్యర్థనలకు Retry-After హెడర్తో 429 లేదా 503తో జవాబివ్వండి, ప్రతి క్రాలర్కు సొంత బడ్జెట్ ఇవ్వండి, /robots.txtను ఏ లిమిట్లోనూ చేర్చకండి, క్రాలర్లకు కాష్ నుంచి అందించండి. robots.txtలో Crawl-delay ఆపరేటర్ డాక్యుమెంట్ చేసిన చోట మాత్రమే పనిచేస్తుంది: Anthropic, Bing చేస్తాయి, తాను సపోర్ట్ చేయనని Google చెబుతుంది, OpenAI, Perplexity దాన్ని ప్రస్తావించవు. AI సెర్చ్ క్రాలర్లను అనుమతించే ఉంచండి, లేకపోతే అవి అందించే జవాబుల నుంచి కూడా మీరు బయటపడతారు.
ఒక క్రాలర్ గంటకు వేలాది అభ్యర్థనలు పంపినప్పుడు, త్వరిత పరిష్కారం Disallow: / లేదా ఫైర్వాల్ బ్లాక్. ట్రైనింగ్ క్రాలర్కు అది సరైన ఎంపిక కావచ్చు. OAI-SearchBot, Claude-SearchBot లేదా PerplexityBotకు అయితే, మీరు కనిపించాలనుకునే AI జవాబుల నుంచి అది మీ పేజీలను తొలగిస్తుంది. చాలా సందర్భాల్లో దాన్ని వదులుకోకుండానే లోడ్ తగ్గించవచ్చు, క్రాలర్లకు ఇప్పటికే అర్థమయ్యే సిగ్నల్లతో: స్టేటస్ కోడ్లు, కాషింగ్, కొందరు ఆపరేటర్లకు Crawl-delay.
ఈ పేజీలో
- అసలు ఏ క్రాలర్ లోడ్ కలిగిస్తోంది?
- AI క్రాలర్లకు Crawl-delay పనిచేస్తుందా?
- 429, 503 రెస్పాన్స్లు క్రాలర్లను ఎలా నెమ్మదిస్తాయి?
- AI క్రాలర్లకు రేట్ లిమిట్ ఎలా సెట్ చేయాలి?
- కాషింగ్ క్రాలర్ లోడ్ను తగ్గించగలదా?
- క్రాలర్లను నెమ్మదించేటప్పుడు ఏమి చేయకూడదు?
- క్రాలర్లు ఇంకా లోపలికి వస్తున్నాయో ఎలా తనిఖీ చేయాలి?
అసలు ఏ క్రాలర్ లోడ్ కలిగిస్తోంది?
ఏదైనా మార్చే ముందు చూడండి. మీ యాక్సెస్ లాగ్లలో యూజర్ ఏజెంట్ వారీగా, గంట వారీగా అభ్యర్థనలను లెక్కించి, సోర్స్ IPలను ప్రతి వెండర్ ప్రచురించే రేంజ్లతో తనిఖీ చేయండి; AI క్రాలర్ల కోసం సర్వర్ లాగ్లను తనిఖీ చేయడంపై మా గైడ్లో కమాండ్లు ఉన్నాయి. తరచుగా రెండు విషయాలు బయటపడతాయి:
- భారీ ట్రాఫిక్ AI క్రాలర్ అని చెప్పుకుంటోంది మాత్రమే. IPలు వెండర్ జాబితాలో లేకపోతే, అసలు క్రాలర్ కోసం నియమాలు సహాయపడవు. బదులుగా ఆ ట్రాఫిక్ను దాని మూలం ఆధారంగా పరిమితం చేయండి లేదా బ్లాక్ చేయండి.
- అసలు క్రాలర్ crawl trapలో చిక్కుకుంది, ఉదాహరణకు అంతులేని క్యాలెండర్ పేజీలు, ఫిల్టర్ కాంబినేషన్లు లేదా URLలలో సెషన్ IDలు. ఆ పాత్ల కోసం
Disallowనియమాలతో trapను మూసివేయడం ఏ రేట్ లిమిట్ కంటే ఎక్కువ ఆదా చేస్తుంది.
క్రాలర్లను వాటి పని ప్రకారం కూడా వర్గీకరించండి. GPTBot, ClaudeBot వంటి ట్రైనింగ్ క్రాలర్లు మిమ్మల్ని AI సెర్చ్లో ఉటంకించగలిగేలా చేసేవి కావు, కాబట్టి వాటిలో ఒకటి సమస్య అయితే, దాన్ని నిషేధించడం సహేతుకమైన ఎంపిక. ఈ గైడ్లో మిగతాది మీరు ఉంచుకోవాలనుకునే క్రాలర్ల కోసం.
AI క్రాలర్లకు Crawl-delay పనిచేస్తుందా?
Crawl-delay RFC 9309లో భాగం కాదు, కాబట్టి దాన్ని చదవాలో ప్రతి ఆపరేటర్ నిర్ణయిస్తుంది. నవంబర్ 2026 నాటికి డాక్యుమెంటేషన్ ఇలా చెబుతుంది:
- Anthropic: సపోర్ట్ ఉంది. క్రాలింగ్ కార్యకలాపాన్ని పరిమితం చేయడానికి నాన్-స్టాండర్డ్
Crawl-delayఎక్స్టెన్షన్కు సపోర్ట్ ఇస్తుందని దాని హెల్ప్ పేజీ చెబుతుంది, ఉదాహరణగాClaudeBotగ్రూప్లోCrawl-delay: 1. - Microsoft Bing: సపోర్ట్ ఉంది. Bing వెబ్మాస్టర్ బ్లాగ్ ఈ విలువను 1 నుంచి 30 సెకన్ల టైమ్ విండోగా వివరిస్తుంది, అందులో
bingbotగరిష్టంగా ఒక పేజీ క్రాల్ చేస్తుంది, robots.txt crawl delay Bing Webmaster Toolsలోని క్రాల్ సెట్టింగ్లను ఓవర్రైడ్ చేస్తుందని చెబుతుంది. - Google: సపోర్ట్ లేదు. Google robots.txt డాక్యుమెంటేషన్
crawl-delayను తాను సపోర్ట్ చేయని ఫీల్డ్గా పేర్కొంటుంది. - OpenAI, Perplexity: వాటి క్రాలర్ పేజీలు దీన్ని ప్రస్తావించవు, కాబట్టి
GPTBot,OAI-SearchBotలేదాPerplexityBotపై దాని ప్రభావం డాక్యుమెంట్ కాలేదు.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ గ్రూప్ తర్కాన్ని గమనించండి. తన పేరుతో గ్రూప్ కనిపించిన క్రాలర్ User-agent: * గ్రూప్ను పూర్తిగా పట్టించుకోదు, కాబట్టి Crawl-delay మాత్రమే ఉన్న ClaudeBot గ్రూప్ మిగతా అందరి కోసం మీరు సెట్ చేసిన ప్రతి Disallowను వదిలేస్తుంది. పైన ఉన్నట్లు వాటిని మళ్లీ రాయండి. Crawl-delayను తాను ఏ గ్రూప్ నుంచైనా చదివే మినహాయింపుగా Bing వివరిస్తుంది, కానీ ఇతర క్రాలర్లకు అలా ఊహించకూడదు.
429, 503 రెస్పాన్స్లు క్రాలర్లను ఎలా నెమ్మదిస్తాయి?
లోడ్ పీక్ల కోసం, క్రాలర్లు గౌరవించేలా తయారైన సిగ్నల్ స్టేటస్ కోడ్. RFC 6585లో నిర్వచించిన 429 Too Many Requests అంటే క్లయింట్ నిర్ణీత సమయంలో చాలా ఎక్కువ అభ్యర్థనలు పంపింది, ఎంతసేపు ఆగాలో చెప్పే Retry-After హెడర్ దానితో రావచ్చు. 503 Service Unavailable సర్వర్ ప్రస్తుతం తట్టుకోలేదని చెబుతుంది.
Googlebot క్రాల్ రేట్ను త్వరగా తగ్గించే మార్గంగా Google దీన్ని డాక్యుమెంట్ చేస్తుంది: కొన్ని క్రాల్ అభ్యర్థనలకు 200కు బదులు 500, 503 లేదా 429 ఇవ్వండి. ఇది మొత్తం హోస్ట్నేమ్కు క్రాల్ రేట్ను తగ్గిస్తుందని, Retry-Afterలో సెకన్ల సంఖ్య లేదా తేదీ ఉండవచ్చని అది చెబుతుంది.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. దీన్ని తక్కువ కాలం ఉంచండి. ఒకటి లేదా రెండు రోజులకు మించి ఇలా చేయవద్దని Google సలహా ఇస్తుంది, ఎందుకంటే అనేక రోజులు ఈ కోడ్లు ఇచ్చే URL దాని ఇండెక్స్ నుంచి తొలగించబడవచ్చు. శాశ్వత తగ్గింపు కోసం, Google బదులుగా Search Console ద్వారా ప్రత్యేక అభ్యర్థనను అందిస్తుంది.
OpenAI, Anthropic, Perplexity తమ క్రాలర్లు 429, 503 లేదా Retry-Afterకు ఎలా స్పందిస్తాయో డాక్యుమెంట్ చేయవు. తక్కువ అడగడానికి ఈ కోడ్లు ప్రామాణిక మార్గం, కానీ ప్రతి AI క్రాలర్ ఎంత వేగంగా వెనక్కి తగ్గుతుందో ఎక్కడా చూడలేరు.
AI క్రాలర్లకు రేట్ లిమిట్ ఎలా సెట్ చేయాలి?
అన్ని ట్రాఫిక్కు ఒకే లిమిట్ బదులు ప్రతి క్రాలర్కు సొంత బడ్జెట్ ఇచ్చి, దానికి మించిన అభ్యర్థనలకు 429తో జవాబివ్వండి. nginxలో limit_req మాడ్యూల్ దీన్ని చేస్తుంది. ఖాళీ కీ ఉన్న అభ్యర్థనలు లెక్కించబడవు, కాబట్టి క్రాలర్ యూజర్ ఏజెంట్లకు మాత్రమే కీ ఇచ్చే map మనుషులైన సందర్శకులను వదిలేస్తుంది. ఇక్కడ ప్రతి క్రాలర్కు నిమిషానికి 60 అభ్యర్థనలు, 20 burstతో:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} ఇక్కడ కీ యూజర్ ఏజెంట్, కాబట్టి క్రాలర్ పేరును కాపీ చేసే ఎవరైనా ఆ క్రాలర్ బడ్జెట్ను పంచుకుంటారు. రేట్ లిమిట్కు అది ఆమోదయోగ్యం. allow నియమం కోసం, వెండర్ ప్రచురించిన IP రేంజ్లను కూడా సరిపోల్చండి.
Cloudflareలో rate limiting rules ఎడ్జ్ వద్ద ఇదే పని చేస్తాయి. Free ప్లాన్లో ఒక నియమం వస్తుంది, 10 సెకన్లలో IP వారీగా లెక్కిస్తుంది, నియమ ఎక్స్ప్రెషన్ పాత్ను, Verified Bot ఫీల్డ్ను ఉపయోగించవచ్చు. అనేక చిరునామాలపై అభ్యర్థనలను విస్తరించే క్రాలర్లకు IP వారీ లెక్కింపు స్థూలమైనది, పై ప్లాన్లు మరిన్ని లెక్కింపు ఆప్షన్లను జోడిస్తాయి. డిఫాల్ట్ రెస్పాన్స్ 429, మీరు వేరే 4xx కోడ్ను, కస్టమ్ బాడీని సెట్ చేయవచ్చు. AI Crawl Control ప్రతి క్రాలర్కు Allow, Block, ప్రైవేట్ బీటాలో Charge అందిస్తుంది, కానీ రేట్ సెట్టింగ్ లేదు.
మీరు ఏది ఉపయోగించినా, /robots.txtను లిమిట్ బయట ఉంచండి. robots.txtకు సర్వర్ ఎర్రర్ వస్తే సైట్ మొత్తం నిషేధించబడిందని క్రాలర్ భావించాలని RFC 9309 చెబుతుంది, ఫైల్ లేనట్లుగా పరిగణించే 4xx కోడ్ల నుంచి Google 429ను మినహాయిస్తుంది.
కాషింగ్ క్రాలర్ లోడ్ను తగ్గించగలదా?
తరచుగా రేట్ లిమిట్ కంటే ఎక్కువగా. క్రాలర్లు ఎక్కువగా ప్రతి సందర్శకుడికీ ఒకేలా ఉండే పబ్లిక్ పేజీలను అడుగుతాయి, కాబట్టి వాటిని CDN లేదా పేజీ కాష్ నుంచి అందిస్తే ఖరీదైన రెండర్లు చౌకైన hitలుగా మారతాయి. మీ కాష్ క్రాలర్ యూజర్ ఏజెంట్ల కోసం కాష్ కాని ప్రత్యేక వేరియంట్ ఉంచడం లేదని తనిఖీ చేయండి.
కండిషనల్ అభ్యర్థనలు కూడా సహాయపడతాయి. తన క్రాలర్లు ETag, If-None-Matchతో, Last-Modified, If-Modified-Sinceతో HTTP కాషింగ్కు సపోర్ట్ ఇస్తాయని, రెండూ ఉన్నప్పుడు ETag ఉపయోగిస్తాయని Google చెబుతుంది. OpenAI, Anthropic, Perplexity క్రాలర్ పేజీలు తమ క్రాలర్లు కండిషనల్ అభ్యర్థనలు పంపుతాయో చెప్పవు, కాబట్టి ఆ ఆదాను Googleకు మాత్రమే లెక్కించండి.
క్రాలర్లను నెమ్మదించేటప్పుడు ఏమి చేయకూడదు?
- ఫైర్వాల్ వద్ద వెండర్ IP రేంజ్లను బ్లాక్ చేయడం. ఇది తన బాట్లు మీ robots.txtను చదవకుండా ఆపుతుంది కాబట్టి సరిగ్గా పనిచేయకపోవచ్చని లేదా opt-outను నిలిపి ఉంచకపోవచ్చని Anthropic హెచ్చరిస్తుంది.
- రోజుల తరబడి
5xxలేదా429ఇవ్వడం. వాటిని ఇస్తూనే ఉండే URLలు తన ఇండెక్స్ నుంచి తొలగించబడవచ్చని Google చెబుతుంది. - బాట్ ప్రొటెక్షన్ను థ్రాటిల్గా ఉపయోగించడం. Cloudflare Bot Fight Mode బాట్లకు గణనపరంగా ఖరీదైన ఛాలెంజ్లు ఇస్తుంది, WAF కస్టమ్ నియమాలతో దాటలేము, కాబట్టి మీరు ఉంచుకోవాలనుకునే క్రాలర్లను మినహాయించలేరు.
- బ్యాండ్విడ్త్ ఆదా చేయడానికి సెర్చ్ క్రాలర్ను నిషేధించడం.
OAI-SearchBot,Claude-SearchBotలేదాPerplexityBotకోసంDisallowఆ క్రాలర్లు అందించే జవాబుల నుంచి మిమ్మల్ని తొలగిస్తుంది.
క్రాలర్లు ఇంకా లోపలికి వస్తున్నాయో ఎలా తనిఖీ చేయాలి?
రేట్ లిమిట్లను మరీ కఠినంగా సెట్ చేయడం సులభం. ఉచిత AISeeWhy తనిఖీ పేజీని అసలు బ్రౌజర్తో పాటు 16 AI, సెర్చ్ క్రాలర్లుగా తెస్తుంది, ప్రతి క్రాలర్కు మీ robots.txt వర్తింపజేస్తుంది, ఫైర్వాల్ ఛాలెంజ్ పేజీలను గుర్తిస్తుంది, కాబట్టి బ్రౌజర్లకు కాకుండా క్రాలర్లకు వేరుగా జవాబిచ్చే నియమం బయటపడుతుంది. ప్రతి క్రాలర్కు ఒక అభ్యర్థన సహేతుకమైన లిమిట్ను దాటదు, అదే ఉద్దేశం: సాధారణ అభ్యర్థనలు ఇంకా వెళ్తున్నాయని నిర్ధారించుకోవడానికి నియమాలు మార్చిన తర్వాత దీన్ని రన్ చేయండి. మీ లాగ్లలోని IP నిజంగా GPTBotకు లేదా మరో క్రాలర్కు చెందినదో ఉచిత AI క్రాలర్ IP తనిఖీ చెబుతుంది.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
Google Crawl-delayకు సపోర్ట్ ఇస్తుందా?
లేదు. Google robots.txt డాక్యుమెంటేషన్ crawl-delayను తాను సపోర్ట్ చేయని ఫీల్డ్లలో జాబితా చేస్తుంది. Googlebotను కొద్దిసేపు నెమ్మదించడానికి, కొన్ని అభ్యర్థనలకు 503, 500 లేదా 429 ఇవ్వండి; ఎక్కువ కాలం తగ్గింపు కోసం, Google Search Console ద్వారా ప్రత్యేక అభ్యర్థనను అందిస్తుంది.
ClaudeBot Crawl-delayను గౌరవిస్తుందా?
నాన్-స్టాండర్డ్ Crawl-delay ఎక్స్టెన్షన్కు సపోర్ట్ ఇస్తుందని Anthropic చెబుతుంది. దాన్ని ClaudeBot గ్రూప్లో పెట్టి, మీ User-agent: * గ్రూప్లోని ఏవైనా Disallow నియమాలను అక్కడ మళ్లీ రాయండి.
GPTBot, PerplexityBot Crawl-delayకు సపోర్ట్ ఇస్తాయా?
OpenAI, Perplexity క్రాలర్ పేజీలు Crawl-delayను ప్రస్తావించవు, కాబట్టి దాని ప్రభావం డాక్యుమెంట్ కాలేదు. అదనపు అభ్యర్థనలకు 429తో జవాబిచ్చే సర్వర్-సైడ్ లిమిట్ ఉపయోగించండి.
429 రెస్పాన్స్ నా ర్యాంకింగ్లను దెబ్బతీస్తుందా?
తక్కువ కాలానికి కాదు. క్రాలింగ్ను తాత్కాలికంగా తగ్గించే మార్గంగా Google 429, 503లను డాక్యుమెంట్ చేస్తుంది, కానీ అనేక రోజులు వాటిని ఇచ్చే URLలు తన ఇండెక్స్ నుంచి తొలగించబడవచ్చని హెచ్చరిస్తుంది.
లోడ్ తగ్గించడానికి GPTBotను బ్లాక్ చేయాలా?
చేయవచ్చు. GPTBot ట్రైనింగ్కు ఉపయోగపడే కంటెంట్ను క్రాల్ చేస్తుందని, ప్రతి robots.txt సెట్టింగ్ స్వతంత్రమని OpenAI చెబుతుంది, కాబట్టి దాన్ని నిషేధించడం మిమ్మల్ని ChatGPT సెర్చ్ నుంచి తొలగించదు, అది OAI-SearchBotను ఉపయోగిస్తుంది. లోడ్ OpenAI చిరునామాల నుంచే వస్తోందని నిర్ధారించుకోవడానికి ముందుగా మీ లాగ్లను తనిఖీ చేయండి.
మూలాలు
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers