AI క్రాలర్‌లను బ్లాక్ చేయకుండా నెమ్మదించడం ఎలా

ప్రచురించినది

చిన్న జవాబు

బ్లాక్ చేయకుండా రేట్ లిమిట్ పెట్టండి. అదనపు క్రాలర్ అభ్యర్థనలకు Retry-After హెడర్‌తో 429 లేదా 503తో జవాబివ్వండి, ప్రతి క్రాలర్‌కు సొంత బడ్జెట్ ఇవ్వండి, /robots.txtను ఏ లిమిట్‌లోనూ చేర్చకండి, క్రాలర్‌లకు కాష్ నుంచి అందించండి. robots.txtలో Crawl-delay ఆపరేటర్ డాక్యుమెంట్ చేసిన చోట మాత్రమే పనిచేస్తుంది: Anthropic, Bing చేస్తాయి, తాను సపోర్ట్ చేయనని Google చెబుతుంది, OpenAI, Perplexity దాన్ని ప్రస్తావించవు. AI సెర్చ్ క్రాలర్‌లను అనుమతించే ఉంచండి, లేకపోతే అవి అందించే జవాబుల నుంచి కూడా మీరు బయటపడతారు.

ఒక క్రాలర్ గంటకు వేలాది అభ్యర్థనలు పంపినప్పుడు, త్వరిత పరిష్కారం Disallow: / లేదా ఫైర్‌వాల్ బ్లాక్. ట్రైనింగ్ క్రాలర్‌కు అది సరైన ఎంపిక కావచ్చు. OAI-SearchBot, Claude-SearchBot లేదా PerplexityBotకు అయితే, మీరు కనిపించాలనుకునే AI జవాబుల నుంచి అది మీ పేజీలను తొలగిస్తుంది. చాలా సందర్భాల్లో దాన్ని వదులుకోకుండానే లోడ్ తగ్గించవచ్చు, క్రాలర్‌లకు ఇప్పటికే అర్థమయ్యే సిగ్నల్‌లతో: స్టేటస్ కోడ్‌లు, కాషింగ్, కొందరు ఆపరేటర్‌లకు Crawl-delay.

ఈ పేజీలో
  1. అసలు ఏ క్రాలర్ లోడ్ కలిగిస్తోంది?
  2. AI క్రాలర్‌లకు Crawl-delay పనిచేస్తుందా?
  3. 429, 503 రెస్పాన్స్‌లు క్రాలర్‌లను ఎలా నెమ్మదిస్తాయి?
  4. AI క్రాలర్‌లకు రేట్ లిమిట్ ఎలా సెట్ చేయాలి?
  5. కాషింగ్ క్రాలర్ లోడ్‌ను తగ్గించగలదా?
  6. క్రాలర్‌లను నెమ్మదించేటప్పుడు ఏమి చేయకూడదు?
  7. క్రాలర్‌లు ఇంకా లోపలికి వస్తున్నాయో ఎలా తనిఖీ చేయాలి?

అసలు ఏ క్రాలర్ లోడ్ కలిగిస్తోంది?

ఏదైనా మార్చే ముందు చూడండి. మీ యాక్సెస్ లాగ్‌లలో యూజర్ ఏజెంట్ వారీగా, గంట వారీగా అభ్యర్థనలను లెక్కించి, సోర్స్ IPలను ప్రతి వెండర్ ప్రచురించే రేంజ్‌లతో తనిఖీ చేయండి; AI క్రాలర్‌ల కోసం సర్వర్ లాగ్‌లను తనిఖీ చేయడంపై మా గైడ్‌లో కమాండ్‌లు ఉన్నాయి. తరచుగా రెండు విషయాలు బయటపడతాయి:

క్రాలర్‌లను వాటి పని ప్రకారం కూడా వర్గీకరించండి. GPTBot, ClaudeBot వంటి ట్రైనింగ్ క్రాలర్‌లు మిమ్మల్ని AI సెర్చ్‌లో ఉటంకించగలిగేలా చేసేవి కావు, కాబట్టి వాటిలో ఒకటి సమస్య అయితే, దాన్ని నిషేధించడం సహేతుకమైన ఎంపిక. ఈ గైడ్‌లో మిగతాది మీరు ఉంచుకోవాలనుకునే క్రాలర్‌ల కోసం.

AI క్రాలర్‌లకు Crawl-delay పనిచేస్తుందా?

Crawl-delay RFC 9309లో భాగం కాదు, కాబట్టి దాన్ని చదవాలో ప్రతి ఆపరేటర్ నిర్ణయిస్తుంది. నవంబర్ 2026 నాటికి డాక్యుమెంటేషన్ ఇలా చెబుతుంది:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

గ్రూప్ తర్కాన్ని గమనించండి. తన పేరుతో గ్రూప్ కనిపించిన క్రాలర్ User-agent: * గ్రూప్‌ను పూర్తిగా పట్టించుకోదు, కాబట్టి Crawl-delay మాత్రమే ఉన్న ClaudeBot గ్రూప్ మిగతా అందరి కోసం మీరు సెట్ చేసిన ప్రతి Disallowను వదిలేస్తుంది. పైన ఉన్నట్లు వాటిని మళ్లీ రాయండి. Crawl-delayను తాను ఏ గ్రూప్ నుంచైనా చదివే మినహాయింపుగా Bing వివరిస్తుంది, కానీ ఇతర క్రాలర్‌లకు అలా ఊహించకూడదు.

429, 503 రెస్పాన్స్‌లు క్రాలర్‌లను ఎలా నెమ్మదిస్తాయి?

లోడ్ పీక్‌ల కోసం, క్రాలర్‌లు గౌరవించేలా తయారైన సిగ్నల్ స్టేటస్ కోడ్. RFC 6585లో నిర్వచించిన 429 Too Many Requests అంటే క్లయింట్ నిర్ణీత సమయంలో చాలా ఎక్కువ అభ్యర్థనలు పంపింది, ఎంతసేపు ఆగాలో చెప్పే Retry-After హెడర్ దానితో రావచ్చు. 503 Service Unavailable సర్వర్ ప్రస్తుతం తట్టుకోలేదని చెబుతుంది.

Googlebot క్రాల్ రేట్‌ను త్వరగా తగ్గించే మార్గంగా Google దీన్ని డాక్యుమెంట్ చేస్తుంది: కొన్ని క్రాల్ అభ్యర్థనలకు 200కు బదులు 500, 503 లేదా 429 ఇవ్వండి. ఇది మొత్తం హోస్ట్‌నేమ్‌కు క్రాల్ రేట్‌ను తగ్గిస్తుందని, Retry-Afterలో సెకన్ల సంఖ్య లేదా తేదీ ఉండవచ్చని అది చెబుతుంది.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

దీన్ని తక్కువ కాలం ఉంచండి. ఒకటి లేదా రెండు రోజులకు మించి ఇలా చేయవద్దని Google సలహా ఇస్తుంది, ఎందుకంటే అనేక రోజులు ఈ కోడ్‌లు ఇచ్చే URL దాని ఇండెక్స్ నుంచి తొలగించబడవచ్చు. శాశ్వత తగ్గింపు కోసం, Google బదులుగా Search Console ద్వారా ప్రత్యేక అభ్యర్థనను అందిస్తుంది.

OpenAI, Anthropic, Perplexity తమ క్రాలర్‌లు 429, 503 లేదా Retry-Afterకు ఎలా స్పందిస్తాయో డాక్యుమెంట్ చేయవు. తక్కువ అడగడానికి ఈ కోడ్‌లు ప్రామాణిక మార్గం, కానీ ప్రతి AI క్రాలర్ ఎంత వేగంగా వెనక్కి తగ్గుతుందో ఎక్కడా చూడలేరు.

AI క్రాలర్‌లకు రేట్ లిమిట్ ఎలా సెట్ చేయాలి?

అన్ని ట్రాఫిక్‌కు ఒకే లిమిట్ బదులు ప్రతి క్రాలర్‌కు సొంత బడ్జెట్ ఇచ్చి, దానికి మించిన అభ్యర్థనలకు 429తో జవాబివ్వండి. nginxలో limit_req మాడ్యూల్ దీన్ని చేస్తుంది. ఖాళీ కీ ఉన్న అభ్యర్థనలు లెక్కించబడవు, కాబట్టి క్రాలర్ యూజర్ ఏజెంట్‌లకు మాత్రమే కీ ఇచ్చే map మనుషులైన సందర్శకులను వదిలేస్తుంది. ఇక్కడ ప్రతి క్రాలర్‌కు నిమిషానికి 60 అభ్యర్థనలు, 20 burstతో:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

ఇక్కడ కీ యూజర్ ఏజెంట్, కాబట్టి క్రాలర్ పేరును కాపీ చేసే ఎవరైనా ఆ క్రాలర్ బడ్జెట్‌ను పంచుకుంటారు. రేట్ లిమిట్‌కు అది ఆమోదయోగ్యం. allow నియమం కోసం, వెండర్ ప్రచురించిన IP రేంజ్‌లను కూడా సరిపోల్చండి.

Cloudflareలో rate limiting rules ఎడ్జ్ వద్ద ఇదే పని చేస్తాయి. Free ప్లాన్‌లో ఒక నియమం వస్తుంది, 10 సెకన్లలో IP వారీగా లెక్కిస్తుంది, నియమ ఎక్స్‌ప్రెషన్ పాత్‌ను, Verified Bot ఫీల్డ్‌ను ఉపయోగించవచ్చు. అనేక చిరునామాలపై అభ్యర్థనలను విస్తరించే క్రాలర్‌లకు IP వారీ లెక్కింపు స్థూలమైనది, పై ప్లాన్‌లు మరిన్ని లెక్కింపు ఆప్షన్‌లను జోడిస్తాయి. డిఫాల్ట్ రెస్పాన్స్ 429, మీరు వేరే 4xx కోడ్‌ను, కస్టమ్ బాడీని సెట్ చేయవచ్చు. AI Crawl Control ప్రతి క్రాలర్‌కు Allow, Block, ప్రైవేట్ బీటాలో Charge అందిస్తుంది, కానీ రేట్ సెట్టింగ్ లేదు.

మీరు ఏది ఉపయోగించినా, /robots.txtను లిమిట్ బయట ఉంచండి. robots.txtకు సర్వర్ ఎర్రర్ వస్తే సైట్ మొత్తం నిషేధించబడిందని క్రాలర్ భావించాలని RFC 9309 చెబుతుంది, ఫైల్ లేనట్లుగా పరిగణించే 4xx కోడ్‌ల నుంచి Google 429ను మినహాయిస్తుంది.

కాషింగ్ క్రాలర్ లోడ్‌ను తగ్గించగలదా?

తరచుగా రేట్ లిమిట్ కంటే ఎక్కువగా. క్రాలర్‌లు ఎక్కువగా ప్రతి సందర్శకుడికీ ఒకేలా ఉండే పబ్లిక్ పేజీలను అడుగుతాయి, కాబట్టి వాటిని CDN లేదా పేజీ కాష్ నుంచి అందిస్తే ఖరీదైన రెండర్‌లు చౌకైన hitలుగా మారతాయి. మీ కాష్ క్రాలర్ యూజర్ ఏజెంట్‌ల కోసం కాష్ కాని ప్రత్యేక వేరియంట్ ఉంచడం లేదని తనిఖీ చేయండి.

కండిషనల్ అభ్యర్థనలు కూడా సహాయపడతాయి. తన క్రాలర్‌లు ETag, If-None-Matchతో, Last-Modified, If-Modified-Sinceతో HTTP కాషింగ్‌కు సపోర్ట్ ఇస్తాయని, రెండూ ఉన్నప్పుడు ETag ఉపయోగిస్తాయని Google చెబుతుంది. OpenAI, Anthropic, Perplexity క్రాలర్ పేజీలు తమ క్రాలర్‌లు కండిషనల్ అభ్యర్థనలు పంపుతాయో చెప్పవు, కాబట్టి ఆ ఆదాను Googleకు మాత్రమే లెక్కించండి.

క్రాలర్‌లను నెమ్మదించేటప్పుడు ఏమి చేయకూడదు?

క్రాలర్‌లు ఇంకా లోపలికి వస్తున్నాయో ఎలా తనిఖీ చేయాలి?

రేట్ లిమిట్‌లను మరీ కఠినంగా సెట్ చేయడం సులభం. ఉచిత AISeeWhy తనిఖీ పేజీని అసలు బ్రౌజర్‌తో పాటు 16 AI, సెర్చ్ క్రాలర్‌లుగా తెస్తుంది, ప్రతి క్రాలర్‌కు మీ robots.txt వర్తింపజేస్తుంది, ఫైర్‌వాల్ ఛాలెంజ్ పేజీలను గుర్తిస్తుంది, కాబట్టి బ్రౌజర్‌లకు కాకుండా క్రాలర్‌లకు వేరుగా జవాబిచ్చే నియమం బయటపడుతుంది. ప్రతి క్రాలర్‌కు ఒక అభ్యర్థన సహేతుకమైన లిమిట్‌ను దాటదు, అదే ఉద్దేశం: సాధారణ అభ్యర్థనలు ఇంకా వెళ్తున్నాయని నిర్ధారించుకోవడానికి నియమాలు మార్చిన తర్వాత దీన్ని రన్ చేయండి. మీ లాగ్‌లలోని IP నిజంగా GPTBotకు లేదా మరో క్రాలర్‌కు చెందినదో ఉచిత AI క్రాలర్ IP తనిఖీ చెబుతుంది.

ఉచిత టూల్స్

తదుపరి దశలు

ఈ వ్యాసంలోని క్రాలర్‌లు

తరచుగా అడిగే ప్రశ్నలు

Google Crawl-delayకు సపోర్ట్ ఇస్తుందా?

లేదు. Google robots.txt డాక్యుమెంటేషన్ crawl-delayను తాను సపోర్ట్ చేయని ఫీల్డ్‌లలో జాబితా చేస్తుంది. Googlebotను కొద్దిసేపు నెమ్మదించడానికి, కొన్ని అభ్యర్థనలకు 503, 500 లేదా 429 ఇవ్వండి; ఎక్కువ కాలం తగ్గింపు కోసం, Google Search Console ద్వారా ప్రత్యేక అభ్యర్థనను అందిస్తుంది.

ClaudeBot Crawl-delayను గౌరవిస్తుందా?

నాన్-స్టాండర్డ్ Crawl-delay ఎక్స్‌టెన్షన్‌కు సపోర్ట్ ఇస్తుందని Anthropic చెబుతుంది. దాన్ని ClaudeBot గ్రూప్‌లో పెట్టి, మీ User-agent: * గ్రూప్‌లోని ఏవైనా Disallow నియమాలను అక్కడ మళ్లీ రాయండి.

GPTBot, PerplexityBot Crawl-delayకు సపోర్ట్ ఇస్తాయా?

OpenAI, Perplexity క్రాలర్ పేజీలు Crawl-delayను ప్రస్తావించవు, కాబట్టి దాని ప్రభావం డాక్యుమెంట్ కాలేదు. అదనపు అభ్యర్థనలకు 429తో జవాబిచ్చే సర్వర్-సైడ్ లిమిట్ ఉపయోగించండి.

429 రెస్పాన్స్ నా ర్యాంకింగ్‌లను దెబ్బతీస్తుందా?

తక్కువ కాలానికి కాదు. క్రాలింగ్‌ను తాత్కాలికంగా తగ్గించే మార్గంగా Google 429, 503లను డాక్యుమెంట్ చేస్తుంది, కానీ అనేక రోజులు వాటిని ఇచ్చే URLలు తన ఇండెక్స్ నుంచి తొలగించబడవచ్చని హెచ్చరిస్తుంది.

లోడ్ తగ్గించడానికి GPTBotను బ్లాక్ చేయాలా?

చేయవచ్చు. GPTBot ట్రైనింగ్‌కు ఉపయోగపడే కంటెంట్‌ను క్రాల్ చేస్తుందని, ప్రతి robots.txt సెట్టింగ్ స్వతంత్రమని OpenAI చెబుతుంది, కాబట్టి దాన్ని నిషేధించడం మిమ్మల్ని ChatGPT సెర్చ్ నుంచి తొలగించదు, అది OAI-SearchBotను ఉపయోగిస్తుంది. లోడ్ OpenAI చిరునామాల నుంచే వస్తోందని నిర్ధారించుకోవడానికి ముందుగా మీ లాగ్‌లను తనిఖీ చేయండి.

మూలాలు

మరిన్ని వ్యాసాలు