Cloudflare AI క్రాలర్‌లను బ్లాక్ చేస్తోందా? కనుగొని సరిచేయడం ఎలా

Cloudflare లేదా మరో ఫైర్‌వాల్ AI క్రాలర్‌లకు బ్లాక్‌తో జవాబిస్తోందో లేదో సుమారు 30 సెకన్లలో చూడండి, సరైన వాటిని అనుమతించే నియమాన్ని పొందండి.

ఉచితం · సైన్-అప్ అవసరం లేదు · 30 సెకన్లలో ఫలితాలు

403లు, 429లు, ఛాలెంజ్ పేజీలు

మీ బ్రౌజర్‌కు అసలు పేజీ వస్తుండగా, క్రాలర్‌లకు బ్లాక్ లేదా Just a moment... పేజీ రావచ్చు. మీ పేజీని రెండు విధాలుగా అభ్యర్థించి, తేడాను గుర్తిస్తాం.

robots.txt వర్సెస్ ఫైర్‌వాల్

robots.txt ఒక క్రాలర్‌ను అనుమతించి, సర్వర్ తిరస్కరిస్తే, నివేదిక ఆ వైరుధ్యాన్ని చూపిస్తుంది, కాబట్టి ఏ సెట్టింగ్ మార్చాలో తెలుస్తుంది.

ఫైర్‌వాల్ పేరుతో సహా

జవాబిచ్చిన CDN లేదా ఫైర్‌వాల్ పేరు, Cloudflare అయినా, చెబుతాం, కాబట్టి ఎక్కడ చూడాలో ఊహించనవసరం లేదు.

వర్తింపజేయాల్సిన నియమం

ప్రతి అంశంతో పాటు Cloudflare నియమం లేదా అనుమతి జాబితా దశ వంటి పరిష్కారం ఉంటుంది. ఉచిత తనిఖీ మీ స్కోర్‌ను, మొదటి అంశాన్ని చూపిస్తుంది; పూర్తి నివేదిక $29, ఒక్కసారి చెల్లింపు.

చిన్న జవాబు

robots.txt క్రాలర్‌ను అనుమతించినా, బ్రౌజర్‌లకు అసలు పేజీ ఇస్తూ Cloudflare, ఇతర ఫైర్‌వాల్‌లు AI క్రాలర్‌లకు 403, 429 లేదా "Just a moment..." ఛాలెంజ్ పేజీతో జవాబివ్వగలవు. క్రాలర్ యూజర్ ఏజెంట్‌తో పేజీని అభ్యర్థించి తనిఖీ చేయండి, తర్వాత AI Crawl Controlలో లేదా WAF skip నియమంతో AI సెర్చ్ క్రాలర్‌లను అనుమతించండి.

3 దశల్లో కనుగొని సరిచేయండి

  1. పేజీని రెండుసార్లు అభ్యర్థించండి

    ఒకసారి బ్రౌజర్ యూజర్ ఏజెంట్‌తో, ఒకసారి క్రాలర్ యూజర్ ఏజెంట్‌తో. క్రాలర్‌కు మాత్రమే 403, 429 లేదా 503 రావడం, Just a moment... పేజీ, లేదా చాలా చిన్న 200 అంటే ఫైర్‌వాల్ బ్లాక్.

  2. సెర్చ్ క్రాలర్‌లను అనుమతించండి

    Cloudflareలో AI Crawl Control తెరిచి, Crawlers జాబితాకు వెళ్లి, మీకు కావలసిన OAI-SearchBot వంటి క్రాలర్‌ల Action కాలమ్‌లో Allow సెట్ చేయండి.

  3. అవసరమైతే ఇతర రక్షణలను దాటవేయండి

    WAF custom rule, Super Bot Fight Mode లేదా రేట్ లిమిటింగ్ ఇంకా వాటిని బ్లాక్ చేస్తుంటే, వెరిఫై అయిన బాట్‌లకు ఆ ఫీచర్‌లను దాటవేసే నియమాన్ని మొదటిగా ఉంచి జోడించండి. యూజర్ ఏజెంట్ సరిపోలిక కంటే verified bot ఫీల్డ్‌ను లేదా విక్రేత ప్రచురించిన IP పరిధులను ఎంచుకోండి.

తరచుగా అడిగే ప్రశ్నలు

Cloudflareలో ఏ AI క్రాలర్‌లు బ్లాక్ అయ్యాయో ఎక్కడ చూడాలి?

Cloudflare డాష్‌బోర్డ్‌లో AI Crawl Control తెరవండి. దాని క్రాలర్ జాబితా మీ డొమైన్‌లో Cloudflare చూసిన ప్రతి AI క్రాలర్‌ను, అది ఎన్ని అభ్యర్థనలు చేసిందో, దాని చర్య Allow లేదా Block అని చూపిస్తుంది, అక్కడే చర్యను మార్చవచ్చు. Bot Fight Mode వంటి ఇతర ఫీచర్‌లు మీరు అనుమతించిన క్రాలర్‌ను ఇంకా బ్లాక్ చేయవచ్చు, కాబట్టి క్రాలర్ యూజర్ ఏజెంట్‌తో అభ్యర్థన చేసి ఫలితాన్ని నిర్ధారించుకోండి.

Cloudflare డిఫాల్ట్‌గా AI క్రాలర్‌లను బ్లాక్ చేస్తుందా?

అది మీ ఖాతా, ప్లాన్, మీ జోన్‌లోని సెట్టింగ్‌లపై ఆధారపడి ఉంటుంది, Cloudflare ఈ ఎంపికలను కాలక్రమేణా మార్చింది. ఊహించకుండా, AI Crawl Controlను, మీ బాట్ సెట్టింగ్‌లను తనిఖీ చేసి, క్రాలర్ యూజర్ ఏజెంట్‌తో పరీక్షించండి.

నా సైట్ బ్రౌజర్‌లో పనిచేస్తుంది కానీ క్రాలర్‌లకు ఎందుకు పనిచేయదు?

ఫైర్‌వాల్‌లు ప్రతి అభ్యర్థనను అంచనా వేస్తాయి. బ్రౌజర్ JavaScript ఛాలెంజ్‌లను దాటుతుంది, కుకీలను ఉంచుకుంటుంది; క్రాలర్ అలా చేయదు, కాబట్టి దానికి మీరెప్పుడూ చూడని ఛాలెంజ్ పేజీ లేదా 403 రావచ్చు.

WAF ద్వారా AI క్రాలర్‌లను అనుమతించడం సురక్షితమేనా?

సంస్థ IP పరిధుల ద్వారా లేదా Cloudflare verified bot సిగ్నల్ ద్వారా ధృవీకరిస్తే, పేరున్న క్రాలర్‌ను అనుమతించడంలో ప్రమాదం తక్కువ. యూజర్ ఏజెంట్‌ను మాత్రమే నమ్మే నియమాలు దాన్ని కాపీ చేసే ఎవరినైనా లోపలికి రానిస్తాయి.

Cloudflare ఈమెయిల్ obfuscation ఫీచర్ AI క్రాలర్‌లను ప్రభావితం చేస్తుందా?

ఇది ఈమెయిల్ చిరునామాలను స్క్రిప్ట్ మాత్రమే డీకోడ్ చేయగల లింక్‌తో భర్తీ చేస్తుంది, కాబట్టి క్రాలర్‌లకు చిరునామాకు బదులు ప్లేస్‌హోల్డర్ కనిపిస్తుంది. మీ కాంటాక్ట్ ఈమెయిల్ చదవగలిగేలా ఉండాలంటే, Scrape Shield కింద Email Address Obfuscationను ఆఫ్ చేసి, చిరునామాను సాధారణ టెక్స్ట్‌గా చూపించండి.

పూర్తి గైడ్ చదవండి

బాట్ ప్రొటెక్షన్ స్క్రేపర్‌లను, దుర్వినియోగాన్ని ఆపడానికి ఉంది, ఆ పనిలో అది బాగా పనిచేస్తుంది. సమస్య ఏమిటంటే AI సెర్చ్ క్రాలర్‌లు కూడా బాట్‌లే. ఏళ్ల క్రితం ఆన్ చేసిన ఒక సెక్యూరిటీ సెట్టింగ్, ఒక రేట్ లిమిట్, లేదా తెలియని యూజర్ ఏజెంట్‌లపై విస్తృతమైన నియమం, మిమ్మల్ని ఉటంకించే క్రాలర్‌లను నిశ్శబ్దంగా బయటే ఆపగలదు, మీ సొంత సందర్శనలు మాత్రం పూర్తిగా మామూలుగా కనిపిస్తాయి.

ఫైర్‌వాల్ AI క్రాలర్‌లను ఎందుకు బ్లాక్ చేస్తుంది?

ఫైర్‌వాల్‌లు ప్రతి అభ్యర్థనను అంచనా వేస్తాయి. క్రాలర్ JavaScript ఛాలెంజ్‌లను నడపదు, బ్రౌజర్‌లా కుకీలను ఉంచుకోదు, తరచుగా వరుసగా చాలా పేజీలను అభ్యర్థిస్తుంది, కాబట్టి బాట్ ప్రొటెక్షన్ ఆపడానికి రూపొందిన ట్రాఫిక్‌లాగే అది కనిపించవచ్చు. సాధారణ కారణాలు:

  • తెలిసిన బాట్ నమూనాలకు సరిపోలే ట్రాఫిక్‌ను ఛాలెంజ్ చేసే బాట్ ప్రొటెక్షన్ ఫీచర్‌లు. ఉదాహరణకు, Cloudflare Bot Fight Mode బాట్‌లకు గణనపరంగా ఖరీదైన ఛాలెంజ్‌లను ఇస్తుంది.
  • "bot" లేదా "crawler" వంటి పదాలు ఉన్న యూజర్ ఏజెంట్‌లను బ్లాక్ లేదా ఛాలెంజ్ చేసే, లేదా కొన్ని సెర్చ్ ఇంజిన్‌ల చిన్న జాబితాను మాత్రమే అనుమతించే WAF custom rules.
  • AI క్రాలర్‌లను ఒక వర్గంగా బ్లాక్ చేసే సెట్టింగ్‌లు. Cloudflare Search, Agent, Training క్రాలర్‌లకు విధానాలను సెట్ చేయనిస్తుంది, అక్కడ Block సెట్టింగ్ వాటన్నింటికీ వర్తిస్తుంది.
  • క్రాలర్ వేగంగా పంపే వరుస అభ్యర్థనలకు 429తో జవాబిచ్చే రేట్ లిమిటింగ్.
  • క్రాలర్‌లు నడిచే నెట్‌వర్క్‌లను అనుకోకుండా కవర్ చేసే దేశం లేదా ASN బ్లాక్‌లు.

ఫైర్‌వాల్ బ్లాక్‌ను robots.txt బ్లాక్ నుంచి ఎలా వేరు చేయాలి?

robots.txt బ్లాక్ ఒక మర్యాదపూర్వక విజ్ఞప్తి: క్రాలర్ మీ నియమాలను చదివి పేజీని తెచ్చుకోదు. ఫైర్‌వాల్ బ్లాక్ ఒక జవాబు: క్రాలర్ పేజీని అభ్యర్థిస్తుంది, దానికి వేరే ఏదో వస్తుంది. రెండో రకాన్ని మీరు నేరుగా చూడవచ్చు. పేజీని రెండుసార్లు అభ్యర్థించండి, ఒకసారి బ్రౌజర్ యూజర్ ఏజెంట్‌తో, ఒకసారి క్రాలర్ యూజర్ ఏజెంట్‌తో, పోల్చండి.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

ఫైర్‌వాల్ బ్లాక్ సంకేతాలు: క్రాలర్‌కు మాత్రమే స్టేటస్ 403, 429 లేదా 503; Just a moment... లేదా Attention Required! | Cloudflare అనే టైటిల్ ఉన్న పేజీ; /cdn-cgi/challenge-platform ఉన్న బాడీ; లేదా బ్రౌజర్‌కు వచ్చిన దాని కంటే చాలా చిన్న 200 ప్రతిస్పందన. మీ పరీక్ష క్రాలర్ ధృవీకరించిన IP పరిధి నుంచి కాకుండా మీ సొంత IP నుంచి వెళ్తుందని గుర్తుంచుకోండి, కాబట్టి ఫైర్‌వాల్ యూజర్ ఏజెంట్‌ను ఎలా చూస్తుందో అది చూపిస్తుంది, అసలు క్రాలర్‌ను అది ఎలా చూస్తుందో ప్రతి వివరాన్నీ కాదు.

Cloudflareలో AI సెర్చ్ క్రాలర్‌లను ఎలా అనుమతించాలి?

అన్ని ప్లాన్‌లలో అందుబాటులో ఉన్న Cloudflare AI Crawl Control మీ డొమైన్‌ను సందర్శించే AI క్రాలర్‌లను జాబితా చేస్తుంది, ఒక్కోదానికి చర్యను సెట్ చేయనిస్తుంది. డాష్‌బోర్డ్‌లో AI Crawl Controlను తెరిచి, Crawlers జాబితాకు వెళ్లి, ప్రతి క్రాలర్‌కు Action కాలమ్‌లో Allow లేదా Block ఎంచుకోండి. అక్కడ బ్లాక్ చేస్తే మీ జోన్‌లో WAF custom rule సృష్టించబడుతుందని లేదా అప్‌డేట్ అవుతుందని Cloudflare చెబుతుంది.

క్రాలర్‌ను బ్లాక్ చేస్తున్నది WAF custom rule, Super Bot Fight Mode లేదా రేట్ లిమిటింగ్ అయితే, verified bots కోసం, క్రాలర్ టోకెన్ కోసం ఆ ఫీచర్‌లను దాటవేసే custom rule జోడించండి:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

నియమాన్ని మొదట ఉంచండి. యూజర్ ఏజెంట్‌పై సరిపోల్చడం ఆ యూజర్ ఏజెంట్‌ను నకిలీ చేసే ఎవరినైనా లోపలికి రానిస్తుందని గమనించండి. వీలైన చోట verified bot ఫీల్డ్‌ను (cf.client.bot) లేదా సంస్థ ప్రచురించే IP పరిధులను ఉపయోగించండి.

Bot Fight Mode సంగతేమిటి?

Bot Fight Modeను WAF custom rules లేదా Page Rules ద్వారా దాటవేయలేమని Cloudflare డాక్యుమెంటేషన్ స్పష్టంగా చెబుతుంది. క్రాలర్‌లను ఛాలెంజ్ చేస్తున్న ఫీచర్ అదే అయితే, skip నియమం సహాయపడదు. ఎంపికలు: Bot Fight Modeను ఆఫ్ చేయడం, లేదా అది ఉన్న ప్లాన్‌లో Super Bot Fight Modeను ఉపయోగించడం, అది Ruleset Engineపై నడుస్తుంది, skip నియమాలకు మద్దతిస్తుంది.

ఏ క్రాలర్‌లను అనుమతించాలి?

క్రాలర్‌లను అవి చేసే పనిని బట్టి వేరు చేయండి. AI జవాబులు మిమ్మల్ని కనుగొని ఉటంకించగలవా అనేది సెర్చ్, యూజర్-ఫెచ్ క్రాలర్‌లు నిర్ణయిస్తాయి. ట్రైనింగ్ క్రాలర్‌లు మోడల్‌ల కోసం డేటాను సేకరిస్తాయి, వాటిని బ్లాక్ చేయడం న్యాయమైన ఎంపిక, అది మిమ్మల్ని AI సెర్చ్ నుంచి తొలగించదు.

  • సెర్చ్: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • యూజర్ ఫెచ్‌లు: ChatGPT-User, Claude-User, Perplexity-User.
  • ట్రైనింగ్: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare సొంత విధాన సెట్టింగ్‌లు కూడా ఇదే Search, Agent, Training విభజనను ఉపయోగిస్తాయి, కాబట్టి మొదటి రెండింటిని అనుమతించి మూడోదాని గురించి విడిగా నిర్ణయించవచ్చు. మీరు వేరే ఫైర్‌వాల్ లేదా CDN ఉపయోగిస్తే, సూత్రం అదే: క్రాలర్ టోకెన్‌ను allowlistలో చేర్చండి, అందుబాటులో ఉన్న చోట సంస్థ ప్రచురించిన IP పరిధులు లేదా reverse DNS ద్వారా ధృవీకరించండి, అలా దానికి బ్రౌజర్‌కు వచ్చే ప్రతిస్పందనే వస్తుంది.

AISeeWhy ఫైర్‌వాల్ బ్లాక్‌లను ఎలా గుర్తిస్తుంది?

AISeeWhy మీ పేజీని 14 క్రాలర్‌లుగా, ఒక సాధారణ బ్రౌజర్‌గా అభ్యర్థిస్తుంది, స్టేటస్, పరిమాణం, రీడైరెక్ట్‌లను పోలుస్తుంది, ఛాలెంజ్ పేజీలను గుర్తిస్తుంది, జవాబిచ్చిన ఫైర్‌వాల్ లేదా CDN పేరు చెబుతుంది. robots.txt క్రాలర్‌ను అనుమతించి సర్వర్ దాన్ని బ్లాక్ చేసినప్పుడు, రిపోర్ట్ ఆ వైరుధ్యాన్ని చూపించి, సరిచేయడానికి Cloudflare నియమాన్ని లేదా allowlist దశను ఇస్తుంది.

ఈ సమస్యకు పరిష్కారాలు

ఉచిత టూల్స్

తదుపరి దశలు

ఈ వ్యాసంలోని క్రాలర్‌లు

మూలాలు

మరిన్ని వ్యాసాలు

ప్రచురించినది · అప్‌డేట్ చేసినది