Արդյո՞ք Cloudflare-ն արգելափակում է AI ռոբոտներին։ Ինչպես պարզել և ուղղել

Տեսեք մոտ 30 վայրկյանում՝ Cloudflare-ը կամ այլ ֆայրվոլը AI ռոբոտներին պատասխանո՞ւմ է արգելքով, և ստացեք կանոնը, որը թույլ է տալիս անցնել ճիշտներին։

Անվճար · Առանց գրանցման · Արդյունքը 30 վայրկյանում

403-եր, 429-եր և ստուգման էջեր

Ռոբոտները կարող են ստանալ արգելք կամ Just a moment... էջ, մինչդեռ ձեր բրաուզերը ստանում է իրականը։ Ձեր էջը հարցվում է երկու եղանակով, և տարբերությունը նշվում է։

robots.txt-ը ընդդեմ ֆայրվոլի

Երբ robots.txt-ը թույլատրում է ռոբոտին, բայց սերվերը մերժում է նրան, հաշվետվությունը ցույց է տալիս հակասությունը, ուստի գիտեք, թե որ կարգավորումը փոխել։

Ֆայրվոլն անվանված

Պատասխանած CDN-ը կամ ֆայրվոլն անվանվում է, ներառյալ Cloudflare-ը, այնպես որ պետք չէ գուշակել, թե որտեղ նայել։

Կիրառելիք կանոնը

Յուրաքանչյուր գտածո գալիս է լուծմամբ, օրինակ՝ Cloudflare-ի կանոնով կամ թույլատրելի ցուցակի քայլով։ Անվճար ստուգումը ցույց է տալիս ձեր միավորը և առաջին գտածոն, իսկ ամբողջական հաշվետվությունը՝ $29, մեկ անգամ։

Կարճ պատասխան

Cloudflare-ը և այլ ֆայրվոլներ կարող են AI ռոբոտներին պատասխանել 403-ով, 429-ով կամ «Just a moment...» ստուգման էջով, մինչդեռ բրաուզերները ստանում են իրական էջը, նույնիսկ երբ robots.txt-ը թույլատրում է ռոբոտին։ Ստուգեք՝ էջը հարցնելով ռոբոտի user agent-ով, ապա թույլատրեք AI որոնողական ռոբոտներին AI Crawl Control-ում կամ WAF-ի skip կանոնով։

Գտեք և ուղղեք 3 քայլով

  1. Հարցրեք էջը երկու անգամ

    Մեկ անգամ բրաուզերի user agent-ով, մեկ անգամ՝ ռոբոտի։ 403, 429 կամ 503 միայն ռոբոտի համար, Just a moment... էջը կամ շատ ավելի կարճ 200-ը նշանակում է ֆայրվոլի արգելք։

  2. Թույլատրեք որոնողական ռոբոտներին

    Cloudflare-ում բացեք AI Crawl Control, անցեք Crawlers ցանկին և Action սյունակում ընտրեք Allow այն ռոբոտների համար, որոնք ուզում եք, օրինակ՝ OAI-SearchBot։

  3. Անհրաժեշտության դեպքում շրջանցեք մյուս պաշտպանությունները

    Եթե WAF-ի custom կանոնը, Super Bot Fight Mode-ը կամ հարցումների սահմանափակումը դեռ արգելափակում են նրանց, ավելացրեք կանոն, տեղադրված առաջին տեղում, որը շրջանցում է այդ գործառույթները ստուգված ռոբոտների համար։ Նախընտրեք verified bot դաշտը կամ մատակարարի հրապարակած IP տիրույթները user agent-ի համընկնմանը։

Հաճախ տրվող հարցեր

Որտե՞ղ Cloudflare-ում տեսնել, թե որ AI ռոբոտներն են արգելափակված

Բացեք AI Crawl Control-ը Cloudflare վահանակում։ Նրա ռոբոտների ցանկը ցույց է տալիս յուրաքանչյուր AI ռոբոտ, որը Cloudflare-ը տեսել է ձեր դոմենում, քանի հարցում է այն կատարել և արդյոք նրա գործողությունը Allow է, թե Block, և այնտեղ կարող եք փոխել գործողությունը։ Այլ գործառույթներ, օրինակ՝ Bot Fight Mode-ը, դեռ կարող են արգելափակել ձեր թույլատրած ռոբոտը, ուստի արդյունքը հաստատեք ռոբոտի user agent-ով կատարված հարցմամբ։

Արդյո՞ք Cloudflare-ը լռելյայն արգելափակում է AI ռոբոտներին

Դա կախված է ձեր հաշվից, սակագնից և ձեր զոնայի կարգավորումներից, և Cloudflare-ը ժամանակի ընթացքում փոխել է այս տարբերակները։ Ստուգեք AI Crawl Control-ը և ձեր բոտերի կարգավորումները և փորձարկեք ռոբոտի user agent-ով՝ ենթադրելու փոխարեն։

Ինչո՞ւ է իմ կայքն աշխատում բրաուզերում, բայց ոչ ռոբոտների համար

Ֆայրվոլները գնահատում են յուրաքանչյուր հարցում։ Բրաուզերն անցնում է JavaScript ստուգումները և պահում cookie-ներ, ռոբոտը՝ ոչ, ուստի այն կարող է ստանալ ստուգման էջ կամ 403, որը դուք երբեք չեք տեսնում։

Անվտա՞նգ է AI ռոբոտներին բաց թողնել WAF-ով

Անվանված ռոբոտին թույլատրելը ցածր ռիսկ ունի, եթե այն հաստատում եք մատակարարի IP տիրույթներով կամ Cloudflare-ի հաստատված բոտի ազդանշանով։ Միայն user agent-ին վստահող կանոնները ներս են թողնում նաև յուրաքանչյուրին, ով պատճենում է այն։

Արդյո՞ք Cloudflare-ի էլ. հասցեների քողարկման գործառույթն ազդում է AI ռոբոտների վրա

Այն էլ. հասցեները փոխարինում է հղումով, որը վերծանում է միայն սկրիպտը, ուստի ռոբոտները հասցեի փոխարեն տեսնում են փոխարինող տեքստ։ Եթե ցանկանում եք, որ ձեր կոնտակտային էլ. հասցեն ընթեռնելի լինի, անջատեք Email Address Obfuscation-ը Scrape Shield-ում և ցույց տվեք հասցեն որպես պարզ տեքստ։

Կարդալ ամբողջական ուղեցույցը

Բոտերից պաշտպանությունը գոյություն ունի սքրեյփերներին և չարաշահումները կանգնեցնելու համար, և այն լավ է անում դա։ Խնդիրն այն է, որ AI որոնողական ռոբոտները նույնպես բոտեր են։ Տարիներ առաջ միացված անվտանգության կարգավորումը, հարցումների սահմանափակումը կամ անհայտ user agent-ների դեմ լայն կանոնը կարող են աննկատ դուրս պահել ձեզ մեջբերող ռոբոտներին, մինչդեռ ձեր սեփական այցերը միանգամայն սովորական տեսք ունեն։

Ինչո՞ւ ֆայրվոլը կարող է արգելափակել AI ռոբոտներին

Ֆայրվոլները գնահատում են յուրաքանչյուր հարցում։ Ռոբոտը չի անցնում JavaScript ստուգումներ, cookie-ներ չի պահում բրաուզերի պես և հաճախ անընդմեջ բազմաթիվ էջեր է հարցնում, ուստի կարող է ճիշտ նման լինել այն երթևեկին, որը կանգնեցնելու համար ստեղծված է բոտերից պաշտպանությունը։ Տարածված պատճառներն են.

  • Բոտերից պաշտպանության գործառույթներ, որոնք ստուգում են հայտնի բոտերի օրինաչափություններին համապատասխանող երթևեկը։ Օրինակ՝ Cloudflare-ի Bot Fight Mode-ը բոտերին տալիս է հաշվողականորեն ծանր ստուգումներ։
  • WAF-ի հատուկ կանոններ, որոնք արգելափակում կամ ստուգում են «bot» կամ «crawler» բառեր պարունակող user agent-ները, կամ թույլատրում են միայն որոնողական համակարգերի կարճ ցուցակ։
  • Կարգավորումներ, որոնք AI ռոբոտներին արգելափակում են որպես կատեգորիա։ Cloudflare-ը թույլ է տալիս քաղաքականություն սահմանել Search, Agent և Training ռոբոտների համար, և այնտեղ Block կարգավորումը կիրառվում է բոլորի նկատմամբ։
  • Հարցումների սահմանափակում, որը ռոբոտի արագ հաջորդական հարցումներին պատասխանում է 429-ով։
  • Երկրի կամ ASN-ի արգելափակումներ, որոնք պատահաբար ընդգրկում են այն ցանցերը, որտեղից աշխատում են ռոբոտները։

Ինչպե՞ս տարբերել ֆայրվոլի արգելափակումը robots.txt-ի արգելափակումից

robots.txt-ի արգելափակումը քաղաքավարի խնդրանք է. ռոբոտը կարդում է ձեր կանոնները և չի բեռնում էջը։ Ֆայրվոլի արգելափակումը պատասխան է. ռոբոտը հարցնում է էջը և ստանում այլ բան։ Երկրորդ տեսակը կարող եք տեսնել ուղղակիորեն։ Հարցրեք էջը երկու անգամ՝ մեկ անգամ բրաուզերի user agent-ով, մեկ անգամ՝ ռոբոտի, և համեմատեք.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Ֆայրվոլի արգելափակման նշաններ. 403, 429 կամ 503 կարգավիճակ միայն ռոբոտի համար, Just a moment... կամ Attention Required! | Cloudflare վերնագրով էջ, պատասխան, որը պարունակում է /cdn-cgi/challenge-platform, կամ 200 պատասխան, որը շատ ավելի կարճ է, քան բրաուզերինը։ Հիշեք, որ ձեր թեստը գալիս է ձեր սեփական IP-ից, ոչ թե ռոբոտի հաստատված IP տիրույթից, ուստի ցույց է տալիս, թե ինչպես է ֆայրվոլը վերաբերվում user agent-ին, ոչ թե բոլոր մանրամասները, թե ինչպես է վերաբերվում իրական ռոբոտին։

Ինչպե՞ս թույլատրել AI որոնողական ռոբոտներին Cloudflare-ում

Cloudflare-ի AI Crawl Control-ը, որը հասանելի է բոլոր սակագներում, ցույց է տալիս ձեր դոմենն այցելող AI ռոբոտները և թույլ է տալիս յուրաքանչյուրի համար գործողություն սահմանել։ Վահանակում բացեք AI Crawl Control-ը, անցեք Crawlers ցուցակին և Action սյունակում յուրաքանչյուր ռոբոտի համար ընտրեք Allow կամ Block։ Cloudflare-ն ասում է, որ այնտեղ արգելափակելը ստեղծում կամ թարմացնում է WAF-ի հատուկ կանոն ձեր զոնայում։

Եթե ռոբոտին արգելափակողը WAF-ի հատուկ կանոնն է, Super Bot Fight Mode-ը կամ հարցումների սահմանափակումը, ավելացրեք հատուկ կանոն, որը շրջանցում է այդ գործառույթները հաստատված բոտերի և ռոբոտի նշանի համար.

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Տեղադրեք կանոնն առաջինը։ Նկատի ունեցեք, որ user agent-ով համընկնումը բաց է թողնում նաև յուրաքանչյուրին, ով կեղծում է այդ user agent-ը։ Որտեղ հնարավոր է, նախընտրեք հաստատված բոտի դաշտը (cf.client.bot) կամ մատակարարի հրապարակած IP տիրույթները։

Իսկ ի՞նչ կասեք Bot Fight Mode-ի մասին

Cloudflare-ի փաստաթղթերը հստակ ասում են, որ Bot Fight Mode-ը հնարավոր չէ շրջանցել WAF-ի հատուկ կանոններով կամ Page Rules-ով։ Եթե ռոբոտներին ստուգողը հենց այս գործառույթն է, skip կանոնը չի օգնի։ Տարբերակներն են անջատել Bot Fight Mode-ը կամ օգտագործել Super Bot Fight Mode-ը այն սակագնում, որն ունի այն. այն աշխատում է Ruleset Engine-ի վրա և աջակցում է skip կանոններ։

Ո՞ր ռոբոտներին բաց թողնել

Բաժանեք ռոբոտներին ըստ այն բանի, թե ինչ են անում։ Որոնողական և օգտատիրոջ բեռնման ռոբոտներն են որոշում, թե արդյոք AI պատասխանները կարող են ձեզ գտնել և մեջբերել։ Ուսուցման ռոբոտները տվյալներ են հավաքում մոդելների համար, և դրանց արգելափակումը օրինական ընտրություն է, որը ձեզ չի հեռացնում AI որոնումից։

  • Որոնում. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot։
  • Օգտատիրոջ բեռնումներ. ChatGPT-User, Claude-User, Perplexity-User։
  • Ուսուցում. GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider։

Cloudflare-ի սեփական քաղաքականության կարգավորումներն օգտագործում են նույն բաժանումը՝ Search, Agent և Training, ուստի կարող եք թույլատրել առաջին երկուսը և երրորդի մասին որոշել առանձին։ Եթե օգտագործում եք այլ ֆայրվոլ կամ CDN, սկզբունքը նույնն է. ավելացրեք ռոբոտի նշանը թույլատրված ցուցակում՝ հաստատված մատակարարի հրապարակած IP տիրույթներով կամ հակադարձ DNS-ով, որտեղ դա առաջարկվում է, որպեսզի այն ստանա նույն պատասխանը, ինչ բրաուզերը։

Ինչպե՞ս է AISeeWhy-ն հայտնաբերում ֆայրվոլի արգելափակումները

AISeeWhy-ն հարցնում է ձեր էջը որպես 14 ռոբոտ և սովորական բրաուզեր, համեմատում է կարգավիճակը, չափը և վերահղումները, ճանաչում է ստուգման էջերը և անվանում է պատասխանած ֆայրվոլը կամ CDN-ը։ Երբ robots.txt-ը թույլատրում է ռոբոտին, բայց սերվերն արգելափակում է նրան, հաշվետվությունը ցույց է տալիս հակասությունը և տալիս Cloudflare-ի կանոնը կամ թույլատրված ցուցակի քայլը՝ այն ուղղելու համար։

Այս խնդրի ուղղումները

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Աղբյուրներ

Այլ հոդվածներ

Հրապարակված է · Թարմացված է