Արդյո՞ք Cloudflare-ն արգելափակում է AI ռոբոտներին։ Ինչպես պարզել և ուղղել
Տեսեք մոտ 30 վայրկյանում՝ Cloudflare-ը կամ այլ ֆայրվոլը AI ռոբոտներին պատասխանո՞ւմ է արգելքով, և ստացեք կանոնը, որը թույլ է տալիս անցնել ճիշտներին։
Անվճար · Առանց գրանցման · Արդյունքը 30 վայրկյանում
403-եր, 429-եր և ստուգման էջեր
Ռոբոտները կարող են ստանալ արգելք կամ Just a moment... էջ, մինչդեռ ձեր բրաուզերը ստանում է իրականը։ Ձեր էջը հարցվում է երկու եղանակով, և տարբերությունը նշվում է։
robots.txt-ը ընդդեմ ֆայրվոլի
Երբ robots.txt-ը թույլատրում է ռոբոտին, բայց սերվերը մերժում է նրան, հաշվետվությունը ցույց է տալիս հակասությունը, ուստի գիտեք, թե որ կարգավորումը փոխել։
Ֆայրվոլն անվանված
Պատասխանած CDN-ը կամ ֆայրվոլն անվանվում է, ներառյալ Cloudflare-ը, այնպես որ պետք չէ գուշակել, թե որտեղ նայել։
Կիրառելիք կանոնը
Յուրաքանչյուր գտածո գալիս է լուծմամբ, օրինակ՝ Cloudflare-ի կանոնով կամ թույլատրելի ցուցակի քայլով։ Անվճար ստուգումը ցույց է տալիս ձեր միավորը և առաջին գտածոն, իսկ ամբողջական հաշվետվությունը՝ $29, մեկ անգամ։
Cloudflare-ը և այլ ֆայրվոլներ կարող են AI ռոբոտներին պատասխանել 403-ով, 429-ով կամ «Just a moment...» ստուգման էջով, մինչդեռ բրաուզերները ստանում են իրական էջը, նույնիսկ երբ robots.txt-ը թույլատրում է ռոբոտին։ Ստուգեք՝ էջը հարցնելով ռոբոտի user agent-ով, ապա թույլատրեք AI որոնողական ռոբոտներին AI Crawl Control-ում կամ WAF-ի skip կանոնով։
Գտեք և ուղղեք 3 քայլով
- Հարցրեք էջը երկու անգամ
Մեկ անգամ բրաուզերի user agent-ով, մեկ անգամ՝ ռոբոտի։ 403, 429 կամ 503 միայն ռոբոտի համար,
Just a moment...էջը կամ շատ ավելի կարճ 200-ը նշանակում է ֆայրվոլի արգելք։ - Թույլատրեք որոնողական ռոբոտներին
Cloudflare-ում բացեք AI Crawl Control, անցեք Crawlers ցանկին և Action սյունակում ընտրեք Allow այն ռոբոտների համար, որոնք ուզում եք, օրինակ՝
OAI-SearchBot։ - Անհրաժեշտության դեպքում շրջանցեք մյուս պաշտպանությունները
Եթե WAF-ի custom կանոնը, Super Bot Fight Mode-ը կամ հարցումների սահմանափակումը դեռ արգելափակում են նրանց, ավելացրեք կանոն, տեղադրված առաջին տեղում, որը շրջանցում է այդ գործառույթները ստուգված ռոբոտների համար։ Նախընտրեք verified bot դաշտը կամ մատակարարի հրապարակած IP տիրույթները user agent-ի համընկնմանը։
Հաճախ տրվող հարցեր
Որտե՞ղ Cloudflare-ում տեսնել, թե որ AI ռոբոտներն են արգելափակված
Բացեք AI Crawl Control-ը Cloudflare վահանակում։ Նրա ռոբոտների ցանկը ցույց է տալիս յուրաքանչյուր AI ռոբոտ, որը Cloudflare-ը տեսել է ձեր դոմենում, քանի հարցում է այն կատարել և արդյոք նրա գործողությունը Allow է, թե Block, և այնտեղ կարող եք փոխել գործողությունը։ Այլ գործառույթներ, օրինակ՝ Bot Fight Mode-ը, դեռ կարող են արգելափակել ձեր թույլատրած ռոբոտը, ուստի արդյունքը հաստատեք ռոբոտի user agent-ով կատարված հարցմամբ։
Արդյո՞ք Cloudflare-ը լռելյայն արգելափակում է AI ռոբոտներին
Դա կախված է ձեր հաշվից, սակագնից և ձեր զոնայի կարգավորումներից, և Cloudflare-ը ժամանակի ընթացքում փոխել է այս տարբերակները։ Ստուգեք AI Crawl Control-ը և ձեր բոտերի կարգավորումները և փորձարկեք ռոբոտի user agent-ով՝ ենթադրելու փոխարեն։
Ինչո՞ւ է իմ կայքն աշխատում բրաուզերում, բայց ոչ ռոբոտների համար
Ֆայրվոլները գնահատում են յուրաքանչյուր հարցում։ Բրաուզերն անցնում է JavaScript ստուգումները և պահում cookie-ներ, ռոբոտը՝ ոչ, ուստի այն կարող է ստանալ ստուգման էջ կամ 403, որը դուք երբեք չեք տեսնում։
Անվտա՞նգ է AI ռոբոտներին բաց թողնել WAF-ով
Անվանված ռոբոտին թույլատրելը ցածր ռիսկ ունի, եթե այն հաստատում եք մատակարարի IP տիրույթներով կամ Cloudflare-ի հաստատված բոտի ազդանշանով։ Միայն user agent-ին վստահող կանոնները ներս են թողնում նաև յուրաքանչյուրին, ով պատճենում է այն։
Արդյո՞ք Cloudflare-ի էլ. հասցեների քողարկման գործառույթն ազդում է AI ռոբոտների վրա
Այն էլ. հասցեները փոխարինում է հղումով, որը վերծանում է միայն սկրիպտը, ուստի ռոբոտները հասցեի փոխարեն տեսնում են փոխարինող տեքստ։ Եթե ցանկանում եք, որ ձեր կոնտակտային էլ. հասցեն ընթեռնելի լինի, անջատեք Email Address Obfuscation-ը Scrape Shield-ում և ցույց տվեք հասցեն որպես պարզ տեքստ։
Կարդալ ամբողջական ուղեցույցը
Բոտերից պաշտպանությունը գոյություն ունի սքրեյփերներին և չարաշահումները կանգնեցնելու համար, և այն լավ է անում դա։ Խնդիրն այն է, որ AI որոնողական ռոբոտները նույնպես բոտեր են։ Տարիներ առաջ միացված անվտանգության կարգավորումը, հարցումների սահմանափակումը կամ անհայտ user agent-ների դեմ լայն կանոնը կարող են աննկատ դուրս պահել ձեզ մեջբերող ռոբոտներին, մինչդեռ ձեր սեփական այցերը միանգամայն սովորական տեսք ունեն։
Ինչո՞ւ ֆայրվոլը կարող է արգելափակել AI ռոբոտներին
Ֆայրվոլները գնահատում են յուրաքանչյուր հարցում։ Ռոբոտը չի անցնում JavaScript ստուգումներ, cookie-ներ չի պահում բրաուզերի պես և հաճախ անընդմեջ բազմաթիվ էջեր է հարցնում, ուստի կարող է ճիշտ նման լինել այն երթևեկին, որը կանգնեցնելու համար ստեղծված է բոտերից պաշտպանությունը։ Տարածված պատճառներն են.
- Բոտերից պաշտպանության գործառույթներ, որոնք ստուգում են հայտնի բոտերի օրինաչափություններին համապատասխանող երթևեկը։ Օրինակ՝ Cloudflare-ի Bot Fight Mode-ը բոտերին տալիս է հաշվողականորեն ծանր ստուգումներ։
- WAF-ի հատուկ կանոններ, որոնք արգելափակում կամ ստուգում են «bot» կամ «crawler» բառեր պարունակող user agent-ները, կամ թույլատրում են միայն որոնողական համակարգերի կարճ ցուցակ։
- Կարգավորումներ, որոնք AI ռոբոտներին արգելափակում են որպես կատեգորիա։ Cloudflare-ը թույլ է տալիս քաղաքականություն սահմանել Search, Agent և Training ռոբոտների համար, և այնտեղ Block կարգավորումը կիրառվում է բոլորի նկատմամբ։
- Հարցումների սահմանափակում, որը ռոբոտի արագ հաջորդական հարցումներին պատասխանում է 429-ով։
- Երկրի կամ ASN-ի արգելափակումներ, որոնք պատահաբար ընդգրկում են այն ցանցերը, որտեղից աշխատում են ռոբոտները։
Ինչպե՞ս տարբերել ֆայրվոլի արգելափակումը robots.txt-ի արգելափակումից
robots.txt-ի արգելափակումը քաղաքավարի խնդրանք է. ռոբոտը կարդում է ձեր կանոնները և չի բեռնում էջը։ Ֆայրվոլի արգելափակումը պատասխան է. ռոբոտը հարցնում է էջը և ստանում այլ բան։ Երկրորդ տեսակը կարող եք տեսնել ուղղակիորեն։ Հարցրեք էջը երկու անգամ՝ մեկ անգամ բրաուզերի user agent-ով, մեկ անգամ՝ ռոբոտի, և համեմատեք.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Ֆայրվոլի արգելափակման նշաններ. 403, 429 կամ 503 կարգավիճակ միայն ռոբոտի համար, Just a moment... կամ Attention Required! | Cloudflare վերնագրով էջ, պատասխան, որը պարունակում է /cdn-cgi/challenge-platform, կամ 200 պատասխան, որը շատ ավելի կարճ է, քան բրաուզերինը։ Հիշեք, որ ձեր թեստը գալիս է ձեր սեփական IP-ից, ոչ թե ռոբոտի հաստատված IP տիրույթից, ուստի ցույց է տալիս, թե ինչպես է ֆայրվոլը վերաբերվում user agent-ին, ոչ թե բոլոր մանրամասները, թե ինչպես է վերաբերվում իրական ռոբոտին։
Ինչպե՞ս թույլատրել AI որոնողական ռոբոտներին Cloudflare-ում
Cloudflare-ի AI Crawl Control-ը, որը հասանելի է բոլոր սակագներում, ցույց է տալիս ձեր դոմենն այցելող AI ռոբոտները և թույլ է տալիս յուրաքանչյուրի համար գործողություն սահմանել։ Վահանակում բացեք AI Crawl Control-ը, անցեք Crawlers ցուցակին և Action սյունակում յուրաքանչյուր ռոբոտի համար ընտրեք Allow կամ Block։ Cloudflare-ն ասում է, որ այնտեղ արգելափակելը ստեղծում կամ թարմացնում է WAF-ի հատուկ կանոն ձեր զոնայում։
Եթե ռոբոտին արգելափակողը WAF-ի հատուկ կանոնն է, Super Bot Fight Mode-ը կամ հարցումների սահմանափակումը, ավելացրեք հատուկ կանոն, որը շրջանցում է այդ գործառույթները հաստատված բոտերի և ռոբոտի նշանի համար.
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow Տեղադրեք կանոնն առաջինը։ Նկատի ունեցեք, որ user agent-ով համընկնումը բաց է թողնում նաև յուրաքանչյուրին, ով կեղծում է այդ user agent-ը։ Որտեղ հնարավոր է, նախընտրեք հաստատված բոտի դաշտը (cf.client.bot) կամ մատակարարի հրապարակած IP տիրույթները։
Իսկ ի՞նչ կասեք Bot Fight Mode-ի մասին
Cloudflare-ի փաստաթղթերը հստակ ասում են, որ Bot Fight Mode-ը հնարավոր չէ շրջանցել WAF-ի հատուկ կանոններով կամ Page Rules-ով։ Եթե ռոբոտներին ստուգողը հենց այս գործառույթն է, skip կանոնը չի օգնի։ Տարբերակներն են անջատել Bot Fight Mode-ը կամ օգտագործել Super Bot Fight Mode-ը այն սակագնում, որն ունի այն. այն աշխատում է Ruleset Engine-ի վրա և աջակցում է skip կանոններ։
Ո՞ր ռոբոտներին բաց թողնել
Բաժանեք ռոբոտներին ըստ այն բանի, թե ինչ են անում։ Որոնողական և օգտատիրոջ բեռնման ռոբոտներն են որոշում, թե արդյոք AI պատասխանները կարող են ձեզ գտնել և մեջբերել։ Ուսուցման ռոբոտները տվյալներ են հավաքում մոդելների համար, և դրանց արգելափակումը օրինական ընտրություն է, որը ձեզ չի հեռացնում AI որոնումից։
- Որոնում.
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot։ - Օգտատիրոջ բեռնումներ.
ChatGPT-User,Claude-User,Perplexity-User։ - Ուսուցում.
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider։
Cloudflare-ի սեփական քաղաքականության կարգավորումներն օգտագործում են նույն բաժանումը՝ Search, Agent և Training, ուստի կարող եք թույլատրել առաջին երկուսը և երրորդի մասին որոշել առանձին։ Եթե օգտագործում եք այլ ֆայրվոլ կամ CDN, սկզբունքը նույնն է. ավելացրեք ռոբոտի նշանը թույլատրված ցուցակում՝ հաստատված մատակարարի հրապարակած IP տիրույթներով կամ հակադարձ DNS-ով, որտեղ դա առաջարկվում է, որպեսզի այն ստանա նույն պատասխանը, ինչ բրաուզերը։
Ինչպե՞ս է AISeeWhy-ն հայտնաբերում ֆայրվոլի արգելափակումները
AISeeWhy-ն հարցնում է ձեր էջը որպես 14 ռոբոտ և սովորական բրաուզեր, համեմատում է կարգավիճակը, չափը և վերահղումները, ճանաչում է ստուգման էջերը և անվանում է պատասխանած ֆայրվոլը կամ CDN-ը։ Երբ robots.txt-ը թույլատրում է ռոբոտին, բայց սերվերն արգելափակում է նրան, հաշվետվությունը ցույց է տալիս հակասությունը և տալիս Cloudflare-ի կանոնը կամ թույլատրված ցուցակի քայլը՝ այն ուղղելու համար։
Այս խնդրի ուղղումները
- Մեր հարցումն արգելափակվել է, արդյունքն անորոշ է
- OAI-SearchBot ռոբոտն արգելափակված է
- GPTBot ռոբոտը վերահղվում է այլ տեղ
- GPTBot ռոբոտը ստանում է փոխարինող էջ
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Աղբյուրներ
- Cloudflare: AI Crawl Control
- Cloudflare: AI ռոբոտների կառավարում (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI ռոբոտների և գործակալների հասանելիության քաղաքականություններ
- OpenAI: OpenAI-ի ռոբոտների ակնարկ