Ինչպես կարդալ Cloudflare-ի AI Crawl Control հաշվետվությունը և տեսնել, թե որ AI ռոբոտներն են ներս մտնում
Բացեք AI Crawl Control-ը ձեր Cloudflare վահանակում. ռոբոտների ցանկը ցույց է տալիս յուրաքանչյուր AI ռոբոտ, որը Cloudflare-ը տեսել է ձեր դոմենում, նրա հարցումները, robots.txt-ի խախտումները և արդյոք նրա գործողությունը Allow է, թե Block։ AI որոնումը պահելու և ուսուցումից հրաժարվելու համար թույլատրեք որոնման և գործակալների ռոբոտները, իսկ ուսուցման ռոբոտները արգելափակեք կամ արգելեք այնտեղ կամ AI Crawler and Agent access policies-ում։ Ապա արդյունքը հաստատեք դրսից curl-ով, քանի որ Cloudflare-ի այլ գործառույթներ դեռ կարող են արգելափակել ձեր թույլատրած ռոբոտը։
Cloudflare-ն այժմ ունի երկու տեղ, որոնք որոշում են, թե ինչ են ստանում AI ռոբոտները. AI Crawl Control-ը՝ ըստ ռոբոտների հաշվետվությունն ու կառավարման վահանակը, որը նախկինում կոչվում էր AI Audit, և ամբողջ զոնայի համար գործող AI Crawler and Agent access policies-ը Security կարգավորումներում։ Երկուսն էլ հասանելի են Free պլանում, երկուսն էլ փոխվել են 2026 թվականին, և ոչ մեկը ձեզ չի պատմում բոլոր այն մյուս գործառույթների մասին, որոնք դեռ կարող են ռոբոտին պատասխանել 403-ով։ Այս ուղեցույցը քննարկում է հաշվետվությունը սյունակ առ սյունակ, ցույց է տալիս, թե որտեղ սահմանել թույլատրումն ու արգելափակումը, և ավարտվում է ստուգմամբ, որը կարող եք գործարկել ձեր սեփական համակարգչից։
Այս էջում
- Որտե՞ղ է AI ռոբոտների հաշվետվությունը Cloudflare-ում
- Ի՞նչ է նշանակում AI Crawl Control հաշվետվության յուրաքանչյուր սյունակ և չափանիշ
- Ինչպե՞ս Cloudflare-ում թույլատրել AI որոնողական ռոբոտները և արգելափակել ուսուցման ռոբոտները
- Ի՞նչ է փոխվել Cloudflare-ի AI ռոբոտների լռելյայն կարգավորումներում
- Ինչո՞ւ է Cloudflare-ը դեռ արգելափակում AI ռոբոտներին, թեև ես թույլատրել եմ դրանք
- Ինչպե՞ս դրսից հաստատել, թե որ AI ռոբոտներին է Cloudflare-ը ներս թողնում
- Ինչպե՞ս է AISeeWhy-ը ստուգում, թե ինչ է Cloudflare-ն ուղարկում AI ռոբոտներին
Որտե՞ղ է AI ռոբոտների հաշվետվությունը Cloudflare-ում
Վահանակում ընտրեք ձեր հաշիվը և դոմենը, ապա բացեք AI Crawl Control-ը։ Cloudflare-ն ասում է, որ այն աշխատում է առանց կարգավորման և հասանելի է բոլոր պլաններում, եթե ձեր դոմենի տրաֆիկն անցնում է Cloudflare-ի պրոքսիով։ Այն ունի չորս բաժին.
- Overview. ամփոփում՝ ընդհանուր հարցումներով, ծավալի փոփոխությամբ, ամենատարածված կարգավիճակի կոդով, ամենահայտնի ուղով և մեծ ծավալով ռոբոտներով, ինչպես նաև թե արդյոք միացված է Cloudflare-ի կառավարվող robots.txt-ը, և ռոբոտները՝ խմբավորված ըստ օպերատորի, օրինակ՝ OpenAI, Microsoft, Google, ByteDance, Anthropic և Meta։
- Ռոբոտների ցանկը. մեկ տող յուրաքանչյուր AI ռոբոտի համար՝ Action սյունակով, որտեղ ընտրում եք Allow կամ Block։ Cloudflare-ի փաստաթղթերը այս ներդիրը մի էջում անվանում են Crawlers, մյուսում՝ Security, ուստի փնտրեք Action սյունակով աղյուսակը։
- Metrics. հարցումները ժամանակի ընթացքում, կարգավիճակի կոդերի բաշխումը, բովանդակության ձևաչափը, ամենահայտնի ուղիները և, վճարովի պլաններում, ուղղորդումները։ Զտիչները ներառում են ամսաթվերի միջակայքը, ռոբոտը, օպերատորը, hostname-ը և ուղին, և տվյալները կարելի է արտահանել CSV-ով։
- Directives. ձեր robots.txt ֆայլի վիճակը և robots.txt-ի խախտումների ցանկը։
Պլանների երկու սահմանափակում կարևոր է թվերը կարդալիս։ Free պլանում AI Crawl Control-ը ճանաչում է ռոբոտներին միայն user agent տողով, ուստի տեսնում է միայն իրենց ներկայացնող ռոբոտներին, և Metrics ներդիրը ընդգրկում է վերջին 24 ժամը։ Վճարովի պլաններն ավելացնում են հայտնաբերում Bot Management-ի detection ID-ով, իսկ Bot Management-ով Enterprise-ը ստանում է կարգավորվող ժամանակահատվածներ։
Ի՞նչ է նշանակում AI Crawl Control հաշվետվության յուրաքանչյուր սյունակ և չափանիշ
Cloudflare-ը դաշտերը փաստաթղթավորում է հետևյալ կերպ։ Սահմանումները կարևոր են, քանի որ մի քանի թվեր հաշվում են ավելին, քան կարող եք ակնկալել։
- Crawler և Category. ռոբոտի անունը, նրա օպերատորը և կատեգորիան, օրինակ՝ AI crawler, AI assistant կամ archiver։
- Requests. թույլատրված գումարած անհաջող հարցումները՝ միտման գրաֆիկով։ Անհաջող հարցումները կարող են գալ ցանկացած կանոնից կամ պատասխանի սխալից, ոչ միայն AI Crawl Control-ի արգելափակումից, ուստի թույլատրված ռոբոտի համար մեծ թիվը մատնանշում է մեկ այլ կանոն կամ սխալներ ձեր սկզբնաղբյուր սերվերում։
- Allowed requests. հարցումներ, որոնք ստացել են 200-ից 299 կարգավիճակ։ Տվյալների փոխանցումը չափվում է թույլատրված հարցումների համար Cloudflare-ի ուղարկած բայթերով։
- Robots.txt violations. քանի անգամ է ռոբոտը պահանջել ուղի, որը ձեր robots.txt-ն արգելում է։ Cloudflare-ը նախկին հարցումները համեմատում է ձեր ընթացիկ կանոնների հետ, ուստի այսօր ավելացված կանոնը կարող է նշել հարցումներ, որոնք թույլատրված էին կատարվելու պահին։
- Action. Allow, Block կամ, pay per crawl բետայի մասնակից հաշիվների համար, Charge։
- Կարգավիճակի կոդերի բաշխում. 2xx, 3xx, 4xx և 5xx։ 4xx խումբը ներառում է արգելափակումներից 403-ը և pay per crawl-ից 402-ը։
- Referrals և top referrers, միայն վճարովի պլաններում. AI ծառայություններից եկած այցերը, օրինակ՝ chatgpt.com-ից, և էջերը, որտեղ դրանք հայտնվել են։
Կարդացեք հաշվետվությունը՝ ելնելով ձեր ընտրած գործողությունից։ Allow-ի վրա դրված ռոբոտը պետք է ցույց տա հիմնականում թույլատրված հարցումներ և 2xx կոդեր։ Եթե այն ցույց է տալիս շատ անհաջող հարցումներ, բացեք այդ ռոբոտով զտված կարգավիճակի կոդերի բաշխումը և ստուգեք Security Analytics-ը՝ գտնելու այն կանոնը, որը պատասխանել է։
Ինչպե՞ս Cloudflare-ում թույլատրել AI որոնողական ռոբոտները և արգելափակել ուսուցման ռոբոտները
Դա կարող եք անել ըստ ռոբոտի կամ ըստ վարքագծի։ Ըստ ռոբոտի՝ բացեք AI Crawl Control-ը և յուրաքանչյուր տողի համար սահմանեք Action-ը։ Cloudflare-ն ասում է, որ այնտեղ արգելափակելը ստեղծում կամ թարմացնում է WAF-ի հատուկ կանոն ձեր զոնայում, որը կարող եք WAF-ում ընդլայնել ուղիների բացառություններով։ Վճարովի պլաններում կարող եք ընտրել, թե արգելափակված ռոբոտները կստանան 403, թե 402, և սահմանել պարզ տեքստային պատասխան։
Ըստ վարքագծի՝ անցեք Security, ապա Settings, զտեք ըստ Bot traffic-ի և բացեք AI Crawler and Agent access policies-ը։ Cloudflare-ը AI տրաֆիկը բաժանում է երեք վարքագծի, և յուրաքանչյուր քաղաքականություն կիրառվում է այդ վարքագծով ստուգված բոտերի և համապատասխան չստուգված բոտերի նկատմամբ.
- Search. բովանդակության հավաքում կամ ինդեքսավորում՝ հետագայում հարցերին պատասխանելու համար։
- Agent. իրական ժամանակում գործողություններ մարդու անունից, օրինակ՝ զրույցից կատարվող բեռնումներ և բրաուզերային գործակալներ։
- Training. բովանդակության հավաքում մոդելների ուսուցման կամ fine-tuning-ի համար, ներառյալ այն ռոբոտները, որոնք օգտագործվում են և՛ ուսուցման, և՛ որոնման համար։
Յուրաքանչյուր վարքագիծ կարելի է դնել Block, Block on pages with ads կամ Allow (do not block)։ Training-ն ունի նաև Disallow, որը միայն robots.txt-ի միջոցով խնդրում է ռոբոտներին հեռու մնալ։ Bot Preference Sync-ը միացված լինելու դեպքում Cloudflare-ը ձեր robots.txt-ի սկզբում ավելացնում է կառավարվող կանոններ, որոնք արգելում են Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot և meta-externalagent ռոբոտները, ավելացնում է Content Signals տող և նաև արգելափակում է AI ուսուցման ռոբոտները edge-ում, բացառությամբ և՛ որոնման, և՛ ուսուցման համար օգտագործվող ռոբոտների։
AI մեջբերումներ ցանկացող կայքերի մեծ մասի համար անվտանգ համադրությունն է Search-ը և Agent-ը՝ Allow, Training-ը՝ Disallow, ապա AI Crawl Control-ում առանձին Block գործողություններ միայն ուսուցման այն ռոբոտների համար, որոնց ցանկանում եք կանգնեցնել edge-ում։
Ի՞նչ է փոխվել Cloudflare-ի AI ռոբոտների լռելյայն կարգավորումներում
2025 թվականի հուլիսի 1-ին Cloudflare-ը հայտարարեց, որ լռելյայն կարգավորումը փոխում է այնպես, որ AI ռոբոտները արգելափակվեն, եթե չեն վճարում ստեղծողներին։ 2026 թվականի հուլիսի 1-ին նա մեկ Block AI bots անջատիչը փոխարինեց վերը նկարագրված առանձին Search, Agent և Training քաղաքականություններով՝ բոլոր պլանների համար, ներառյալ Free-ն։ Նույն հայտարարությունում ասվում էր, որ 2026 թվականի սեպտեմբերի 15-ից միացվող նոր դոմենների մոտ գովազդ ցուցադրող էջերում Training-ը և Agent-ը կարգելափակվեն, իսկ Search-ը կթույլատրվի։
Cloudflare-ի քաղաքականությունների ընթացիկ փաստաթղթերը, որոնք վերջին անգամ թարմացվել են 2026 թվականի նոյեմբերի 2-ին, ասում են, որ նոր դոմենների համար երեք վարքագծերն էլ լռելյայն Allow (do not block) են։ Քանի որ Cloudflare-ի սեփական էջերը տարբեր ժամանակներում նկարագրել են տարբեր լռելյայն կարգավորումներ, ձեր զոնայի համար դրանցից ոչ մեկի վրա մի հենվեք. բացեք քաղաքականությունների էջը և կարդացեք, թե ինչ է սահմանված։
Ինչո՞ւ է Cloudflare-ը դեռ արգելափակում AI ռոբոտներին, թեև ես թույլատրել եմ դրանք
AI Crawl Control-ի Allow գործողությունը միայն դադարեցնում է AI Crawl Control-ի արգելափակումը։ Այլ գործառույթներ շարունակում են գործել հարցման նկատմամբ։ Տարածված պատճառներ.
- Training-ի արգելափակումը արգելափակում է նաև երկուսն էլ անող որոնողական ռոբոտները։ Cloudflare-ի փաստաթղթերն ասում են, որ Training գործողությունները կիրառվում են խառը նպատակով ռոբոտների նկատմամբ, իսկ 2026 թվականի հուլիսի հայտարարությունը Googlebot-ը, Applebot-ը և bingbot-ը նշում է որպես ռոբոտներ, որոնց Training-ն արգելափակող հաճախորդները կարգելափակեն 2026 թվականի սեպտեմբերի 15-ից։ Disallow-ն ավելի նեղ ընտրություն է, քանի որ նրա edge արգելափակումը բաց է թողնում խառը նպատակով ռոբոտները։
- Bot Fight Mode-ը միացված է։ Cloudflare-ը հայտարարում է, որ Bot Fight Mode-ը հնարավոր չէ շրջանցել կամ բաց թողնել WAF-ի հատուկ կանոններով կամ Page Rules-ով։ Եթե այն ստուգման է ենթարկում ռոբոտին, անջատեք այն, կամ այն ունեցող պլանում օգտագործեք Super Bot Fight Mode-ը, որն աջակցում է բացառության կանոններ։
- WAF-ի ավելի հին հատուկ կանոնը արգելափակում է
botպարունակող user agent-ները, կամ rate limiting կանոնը պոռթկումներին պատասխանում է 429-ով։ Դրանք գործում են անկախ AI Crawl Control-ի Action-ից։ - Արգելափակման կանոնը ձեռքով խմբագրվել է։ Եթե AI Crawl Control-ի հետևում գտնվող WAF կանոնը փոխվել է այլ պատասխանի կոդի, վահանակն այլևս չի կարող կիրառել ձեր ընտրությունը։
- robots.txt-ը դեռ արգելում է ռոբոտին։ Cloudflare-ի Allow-ը չի փոխում ձեր robots.txt-ը, ուստի կանոններին հետևող ռոբոտն այնուամենայնիվ հեռու է մնում։ 1000 ամենահայտնի դոմենների մեր ուսումնասիրության մեջ robots.txt-ում AI ուսուցման ռոբոտ արգելափակող 155 կայքերից 98-ը արգելափակում էին նաև առնվազն մեկ AI որոնողական կամ օգտատիրոջ ռոբոտ։
Ինչպե՞ս դրսից հաստատել, թե որ AI ռոբոտներին է Cloudflare-ը ներս թողնում
Պահանջեք նույն էջը բրաուզերի user agent-ով և յուրաքանչյուր ռոբոտի user agent-ով, ապա համեմատեք կարգավիճակը և չափը։ Ստորև բերված OpenAI-ի, Perplexity-ի և Google-ի տողերը այն տողերն են, որոնք հրապարակում են այդ ընկերությունները։
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Ռոբոտի տողը 403, 429 կամ 503 կոդով կամ բրաուզերի տողից շատ ավելի փոքր չափով նշանակում է, որ ձեր սկզբնաղբյուր սերվերի առջև ինչ-որ բան այլ կերպ է պատասխանել։ Free պլանում AI Crawl Control-ը ռոբոտներին հայտնաբերում է ըստ user agent-ի, ուստի այս ստուգումը նրա արգելափակումների խելամիտ ստուգում է։ Ստուգված բոտի կարգավիճակի կամ բոտերի գնահատականների վրա հիմնված կանոնները կարող են ձեր հարցմանը վերաբերվել իրական ռոբոտից տարբեր, քանի որ այն գալիս է ձեր IP հասցեից, ոչ թե օպերատորի հրապարակված տիրույթներից։ Ստուգելուց հետո Security Analytics-ում գտեք ձեր հարցումները՝ տեսնելու, թե որ կանոնն է համընկել։
Ինչպե՞ս է AISeeWhy-ը ստուգում, թե ինչ է Cloudflare-ն ուղարկում AI ռոբոտներին
AISeeWhy-ի անվճար ստուգումը պահանջում է ձեր էջը 16 AI և որոնողական ռոբոտների անունից՝ իրական բրաուզերի կողքին, կիրառում է ձեր robots.txt-ը յուրաքանչյուր ռոբոտի համար և ճանաչում է ֆայրվոլի ստուգման էջերը, որպեսզի տեսնեք, թե արդյոք Cloudflare-ի վահանակի արդյունքը համապատասխանում է այն բանին, ինչ ռոբոտներն իրականում ստանում են։
Այս խնդրի ուղղումները
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Cloudflare AI Crawl Control-ը անվճա՞ր է
Այո։ Cloudflare-ը AI Crawl Control-ը նշում է որպես բոլոր պլաններում հասանելի։ Free պլանը ռոբոտներին հայտնաբերում է միայն ըստ user agent-ի և Metrics-ում ցույց է տալիս վերջին 24 ժամը. ուղղորդումների տվյալները և արգելափակման հատուկ պատասխանները պահանջում են վճարովի պլան։
Ի՞նչ եղավ Cloudflare AI Audit-ի հետ
Այն վերանվանվել է։ Cloudflare-ի փաստաթղթերը AI Crawl Control-ը նկարագրում են որպես նախկին AI Audit՝ նույն նպատակով. տեսնել, թե որ AI ռոբոտներն են այցելում, և յուրաքանչյուրի համար գործողություն սահմանել։
AI Crawl Control-ում ռոբոտի արգելափակումը փոխո՞ւմ է իմ robots.txt-ը
Ոչ։ Block գործողությունը ստեղծում կամ թարմացնում է WAF-ի հատուկ կանոն։ robots.txt-ը փոխվում է միայն այն դեպքում, եթե Training-ի համար օգտագործում եք Disallow տարբերակը Bot Preference Sync-ի հետ, որը ձեր ֆայլի սկզբում ավելացնում է Cloudflare-ի կառավարվող կանոնները։
Ի՞նչն է համարվում robots.txt-ի խախտում Cloudflare-ում
AI ռոբոտի հարցում այն ուղուն, որը ձեր robots.txt-ն արգելում է։ Cloudflare-ը նախկին հարցումները համեմատում է ձեր ընթացիկ կանոնների հետ, ուստի նոր կանոնը կարող է նշել ավելի հին հարցումներ, որոնք այն ժամանակ թույլատրված էին։
Ի՞նչ է pay per crawl-ը
Charge գործողություն, որը AI ռոբոտներից պահանջում է վճարել յուրաքանչյուր հարցման համար, հակառակ դեպքում պատասխանում է HTTP 402-ով և գնով։ Cloudflare-ը այն նկարագրում է որպես փակ բետա, և WAF-ի կամ Bot Management-ի արգելափակումները գերակա են դրա նկատմամբ։
Աղբյուրներ
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ռոբոտների հասանելիության հաշվետվություն, 2026-11