Ինչպես կարդալ Cloudflare-ի AI Crawl Control հաշվետվությունը և տեսնել, թե որ AI ռոբոտներն են ներս մտնում

Հրապարակված է

Կարճ պատասխան

Բացեք AI Crawl Control-ը ձեր Cloudflare վահանակում. ռոբոտների ցանկը ցույց է տալիս յուրաքանչյուր AI ռոբոտ, որը Cloudflare-ը տեսել է ձեր դոմենում, նրա հարցումները, robots.txt-ի խախտումները և արդյոք նրա գործողությունը Allow է, թե Block։ AI որոնումը պահելու և ուսուցումից հրաժարվելու համար թույլատրեք որոնման և գործակալների ռոբոտները, իսկ ուսուցման ռոբոտները արգելափակեք կամ արգելեք այնտեղ կամ AI Crawler and Agent access policies-ում։ Ապա արդյունքը հաստատեք դրսից curl-ով, քանի որ Cloudflare-ի այլ գործառույթներ դեռ կարող են արգելափակել ձեր թույլատրած ռոբոտը։

Cloudflare-ն այժմ ունի երկու տեղ, որոնք որոշում են, թե ինչ են ստանում AI ռոբոտները. AI Crawl Control-ը՝ ըստ ռոբոտների հաշվետվությունն ու կառավարման վահանակը, որը նախկինում կոչվում էր AI Audit, և ամբողջ զոնայի համար գործող AI Crawler and Agent access policies-ը Security կարգավորումներում։ Երկուսն էլ հասանելի են Free պլանում, երկուսն էլ փոխվել են 2026 թվականին, և ոչ մեկը ձեզ չի պատմում բոլոր այն մյուս գործառույթների մասին, որոնք դեռ կարող են ռոբոտին պատասխանել 403-ով։ Այս ուղեցույցը քննարկում է հաշվետվությունը սյունակ առ սյունակ, ցույց է տալիս, թե որտեղ սահմանել թույլատրումն ու արգելափակումը, և ավարտվում է ստուգմամբ, որը կարող եք գործարկել ձեր սեփական համակարգչից։

Այս էջում
  1. Որտե՞ղ է AI ռոբոտների հաշվետվությունը Cloudflare-ում
  2. Ի՞նչ է նշանակում AI Crawl Control հաշվետվության յուրաքանչյուր սյունակ և չափանիշ
  3. Ինչպե՞ս Cloudflare-ում թույլատրել AI որոնողական ռոբոտները և արգելափակել ուսուցման ռոբոտները
  4. Ի՞նչ է փոխվել Cloudflare-ի AI ռոբոտների լռելյայն կարգավորումներում
  5. Ինչո՞ւ է Cloudflare-ը դեռ արգելափակում AI ռոբոտներին, թեև ես թույլատրել եմ դրանք
  6. Ինչպե՞ս դրսից հաստատել, թե որ AI ռոբոտներին է Cloudflare-ը ներս թողնում
  7. Ինչպե՞ս է AISeeWhy-ը ստուգում, թե ինչ է Cloudflare-ն ուղարկում AI ռոբոտներին

Որտե՞ղ է AI ռոբոտների հաշվետվությունը Cloudflare-ում

Վահանակում ընտրեք ձեր հաշիվը և դոմենը, ապա բացեք AI Crawl Control-ը։ Cloudflare-ն ասում է, որ այն աշխատում է առանց կարգավորման և հասանելի է բոլոր պլաններում, եթե ձեր դոմենի տրաֆիկն անցնում է Cloudflare-ի պրոքսիով։ Այն ունի չորս բաժին.

Պլանների երկու սահմանափակում կարևոր է թվերը կարդալիս։ Free պլանում AI Crawl Control-ը ճանաչում է ռոբոտներին միայն user agent տողով, ուստի տեսնում է միայն իրենց ներկայացնող ռոբոտներին, և Metrics ներդիրը ընդգրկում է վերջին 24 ժամը։ Վճարովի պլաններն ավելացնում են հայտնաբերում Bot Management-ի detection ID-ով, իսկ Bot Management-ով Enterprise-ը ստանում է կարգավորվող ժամանակահատվածներ։

Ի՞նչ է նշանակում AI Crawl Control հաշվետվության յուրաքանչյուր սյունակ և չափանիշ

Cloudflare-ը դաշտերը փաստաթղթավորում է հետևյալ կերպ։ Սահմանումները կարևոր են, քանի որ մի քանի թվեր հաշվում են ավելին, քան կարող եք ակնկալել։

Կարդացեք հաշվետվությունը՝ ելնելով ձեր ընտրած գործողությունից։ Allow-ի վրա դրված ռոբոտը պետք է ցույց տա հիմնականում թույլատրված հարցումներ և 2xx կոդեր։ Եթե այն ցույց է տալիս շատ անհաջող հարցումներ, բացեք այդ ռոբոտով զտված կարգավիճակի կոդերի բաշխումը և ստուգեք Security Analytics-ը՝ գտնելու այն կանոնը, որը պատասխանել է։

Ինչպե՞ս Cloudflare-ում թույլատրել AI որոնողական ռոբոտները և արգելափակել ուսուցման ռոբոտները

Դա կարող եք անել ըստ ռոբոտի կամ ըստ վարքագծի։ Ըստ ռոբոտի՝ բացեք AI Crawl Control-ը և յուրաքանչյուր տողի համար սահմանեք Action-ը։ Cloudflare-ն ասում է, որ այնտեղ արգելափակելը ստեղծում կամ թարմացնում է WAF-ի հատուկ կանոն ձեր զոնայում, որը կարող եք WAF-ում ընդլայնել ուղիների բացառություններով։ Վճարովի պլաններում կարող եք ընտրել, թե արգելափակված ռոբոտները կստանան 403, թե 402, և սահմանել պարզ տեքստային պատասխան։

Ըստ վարքագծի՝ անցեք Security, ապա Settings, զտեք ըստ Bot traffic-ի և բացեք AI Crawler and Agent access policies-ը։ Cloudflare-ը AI տրաֆիկը բաժանում է երեք վարքագծի, և յուրաքանչյուր քաղաքականություն կիրառվում է այդ վարքագծով ստուգված բոտերի և համապատասխան չստուգված բոտերի նկատմամբ.

Յուրաքանչյուր վարքագիծ կարելի է դնել Block, Block on pages with ads կամ Allow (do not block)։ Training-ն ունի նաև Disallow, որը միայն robots.txt-ի միջոցով խնդրում է ռոբոտներին հեռու մնալ։ Bot Preference Sync-ը միացված լինելու դեպքում Cloudflare-ը ձեր robots.txt-ի սկզբում ավելացնում է կառավարվող կանոններ, որոնք արգելում են Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot և meta-externalagent ռոբոտները, ավելացնում է Content Signals տող և նաև արգելափակում է AI ուսուցման ռոբոտները edge-ում, բացառությամբ և՛ որոնման, և՛ ուսուցման համար օգտագործվող ռոբոտների։

AI մեջբերումներ ցանկացող կայքերի մեծ մասի համար անվտանգ համադրությունն է Search-ը և Agent-ը՝ Allow, Training-ը՝ Disallow, ապա AI Crawl Control-ում առանձին Block գործողություններ միայն ուսուցման այն ռոբոտների համար, որոնց ցանկանում եք կանգնեցնել edge-ում։

Ի՞նչ է փոխվել Cloudflare-ի AI ռոբոտների լռելյայն կարգավորումներում

2025 թվականի հուլիսի 1-ին Cloudflare-ը հայտարարեց, որ լռելյայն կարգավորումը փոխում է այնպես, որ AI ռոբոտները արգելափակվեն, եթե չեն վճարում ստեղծողներին։ 2026 թվականի հուլիսի 1-ին նա մեկ Block AI bots անջատիչը փոխարինեց վերը նկարագրված առանձին Search, Agent և Training քաղաքականություններով՝ բոլոր պլանների համար, ներառյալ Free-ն։ Նույն հայտարարությունում ասվում էր, որ 2026 թվականի սեպտեմբերի 15-ից միացվող նոր դոմենների մոտ գովազդ ցուցադրող էջերում Training-ը և Agent-ը կարգելափակվեն, իսկ Search-ը կթույլատրվի։

Cloudflare-ի քաղաքականությունների ընթացիկ փաստաթղթերը, որոնք վերջին անգամ թարմացվել են 2026 թվականի նոյեմբերի 2-ին, ասում են, որ նոր դոմենների համար երեք վարքագծերն էլ լռելյայն Allow (do not block) են։ Քանի որ Cloudflare-ի սեփական էջերը տարբեր ժամանակներում նկարագրել են տարբեր լռելյայն կարգավորումներ, ձեր զոնայի համար դրանցից ոչ մեկի վրա մի հենվեք. բացեք քաղաքականությունների էջը և կարդացեք, թե ինչ է սահմանված։

Ինչո՞ւ է Cloudflare-ը դեռ արգելափակում AI ռոբոտներին, թեև ես թույլատրել եմ դրանք

AI Crawl Control-ի Allow գործողությունը միայն դադարեցնում է AI Crawl Control-ի արգելափակումը։ Այլ գործառույթներ շարունակում են գործել հարցման նկատմամբ։ Տարածված պատճառներ.

Ինչպե՞ս դրսից հաստատել, թե որ AI ռոբոտներին է Cloudflare-ը ներս թողնում

Պահանջեք նույն էջը բրաուզերի user agent-ով և յուրաքանչյուր ռոբոտի user agent-ով, ապա համեմատեք կարգավիճակը և չափը։ Ստորև բերված OpenAI-ի, Perplexity-ի և Google-ի տողերը այն տողերն են, որոնք հրապարակում են այդ ընկերությունները։

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Ռոբոտի տողը 403, 429 կամ 503 կոդով կամ բրաուզերի տողից շատ ավելի փոքր չափով նշանակում է, որ ձեր սկզբնաղբյուր սերվերի առջև ինչ-որ բան այլ կերպ է պատասխանել։ Free պլանում AI Crawl Control-ը ռոբոտներին հայտնաբերում է ըստ user agent-ի, ուստի այս ստուգումը նրա արգելափակումների խելամիտ ստուգում է։ Ստուգված բոտի կարգավիճակի կամ բոտերի գնահատականների վրա հիմնված կանոնները կարող են ձեր հարցմանը վերաբերվել իրական ռոբոտից տարբեր, քանի որ այն գալիս է ձեր IP հասցեից, ոչ թե օպերատորի հրապարակված տիրույթներից։ Ստուգելուց հետո Security Analytics-ում գտեք ձեր հարցումները՝ տեսնելու, թե որ կանոնն է համընկել։

Ինչպե՞ս է AISeeWhy-ը ստուգում, թե ինչ է Cloudflare-ն ուղարկում AI ռոբոտներին

AISeeWhy-ի անվճար ստուգումը պահանջում է ձեր էջը 16 AI և որոնողական ռոբոտների անունից՝ իրական բրաուզերի կողքին, կիրառում է ձեր robots.txt-ը յուրաքանչյուր ռոբոտի համար և ճանաչում է ֆայրվոլի ստուգման էջերը, որպեսզի տեսնեք, թե արդյոք Cloudflare-ի վահանակի արդյունքը համապատասխանում է այն բանին, ինչ ռոբոտներն իրականում ստանում են։

Այս խնդրի ուղղումները

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Cloudflare AI Crawl Control-ը անվճա՞ր է

Այո։ Cloudflare-ը AI Crawl Control-ը նշում է որպես բոլոր պլաններում հասանելի։ Free պլանը ռոբոտներին հայտնաբերում է միայն ըստ user agent-ի և Metrics-ում ցույց է տալիս վերջին 24 ժամը. ուղղորդումների տվյալները և արգելափակման հատուկ պատասխանները պահանջում են վճարովի պլան։

Ի՞նչ եղավ Cloudflare AI Audit-ի հետ

Այն վերանվանվել է։ Cloudflare-ի փաստաթղթերը AI Crawl Control-ը նկարագրում են որպես նախկին AI Audit՝ նույն նպատակով. տեսնել, թե որ AI ռոբոտներն են այցելում, և յուրաքանչյուրի համար գործողություն սահմանել։

AI Crawl Control-ում ռոբոտի արգելափակումը փոխո՞ւմ է իմ robots.txt-ը

Ոչ։ Block գործողությունը ստեղծում կամ թարմացնում է WAF-ի հատուկ կանոն։ robots.txt-ը փոխվում է միայն այն դեպքում, եթե Training-ի համար օգտագործում եք Disallow տարբերակը Bot Preference Sync-ի հետ, որը ձեր ֆայլի սկզբում ավելացնում է Cloudflare-ի կառավարվող կանոնները։

Ի՞նչն է համարվում robots.txt-ի խախտում Cloudflare-ում

AI ռոբոտի հարցում այն ուղուն, որը ձեր robots.txt-ն արգելում է։ Cloudflare-ը նախկին հարցումները համեմատում է ձեր ընթացիկ կանոնների հետ, ուստի նոր կանոնը կարող է նշել ավելի հին հարցումներ, որոնք այն ժամանակ թույլատրված էին։

Ի՞նչ է pay per crawl-ը

Charge գործողություն, որը AI ռոբոտներից պահանջում է վճարել յուրաքանչյուր հարցման համար, հակառակ դեպքում պատասխանում է HTTP 402-ով և գնով։ Cloudflare-ը այն նկարագրում է որպես փակ բետա, և WAF-ի կամ Bot Management-ի արգելափակումները գերակա են դրա նկատմամբ։

Աղբյուրներ

Այլ հոդվածներ