როგორ წავიკითხოთ Cloudflare AI Crawl Control-ის რეპორტი და ვნახოთ, რომელი AI კრაულერები შემოდიან
გახსენით AI Crawl Control Cloudflare-ის პანელში: კრაულერების სია აჩვენებს ყველა AI კრაულერს, რომელიც Cloudflare-მა თქვენს დომენზე ნახა, მის მოთხოვნებს, robots.txt-ის დარღვევებს და იმას, მისი მოქმედება Allow არის თუ Block. თუ გინდათ AI ძიებაში დარჩეთ და სწავლებაზე უარი თქვათ, დაუშვით საძიებო და აგენტური კრაულერები, ხოლო სწავლების კრაულერები დაბლოკეთ ან აუკრძალეთ იქვე ან AI Crawler and Agent access policies-ში. შემდეგ შედეგი გარედან curl-ით დაადასტურეთ, რადგან Cloudflare-ის სხვა ფუნქციებს მაინც შეუძლიათ დაბლოკონ კრაულერი, რომელიც დაუშვით.
Cloudflare-ს ახლა ორი ადგილი აქვს, სადაც წყდება, რას იღებენ AI კრაულერები: AI Crawl Control, თითოეული კრაულერის რეპორტი და მართვის პანელი, რომელსაც ადრე AI Audit ერქვა, და მთელი ზონის AI Crawler and Agent access policies უსაფრთხოების პარამეტრებში. ორივე Free გეგმაზეა ხელმისაწვდომი, ორივე 2026 წელს შეიცვალა და არცერთი არ გეტყვით ყველა იმ ფუნქციაზე, რომელსაც კრაულერისთვის 403-ით პასუხი მაინც შეუძლია. ეს სახელმძღვანელო რეპორტს სვეტ-სვეტ განიხილავს, აჩვენებს, სად დააყენოთ დაშვება და დაბლოკვა, და ბოლოს გთავაზობთ ტესტს, რომლის გაშვებაც საკუთარი კომპიუტერიდან შეგიძლიათ.
ამ გვერდზე
- სად არის AI კრაულერების რეპორტი Cloudflare-ში?
- რას ნიშნავს თითოეული სვეტი და მაჩვენებელი AI Crawl Control-ის რეპორტში?
- როგორ დავუშვა AI საძიებო კრაულერები და დავბლოკო სწავლების კრაულერები Cloudflare-ში?
- რა შეიცვალა Cloudflare-ის ნაგულისხმევ პარამეტრებში AI კრაულერებისთვის?
- რატომ ბლოკავს Cloudflare AI კრაულერებს მაშინაც, როცა დავუშვი?
- როგორ დავადასტურო გარედან, რომელ AI კრაულერებს უშვებს Cloudflare?
- როგორ ამოწმებს AISeeWhy, რას უგზავნის Cloudflare AI კრაულერებს?
სად არის AI კრაულერების რეპორტი Cloudflare-ში?
პანელში აირჩიეთ ანგარიში და დომენი, შემდეგ გახსენით AI Crawl Control. Cloudflare-ის თქმით, ის კონფიგურაციის გარეშე მუშაობს და ყველა გეგმაზეა ხელმისაწვდომი, თუ თქვენი დომენის ტრაფიკი Cloudflare-ის პროქსით გადის. მას ოთხი ნაწილი აქვს:
- Overview: შეჯამება მოთხოვნების საერთო რაოდენობით, მოცულობის ცვლილებით, ყველაზე ხშირი სტატუს-კოდით, ყველაზე პოპულარული გზითა და მაღალი მოცულობის კრაულერებით, ასევე იმით, ჩართულია თუ არა Cloudflare-ის მართვადი robots.txt, და კრაულერებით, დაჯგუფებული ოპერატორების მიხედვით, როგორიცაა OpenAI, Microsoft, Google, ByteDance, Anthropic და Meta.
- კრაულერების სია: თითო სტრიქონი თითოეულ AI კრაულერზე, Action სვეტით, სადაც Allow-სა ან Block-ს ირჩევთ. Cloudflare-ის დოკუმენტაცია ამ ჩანართს ერთ გვერდზე Crawlers-ს უწოდებს, მეორეზე კი Security-ს, ამიტომ მოძებნეთ ცხრილი Action სვეტით.
- Metrics: მოთხოვნები დროში, სტატუს-კოდების განაწილება, კონტენტის ფორმატი, ყველაზე პოპულარული გზები და, ფასიან გეგმებზე, რეფერალები. ფილტრები მოიცავს თარიღების დიაპაზონს, კრაულერს, ოპერატორს, ჰოსტის სახელსა და გზას, და შეგიძლიათ CSV-ის ექსპორტი.
- Directives: თქვენი robots.txt ფაილის მდგომარეობა და robots.txt-ის დარღვევების სია.
ციფრების წაკითხვისას გეგმების ორ შეზღუდვას აქვს მნიშვნელობა. Free გეგმაზე AI Crawl Control კრაულერებს მხოლოდ user agent-ის სტრიქონით ცნობს, ამიტომ ხედავს მხოლოდ იმ კრაულერებს, რომლებიც საკუთარ ვინაობას აცხადებენ, და Metrics ჩანართი ბოლო 24 საათს ფარავს. ფასიანი გეგმები ამოცნობას Bot Management-ის detection ID-ით ამატებს, ხოლო Enterprise-ს Bot Management-ით დროის კონფიგურირებადი პერიოდები აქვს.
რას ნიშნავს თითოეული სვეტი და მაჩვენებელი AI Crawl Control-ის რეპორტში?
Cloudflare ველებს ასე აღწერს. განმარტებებს მნიშვნელობა აქვს, რადგან რამდენიმე რიცხვი იმაზე მეტს ითვლის, ვიდრე შეიძლება ელოდეთ.
- Crawler და Category: კრაულერის სახელი, მისი ოპერატორი და კატეგორია, მაგალითად AI კრაულერი, AI ასისტენტი ან არქივატორი.
- Requests: დაშვებული და წარუმატებელი მოთხოვნები ერთად, ტენდენციის გრაფიკით. წარუმატებელი მოთხოვნები შეიძლება ნებისმიერი წესიდან ან პასუხის შეცდომიდან მოდიოდეს და არა მხოლოდ AI Crawl Control-ის ბლოკიდან, ამიტომ დაშვებული კრაულერისთვის მაღალი რიცხვი სხვა წესზე ან თქვენი origin სერვერის შეცდომებზე მიუთითებს.
- Allowed requests: მოთხოვნები, რომლებმაც 200-დან 299-მდე სტატუსი მიიღეს. მონაცემთა გადაცემა იზომება იმ ბაიტებით, რომლებიც Cloudflare-მა დაშვებული მოთხოვნებისთვის გაგზავნა.
- Robots.txt violations: რამდენჯერ მოითხოვა კრაულერმა გზა, რომელსაც თქვენი robots.txt კრძალავს. Cloudflare წარსულ მოთხოვნებს თქვენს ამჟამინდელ წესებს ადარებს, ამიტომ დღეს დამატებულმა წესმა შეიძლება მონიშნოს მოთხოვნები, რომლებიც გაკეთების დროს დაშვებული იყო.
- Action: Allow, Block ან, pay per crawl-ის ბეტაში მონაწილე ანგარიშებისთვის, Charge.
- სტატუს-კოდების განაწილება: 2xx, 3xx, 4xx და 5xx. 4xx ჯგუფში შედის 403 ბლოკებიდან და 402 pay per crawl-იდან.
- Referrals და მთავარი რეფერერები, მხოლოდ ფასიან გეგმებზე: AI სერვისებიდან მოსული ვიზიტები, მაგალითად chatgpt.com-იდან, და გვერდები, სადაც ისინი მოხვდნენ.
რეპორტი თქვენ მიერ არჩეული მოქმედების მიხედვით წაიკითხეთ. Allow-ზე დაყენებულ კრაულერს ძირითადად დაშვებული მოთხოვნები და 2xx კოდები უნდა ჰქონდეს. თუ ბევრ წარუმატებელ მოთხოვნას აჩვენებს, გახსენით სტატუს-კოდების განაწილება ამ კრაულერზე გაფილტრული და შეამოწმეთ Security Analytics, რომ იპოვოთ წესი, რომელმაც უპასუხა.
როგორ დავუშვა AI საძიებო კრაულერები და დავბლოკო სწავლების კრაულერები Cloudflare-ში?
ამის გაკეთება შეგიძლიათ კრაულერების მიხედვით ან ქცევის მიხედვით. კრაულერების მიხედვით: გახსენით AI Crawl Control და თითოეული სტრიქონისთვის Action დააყენეთ. Cloudflare-ის თქმით, იქ დაბლოკვა თქვენს ზონაში WAF-ის მორგებულ წესს ქმნის ან ანახლებს, რომელიც WAF-ში გზების გამონაკლისებით შეგიძლიათ გააფართოოთ. ფასიან გეგმებზე შეგიძლიათ აირჩიოთ, დაბლოკილმა კრაულერებმა 403 მიიღონ თუ 402, და დააყენოთ უბრალო ტექსტის პასუხი.
ქცევის მიხედვით: გადადით Security-ში, შემდეგ Settings-ში, გაფილტრეთ Bot traffic-ით და გახსენით AI Crawler and Agent access policies. Cloudflare AI ტრაფიკს სამ ქცევად ყოფს, და თითოეული პოლიტიკა ამ ქცევის მქონე ვერიფიცირებულ ბოტებსა და შესაბამის არავერიფიცირებულ ბოტებზე ვრცელდება:
- Search: კონტენტის შეგროვება ან ინდექსირება, რომ მოგვიანებით კითხვებს უპასუხოს.
- Agent: რეალურ დროში მოქმედება ადამიანის სახელით, მაგალითად ჩატიდან გვერდების მიღება და ბრაუზერის აგენტები.
- Training: კონტენტის შეგროვება მოდელების სასწავლად ან დასახვეწად, მათ შორის კრაულერები, რომლებიც სწავლებისთვისაც და ძიებისთვისაც გამოიყენება.
თითოეულ ქცევას შეიძლება დაუყენოთ Block, Block on pages with ads ან Allow (do not block). Training-ს ასევე აქვს Disallow, რომელიც კრაულერებს მხოლოდ robots.txt-ით სთხოვს, არ შემოვიდნენ. Bot Preference Sync-ის ჩართვისას Cloudflare თქვენი robots.txt-ის დასაწყისში მართვად წესებს ამატებს, რომლებიც კრძალავს Amazonbot-ს, Applebot-Extended-ს, Bytespider-ს, CCBot-ს, ClaudeBot-ს, Google-Extended-ს, GPTBot-სა და meta-externalagent-ს, ამატებს Content Signals-ის ხაზს და AI სწავლების კრაულერებს ქსელის კიდეზეც ბლოკავს, გარდა იმ კრაულერებისა, რომლებიც ძიებისთვისაც და სწავლებისთვისაც გამოიყენება.
საიტების უმეტესობისთვის, რომლებსაც AI ციტირება სურთ, უსაფრთხო კომბინაციაა Search და Agent Allow-ზე და Training Disallow-ზე, შემდეგ კი AI Crawl Control-ში ცალკეული Block მოქმედებები მხოლოდ სწავლების იმ კრაულერებისთვის, რომელთა შეჩერებაც კიდეზე გინდათ.
რა შეიცვალა Cloudflare-ის ნაგულისხმევ პარამეტრებში AI კრაულერებისთვის?
2025 წლის 1 ივლისს Cloudflare-მა გამოაცხადა, რომ ნაგულისხმევად AI კრაულერებს დაბლოკავდა, თუ ისინი ავტორებს არ გადაუხდიდნენ. 2026 წლის 1 ივლისს მან ერთი გადამრთველი Block AI bots ზემოთ აღწერილი ცალკე Search, Agent და Training პოლიტიკებით შეცვალა, ყველა გეგმისთვის, Free-ის ჩათვლით. იმავე განცხადებაში ეწერა, რომ 2026 წლის 15 სექტემბრიდან დამატებულ ახალ დომენებს Training და Agent დაბლოკილი ექნებოდათ რეკლამიან გვერდებზე, ხოლო Search დაშვებული.
Cloudflare-ის პოლიტიკების მიმდინარე დოკუმენტაცია, ბოლოს განახლებული 2026 წლის 2 ნოემბერს, ამბობს, რომ ახალ დომენებს სამივე ქცევისთვის ნაგულისხმევად Allow (do not block) აქვთ. რადგან Cloudflare-ის საკუთარი გვერდები სხვადასხვა დროს სხვადასხვა ნაგულისხმევ პარამეტრს აღწერდნენ, თქვენი ზონისთვის არცერთს ნუ დაეყრდნობით: გახსენით პოლიტიკების გვერდი და წაიკითხეთ, რა არის დაყენებული.
რატომ ბლოკავს Cloudflare AI კრაულერებს მაშინაც, როცა დავუშვი?
AI Crawl Control-ში Allow მოქმედება მხოლოდ AI Crawl Control-ს უკრძალავს დაბლოკვას. სხვა ფუნქციები მოთხოვნაზე მაინც მოქმედებს. ხშირი მიზეზები:
- Training-ის დაბლოკვა იმ საძიებო კრაულერებსაც ბლოკავს, რომლებიც ორივეს აკეთებენ. Cloudflare-ის დოკუმენტაციის თანახმად, Training-ის მოქმედებები შერეული დანიშნულების კრაულერებზეც ვრცელდება, ხოლო 2026 წლის ივლისის განცხადებაში Googlebot, Applebot და bingbot დასახელებულია, როგორც კრაულერები, რომლებსაც Training-ის დამბლოკავი კლიენტები 2026 წლის 15 სექტემბრიდან დაბლოკავენ. Disallow უფრო ვიწრო არჩევანია, რადგან მისი კიდეზე დაბლოკვა შერეული დანიშნულების კრაულერებს გამოტოვებს.
- ჩართულია Bot Fight Mode. Cloudflare-ის თქმით, Bot Fight Mode-ის გვერდის ავლა ან გამოტოვება WAF-ის მორგებული წესებით ან Page Rules-ით შეუძლებელია. თუ ის კრაულერს ჩელენჯს უგზავნის, გამორთეთ ის, ან თუ თქვენი გეგმა იძლევა, გამოიყენეთ Super Bot Fight Mode, რომელიც გამოტოვების წესებს უჭერს მხარს.
- ძველი WAF-ის მორგებული წესი ბლოკავს user agent-ებს, რომლებიც
bot-ს შეიცავს, ან სიჩქარის შეზღუდვის წესი პიკებს 429-ით პასუხობს. ისინი მოქმედებს AI Crawl Control-ში არჩეული Action-ის მიუხედავად. - ბლოკის წესი ხელით არის შეცვლილი. თუ AI Crawl Control-ის უკან მდგარი WAF-ის წესი სხვა პასუხის კოდზე შეიცვალა, პანელი თქვენს არჩევანს ვეღარ აღასრულებს.
- robots.txt კრაულერს ისევ კრძალავს. Cloudflare-ის Allow თქვენს robots.txt-ს არ ცვლის, ამიტომ თავაზიანი კრაულერი მაინც არ შემოვა. 1000 ყველაზე პოპულარული დომენის ჩვენს კვლევაში 155 საიტიდან, რომლებიც robots.txt-ში AI სწავლების კრაულერს ბლოკავდნენ, 98 ასევე ბლოკავდა მინიმუმ ერთ AI საძიებო ან სამომხმარებლო კრაულერს.
როგორ დავადასტურო გარედან, რომელ AI კრაულერებს უშვებს Cloudflare?
მოითხოვეთ ერთი და იგივე გვერდი ბრაუზერის user agent-ით და თითოეული კრაულერის user agent-ით, შემდეგ შეადარეთ სტატუსი და ზომა. ქვემოთ მოცემული OpenAI-ის, Perplexity-ისა და Google-ის სტრიქონები ის სტრიქონებია, რომლებსაც ეს კომპანიები აქვეყნებენ.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" კრაულერის ხაზი 403-ით, 429-ით ან 503-ით, ან ბრაუზერის ხაზზე გაცილებით მცირე ზომით ნიშნავს, რომ თქვენს origin სერვერამდე რაღაცამ სხვანაირად უპასუხა. Free გეგმაზე AI Crawl Control კრაულერებს user agent-ით ცნობს, ამიტომ ეს ტესტი მისი ბლოკების გონივრული შემოწმებაა. ვერიფიცირებული ბოტის სტატუსზე ან ბოტის ქულებზე დაფუძნებულმა წესებმა თქვენს მოთხოვნას შეიძლება რეალური კრაულერისგან განსხვავებულად მოეპყრან, რადგან ის თქვენი IP მისამართიდან მოდის და არა ოპერატორის გამოქვეყნებული დიაპაზონებიდან. ტესტის შემდეგ მოძებნეთ საკუთარი მოთხოვნები Security Analytics-ში, რომ ნახოთ, რომელი წესი ამოქმედდა.
როგორ ამოწმებს AISeeWhy, რას უგზავნის Cloudflare AI კრაულერებს?
AISeeWhy-ის უფასო შემოწმება თქვენს გვერდს 16 AI და საძიებო კრაულერის სახელით ითხოვს რეალური ბრაუზერის გვერდით, თითოეული კრაულერისთვის თქვენს robots.txt-ს იყენებს და ფაირვოლის ჩელენჯის გვერდებს ამოიცნობს, ასე რომ შეგიძლიათ ნახოთ, ემთხვევა თუ არა Cloudflare-ის პანელის შედეგი იმას, რასაც კრაულერები რეალურად იღებენ.
ამ პრობლემის გამოსწორებები
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- AI კრაულერების IP შემოწმება
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
უფასოა თუ არა Cloudflare AI Crawl Control?
დიახ. Cloudflare AI Crawl Control-ს ყველა გეგმაზე ხელმისაწვდომად ასახელებს. Free გეგმა კრაულერებს მხოლოდ user agent-ით ცნობს და Metrics-ში ბოლო 24 საათს აჩვენებს; რეფერალების მონაცემებსა და ბლოკის მორგებულ პასუხებს ფასიანი გეგმა სჭირდება.
რა მოუვიდა Cloudflare AI Audit-ს?
მას სახელი შეეცვალა. Cloudflare-ის დოკუმენტაცია AI Crawl Control-ს ყოფილ AI Audit-ად აღწერს, იგივე დანიშნულებით: ნახოთ, რომელი AI კრაულერები შემოდიან, და თითოეულისთვის მოქმედება დააყენოთ.
ცვლის თუ არა AI Crawl Control-ში კრაულერის დაბლოკვა ჩემს robots.txt-ს?
არა. Block მოქმედება WAF-ის მორგებულ წესს ქმნის ან ანახლებს. robots.txt მხოლოდ მაშინ იცვლება, თუ Training-ისთვის Disallow ვარიანტს Bot Preference Sync-თან ერთად იყენებთ, რაც თქვენი ფაილის დასაწყისში Cloudflare-ის მართვად წესებს ამატებს.
რა ითვლება robots.txt-ის დარღვევად Cloudflare-ში?
AI კრაულერის მოთხოვნა გზაზე, რომელსაც თქვენი robots.txt კრძალავს. Cloudflare წარსულ მოთხოვნებს თქვენს ამჟამინდელ წესებს ადარებს, ამიტომ ახალმა წესმა შეიძლება მონიშნოს ძველი მოთხოვნები, რომლებიც იმ დროს დაშვებული იყო.
რა არის pay per crawl?
Charge მოქმედება, რომელიც AI კრაულერებს თითოეულ მოთხოვნაზე გადახდას სთხოვს, წინააღმდეგ შემთხვევაში კი HTTP 402-ითა და ფასით პასუხობს. Cloudflare მას დახურულ ბეტად აღწერს, და WAF-ის ან Bot Management-ის ბლოკებს მასზე უპირატესობა აქვს.
წყაროები
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI კრაულერების წვდომის ანგარიში, 2026-11