ბლოკავს თუ არა Cloudflare AI კრაულერებს? როგორ გავარკვიოთ და გამოვასწოროთ

დაახლოებით 30 წამში ნახეთ, პასუხობს თუ არა Cloudflare ან სხვა ფაირვოლი AI კრაულერებს ბლოკით, და მიიღეთ წესი, რომელიც საჭირო კრაულერებს გაატარებს.

უფასოდ · რეგისტრაციის გარეშე · შედეგი 30 წამში

403, 429 და ბოტის შემოწმების გვერდები

კრაულერებმა შეიძლება მიიღონ ბლოკი ან Just a moment... გვერდი, მაშინ როცა თქვენი ბრაუზერი რეალურ გვერდს იღებს. გვერდი ორივე გზით მოითხოვება და სხვაობა აღინიშნება.

robots.txt ფაირვოლის წინააღმდეგ

როცა robots.txt კრაულერს უშვებს, მაგრამ სერვერი უარს ეუბნება, ანგარიში კონფლიქტს აჩვენებს, ასე რომ იცით, რომელი პარამეტრი შეცვალოთ.

ფაირვოლი, დასახელებული

CDN ან ფაირვოლი, რომელმაც უპასუხა, დასახელებულია, Cloudflare-ის ჩათვლით, ამიტომ ვარაუდი არ მოგიწევთ, სად ეძებოთ.

წესი, რომელიც უნდა გამოიყენოთ

ყოველ პრობლემას თან ახლავს გამოსწორება, მაგალითად Cloudflare-ის წესი ან დაშვების სიაში დამატების ნაბიჯი. უფასო შემოწმება აჩვენებს თქვენს ქულას და პირველ პრობლემას; სრული ანგარიში $29-ია, ერთჯერადად.

მოკლე პასუხი

Cloudflare-ს და სხვა ფაირვოლებს შეუძლიათ AI კრაულერებს უპასუხონ 403-ით, 429-ით ან ბოტის შემოწმების გვერდით "Just a moment...", მაშინ როცა ბრაუზერები რეალურ გვერდს იღებენ, თუნდაც robots.txt კრაულერს უშვებდეს. შეამოწმეთ ეს გვერდის კრაულერის user agent-ით მოთხოვნით, შემდეგ კი დაუშვით AI საძიებო კრაულერები AI Crawl Control-ში ან WAF-ის skip წესით.

იპოვეთ და გამოასწორეთ 3 ნაბიჯში

  1. მოითხოვეთ გვერდი ორჯერ

    ერთხელ ბრაუზერის user agent-ით, ერთხელ კრაულერისით. 403, 429 ან 503 მხოლოდ კრაულერისთვის, Just a moment... გვერდი ან გაცილებით მოკლე 200 ფაირვოლის ბლოკს ნიშნავს.

  2. დაუშვით საძიებო კრაულერები

    Cloudflare-ში გახსენით AI Crawl Control, გადადით Crawlers სიაზე და Action სვეტში დააყენეთ Allow იმ კრაულერებისთვის, რომლებიც გჭირდებათ, მაგალითად OAI-SearchBot.

  3. საჭიროების შემთხვევაში გამოტოვეთ სხვა დაცვები

    თუ WAF-ის მორგებული წესი, Super Bot Fight Mode ან მოთხოვნების სიხშირის ლიმიტი მაინც ბლოკავს მათ, დაამატეთ წესი, პირველ ადგილზე, რომელიც ამ ფუნქციებს გადამოწმებული ბოტებისთვის გამოტოვებს. user agent-ის შესატყვისობას გადამოწმებული ბოტის ველი ან მომწოდებლის გამოქვეყნებული IP დიაპაზონებიარჩიეთ.

ხშირად დასმული კითხვები

სად ვნახო Cloudflare-ში, რომელი AI კრაულერებია დაბლოკილი?

გახსენით AI Crawl Control Cloudflare-ის პანელში. მისი კრაულერების სია აჩვენებს ყველა AI კრაულერს, რომელიც Cloudflare-მა თქვენს დომენზე ნახა, რამდენი მოთხოვნა გააკეთა და მისი მოქმედება Allow არის თუ Block, და მოქმედების შეცვლაც იქვე შეგიძლიათ. სხვა ფუნქციებს, როგორიცაა Bot Fight Mode, მაინც შეუძლიათ დაბლოკონ კრაულერი, რომელიც დაუშვით, ამიტომ შედეგი კრაულერის user agent-ით გაგზავნილი მოთხოვნით დაადასტურეთ.

ბლოკავს თუ არა Cloudflare AI კრაულერებს ნაგულისხმევად?

ეს დამოკიდებულია თქვენს ანგარიშზე, გეგმასა და ზონის პარამეტრებზე, და Cloudflare ამ ვარიანტებს დროთა განმავლობაში ცვლიდა. შეამოწმეთ AI Crawl Control და ბოტების პარამეტრები და ვარაუდის ნაცვლად გატესტეთ კრაულერის user agent-ით.

რატომ მუშაობს ჩემი საიტი ბრაუზერში, კრაულერებისთვის კი არა?

ფაირვოლები ყოველ მოთხოვნას აფასებენ. ბრაუზერი JavaScript შემოწმებებს გადის და cookie-ებს ინახავს; კრაულერი არა, ამიტომ მან შეიძლება მიიღოს ბოტის შემოწმების გვერდი ან 403, რომელსაც თქვენ ვერასდროს ხედავთ.

უსაფრთხოა თუ არა AI კრაულერების WAF-ში გატარება?

დასახელებული კრაულერის დაშვება დაბალი რისკისაა, თუ მას მომწოდებლის IP დიაპაზონებით ან Cloudflare-ის დადასტურებული ბოტის სიგნალით ამოწმებთ. წესები, რომლებიც მხოლოდ user agent-ს ენდობა, ყველას ატარებს, ვინც მას აკოპირებს.

მოქმედებს თუ არა Cloudflare-ის ელფოსტის დაფარვის ფუნქცია AI კრაულერებზე?

ის ელფოსტის მისამართებს ცვლის ბმულით, რომელსაც მხოლოდ სკრიპტი შიფრავს, ამიტომ კრაულერები მისამართის ნაცვლად ჩანაცვლების ტექსტს ხედავენ. თუ გსურთ, რომ თქვენი საკონტაქტო ელფოსტა წაკითხვადი იყოს, Scrape Shield-ში გამორთეთ Email Address Obfuscation და მისამართი ჩვეულებრივი ტექსტით აჩვენეთ.

წაიკითხეთ სრული გზამკვლევი

ბოტებისგან დაცვა სკრეიპერებისა და ბოროტად გამოყენების შესაჩერებლად არსებობს და ამას კარგად აკეთებს. პრობლემა ისაა, რომ AI საძიებო კრაულერებიც ბოტები არიან. წლების წინ ჩართულმა უსაფრთხოების პარამეტრმა, მოთხოვნების ლიმიტმა ან უცნობი user agent-ების საწინააღმდეგო ფართო წესმა შეიძლება შეუმჩნევლად დაბლოკოს ის კრაულერები, რომლებიც თქვენ გციტირებენ, მაშინ როცა თქვენი საკუთარი ვიზიტები სრულიად ნორმალურად გამოიყურება.

რატომ დაბლოკავდა ფაირვოლი AI კრაულერებს?

ფაირვოლები ყოველ მოთხოვნას აფასებენ. კრაულერი JavaScript შემოწმებებს არ ასრულებს, cookie-ებს ბრაუზერივით არ ინახავს და ხშირად ზედიზედ ბევრ გვერდს ითხოვს, ამიტომ ის ზუსტად ისეთ ტრაფიკს ჰგავს, რომლის შესაჩერებლადაც ბოტებისგან დაცვაა შექმნილი. ხშირი მიზეზებია:

  • ბოტებისგან დაცვის ფუნქციები, რომლებიც ცნობილი ბოტების ნიმუშების შესაბამის ტრაფიკს შემოწმებას უგზავნიან. მაგალითად, Cloudflare-ის Bot Fight Mode ბოტებს გამოთვლით რთულ შემოწმებებს უგზავნის.
  • WAF-ის custom rules, რომლებიც ბლოკავენ ან შემოწმებას უგზავნიან user agent-ებს, რომლებიც შეიცავს სიტყვებს „bot“ ან „crawler“, ან უშვებენ მხოლოდ საძიებო სისტემების მოკლე სიას.
  • პარამეტრები, რომლებიც AI კრაულერებს მთელი კატეგორიით ბლოკავს. Cloudflare საშუალებას გაძლევთ, დააყენოთ პოლიტიკა Search, Agent და Training კრაულერებისთვის, და იქ Block პარამეტრი ყველა მათგანზე ვრცელდება.
  • მოთხოვნების ლიმიტი, რომელიც კრაულერის მოთხოვნების სწრაფ თანმიმდევრობას 429-ით პასუხობს.
  • ქვეყნის ან ASN-ის ბლოკები, რომლებიც შემთხვევით მოიცავს ქსელებს, საიდანაც კრაულერები მუშაობენ.

როგორ განვასხვავო ფაირვოლის ბლოკი robots.txt-ის ბლოკისგან?

robots.txt-ის ბლოკი თავაზიანი თხოვნაა: კრაულერი კითხულობს თქვენს წესებს და გვერდს არ იღებს. ფაირვოლის ბლოკი პასუხია: კრაულერი გვერდს ითხოვს და სხვა რამეს იღებს. მეორე სახის ბლოკის პირდაპირ ნახვა შეგიძლიათ. მოითხოვეთ გვერდი ორჯერ, ერთხელ ბრაუზერის user agent-ით და ერთხელ კრაულერისით, და შეადარეთ.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

ფაირვოლის ბლოკის ნიშნები: სტატუსი 403, 429 ან 503 მხოლოდ კრაულერისთვის; გვერდი სათაურით Just a moment... ან Attention Required! | Cloudflare; შიგთავსი, რომელიც /cdn-cgi/challenge-platform-ს შეიცავს; ან 200 პასუხი, რომელიც ბრაუზერისაზე გაცილებით მოკლეა. გახსოვდეთ, რომ თქვენი ტესტი თქვენი საკუთარი IP-დან მიდის და არა კრაულერის დადასტურებული IP დიაპაზონიდან, ამიტომ ის აჩვენებს, როგორ ეპყრობა ფაირვოლი user agent-ს, და არა ყველა დეტალს იმისა, როგორ ეპყრობა ის რეალურ კრაულერს.

როგორ დავუშვა AI საძიებო კრაულერები Cloudflare-ში?

Cloudflare-ის AI Crawl Control, რომელიც ყველა გეგმაზე ხელმისაწვდომია, აჩვენებს AI კრაულერებს, რომლებიც თქვენს დომენს სტუმრობენ, და თითოეულისთვის მოქმედების დაყენების საშუალებას გაძლევთ. პანელში გახსენით AI Crawl Control, გადადით Crawlers სიაზე და Action სვეტში თითოეული კრაულერისთვის აირჩიეთ Allow ან Block. Cloudflare-ის თქმით, იქ დაბლოკვა თქვენს ზონაში WAF-ის custom rule-ს ქმნის ან ანახლებს.

თუ კრაულერს WAF-ის custom rule, Super Bot Fight Mode ან მოთხოვნების ლიმიტი ბლოკავს, დაამატეთ custom rule, რომელიც ამ ფუნქციებს გამოტოვებს დადასტურებული ბოტებისა და კრაულერის ტოკენისთვის:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

წესი პირველად განათავსეთ. გაითვალისწინეთ, რომ user agent-ით შემოწმება ატარებს ყველას, ვინც ამ user agent-ს აყალბებს. სადაც შესაძლებელია, უპირატესობა მიანიჭეთ დადასტურებული ბოტის ველს (cf.client.bot) ან მომწოდებლის გამოქვეყნებულ IP დიაპაზონებს.

რა ვუყოთ Bot Fight Mode-ს?

Cloudflare-ის დოკუმენტაცია პირდაპირ ამბობს, რომ Bot Fight Mode-ის გვერდის ავლა ან გამოტოვება WAF-ის custom rules-ით ან Page Rules-ით შეუძლებელია. თუ კრაულერებს სწორედ ეს ფუნქცია უგზავნის შემოწმებას, skip წესი არ დაგეხმარებათ. ვარიანტებია Bot Fight Mode-ის გამორთვა ან Super Bot Fight Mode-ის გამოყენება იმ გეგმაზე, სადაც ის არის: ის Ruleset Engine-ზე მუშაობს და skip წესებს მხარს უჭერს.

რომელი კრაულერები უნდა გავატარო?

დაყავით კრაულერები იმის მიხედვით, რას აკეთებენ. საძიებო და მომხმარებლის მოთხოვნით მომუშავე კრაულერები წყვეტენ, შეუძლიათ თუ არა AI პასუხებს თქვენი პოვნა და ციტირება. სასწავლო კრაულერები მოდელებისთვის მონაცემებს აგროვებენ და მათი დაბლოკვა ლეგიტიმური არჩევანია, რომელიც AI ძიებიდან არ გაგრიცხავთ.

  • ძიება: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • მომხმარებლის მოთხოვნები: ChatGPT-User, Claude-User, Perplexity-User.
  • სწავლება: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare-ის საკუთარი პოლიტიკის პარამეტრები იგივე დაყოფას იყენებს Search, Agent და Training კატეგორიებად, ამიტომ შეგიძლიათ პირველი ორი დაუშვათ და მესამეზე ცალკე გადაწყვიტოთ. თუ სხვა ფაირვოლს ან CDN-ს იყენებთ, პრინციპი იგივეა: დაამატეთ კრაულერის ტოკენი დაშვებულთა სიაში, სადაც შესაძლებელია, მომწოდებლის გამოქვეყნებული IP დიაპაზონებით ან reverse DNS-ით გადამოწმებით, რომ მან ბრაუზერის იდენტური პასუხი მიიღოს.

როგორ აღმოაჩენს AISeeWhy ფაირვოლის ბლოკებს?

AISeeWhy თქვენს გვერდს ითხოვს როგორც 14 კრაულერი და ჩვეულებრივი ბრაუზერი, ადარებს სტატუსს, ზომასა და გადამისამართებებს, ცნობს ბოტის შემოწმების გვერდებს და ასახელებს ფაირვოლს ან CDN-ს, რომელმაც უპასუხა. როცა robots.txt კრაულერს უშვებს, სერვერი კი ბლოკავს, რეპორტი ამ კონფლიქტს აჩვენებს და გაძლევთ Cloudflare-ის წესს ან დაშვებულთა სიის ნაბიჯს მის გამოსასწორებლად.

ამ პრობლემის გამოსწორებები

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

წყაროები

სხვა სტატიები

გამოქვეყნდა · განახლდა