რატომ ბლოკავს ჩემი საიტი უცებ AI კრაულერებს?
საიტი, რომელიც AI კრაულერების დაბლოკვას იწყებს, თითქმის ყოველთვის ხუთიდან ერთ ადგილას შეიცვალა: robots.txt, რომელიც რეალურად იგზავნება, CDN-ის პარამეტრი, მაგალითად Cloudflare-ის AI კრაულერების პოლიტიკა, ბოტებისგან დაცვა ან მოთხოვნების ლიმიტი, ჰოსტინგის ნაგულისხმევი პარამეტრი, ან robots.txt, რომელიც ახლა შეცდომით პასუხობს. მიიღეთ დღევანდელი robots.txt და გვერდი თითოეული კრაულერის სახელით, შეადარეთ ისინი ბრაუზერს და იმას, რაც ადრე გქონდათ, და ეს ფენები ამ თანმიმდევრობით შეამოწმეთ.
AI პასუხებიდან გაქრობას არავინ წყვეტს. ეს ხდება როგორც თემის განახლების, უსაფრთხოების პარამეტრის, მიგრაციის ან პროვაიდერთან ნაგულისხმევი პარამეტრის ცვლილების გვერდითი ეფექტი. ბრაუზერი საიტს კვლავ ჩვეულებრივ ხედავს, ამიტომ ცვლილება შეიძლება შეუმჩნეველი დარჩეს, სანამ ვინმე ChatGPT-ს ან Perplexity-ს პროდუქტზე არ ჰკითხავს და კონკურენტს არ მიიღებს. თითოეული ფენა ტოვებს კვალს, რომლის შემოწმებაც გარედან ან ლოგებში შეგიძლიათ.
ამ გვერდზე
- შეიცვალა თუ არა robots.txt, რომელსაც კრაულერები იღებენ?
- შეცვალა თუ არა Cloudflare-ის 2026 წლის AI კრაულერების პოლიტიკამ ის, რასაც ჩემი საიტი უშვებს?
- აჩერებს თუ არა კრაულერებს ბოტებისგან დაცვა ან მოთხოვნების ლიმიტი?
- შეცვალა თუ არა ჩემმა ჰოსტინგ-პროვაიდერმა ნაგულისხმევი პარამეტრები?
- პასუხობს თუ არა robots.txt შეცდომით?
- როგორ გავიგო, როდის დაიწყო?
- როგორ შევნიშნო ეს შემდეგ ჯერზე უფრო ადრე?
შეიცვალა თუ არა robots.txt, რომელსაც კრაულერები იღებენ?
მიიღეთ https://yourdomain.com/robots.txt და შეადარეთ ის ფაილს თქვენს რეპოზიტორიაში ან სარეზერვო ასლში. უყურეთ იმ ფაილს, რომელიც იგზავნება, და არა დისკზე არსებულს, რადგან გზაში მისი შეცვლა რამდენიმე ფენას შეუძლია:
- დეპლოი აქვეყნებს staging-ის robots.txt-ს
Disallow: /-ით, ან მიგრაცია პლატფორმის ნაგულისხმევ ფაილს ტოვებს. - საიტის კონსტრუქტორის პარამეტრი AI კრაულერების წესებს ამატებს. მაგალითად, Squarespace-ს აქვს ოფცია Block known artificial intelligence crawlers, რომელიც robots.txt-ში 26 ბოტის სახელს წერს და ამბობს, რომ დროთა განმავლობაში შეიძლება მეტიც დაემატოს. ნაგულისხმევად ის გამორთულია, ამიტომ ვინმემ უნდა ჩართოს, მაგრამ სია შემდეგ შეიძლება გაიზარდოს.
- SEO ან უსაფრთხოების პლაგინის განახლება ახალ წესებს წერს ან ამატებს ახალ ოფციას, რომელსაც ვინმე რთავს.
- Cloudflare თქვენს ფაილს თავში უმატებს თავის მართვად robots.txt-ს, როცა Bot Preference Sync ჩართულია და AI პოლიტიკა დაყენებულია Block-ზე ან Disallow-ზე. ამის შემდეგ გაგზავნილი ფაილი იწყება
Disallow: /-ითClaudeBot-ისთვის,GPTBot-ისთვის და სწავლების კიდევ ექვსი ტოკენისთვის, თუმცა თქვენი ფაილი არ შეცვლილა. - სწავლების კრაულერისთვის განკუთვნილი წესი სხვებზეც დაკოპირდა, მათ შორის საძიებო კრაულერებზე, როგორიცაა
OAI-SearchBot,Claude-SearchBotანPerplexityBot.
Google Search Console-ის robots.txt-ის რეპორტი აჩვენებს ვერსიებს, რომლებიც Google-მა ბოლო 30 დღეში მიიღო, ახალი ჩანაწერით ყოველ ჯერზე, როცა ფაილი ან მიღების შედეგი შეიცვალა. ის მხოლოდ იმას მოიცავს, რაც Google-მა ნახა, მაგრამ თუ თქვენი სერვერი robots.txt-ს user agent-ის მიხედვით არ ცვლის, AI კრაულერებმა იგივე ფაილი მიიღეს.
შეცვალა თუ არა Cloudflare-ის 2026 წლის AI კრაულერების პოლიტიკამ ის, რასაც ჩემი საიტი უშვებს?
Cloudflare-მა AI კრაულერების მართვა რამდენჯერმე შეცვალა და ზოგიერთი ცვლილება ზონის ქცევას ისე ცვლის, რომ მას არავინ არედაქტირებს. 2025 წლის 1 ივლისს მან ახალ დომენებს რეგისტრაციისას კითხვა დაუწყო, დაუშვან თუ არა AI კრაულერები, საწყის მდგომარეობად დაბლოკვით. 2026 წლის 1 ივლისს მან ერთიანი გადამრთველი Block AI bots ცალკეული პოლიტიკებით შეცვალა, Search, Agent და Training, ყველა გეგმისთვის, Free-ის ჩათვლით.
დეტალი, რომელიც საიტების უმეტესობას აბრკოლებს, შერეული დანიშნულების კრაულერებია. Cloudflare-ის დოკუმენტაციის თანახმად, Training-ის ქმედებები ვრცელდება კრაულერებზეც, რომლებიც როგორც ძიებისთვის, ისე სწავლებისთვის გამოიყენება. მისი 2026 წლის ივლისის განცხადების მიხედვით, 2026 წლის 15 სექტემბრიდან მრავალდანიშნულებიანი კრაულერები, როგორიცაა Googlebot, Applebot და BingBot, დაიბლოკებოდა იმ კლიენტებისთვის, ვინც Training-ის დაბლოკვა აირჩია, ახალი ოფციებით თუ ძველი პარამეტრით Block AI bots. ამიტომ სწავლებაზე უარი, რომელიც ერთი წლის წინ დააყენეთ, ახლა შეიძლება საძიებო კრაულერებსაც შეეხოს.
ახალი დომენების ნაგულისხმევი პარამეტრები დროთა განმავლობაში სხვადასხვაგვარად აღიწერებოდა. იმავე განცხადებაში ნათქვამი იყო, რომ 2026 წლის 15 სექტემბრიდან ახალ დომენებზე Training და Agent დაიბლოკებოდა გვერდებზე, რომლებიც რეკლამას აჩვენებს, მაშინ როცა 2026 წლის 2 ნოემბერს განახლებული პოლიტიკის დოკუმენტაცია ამბობს, რომ ახალი დომენები სამივეს Allow-ზე იწყებენ. გახსენით Security, შემდეგ Settings, გაფილტრეთ Bot traffic-ით და წაიკითხეთ AI Crawler and Agent access policies თქვენი ზონისთვის. ჩვენი სახელმძღვანელო Cloudflare AI Crawl Control-ზე თითოეულ პარამეტრს ხსნის.
აჩერებს თუ არა კრაულერებს ბოტებისგან დაცვა ან მოთხოვნების ლიმიტი?
ბოტებისგან დაცვა თითოეულ მოთხოვნას აფასებს, კრაულერები კი მონაცემთა ცენტრებიდან ბევრ გვერდს სწრაფად იღებენ, რაც სწორედ ბოტების ქცევაა. კრაულერმა, რომელიც გასულ თვეს გადიოდა, შეიძლება ჩელენჯის გვერდების მიღება დაიწყოს მას შემდეგ, რაც მისი ოპერატორი IP დიაპაზონებს ან შეგროვების სიხშირეს შეცვლის, ან დაცვის წესები განახლდება. ხშირი მიზეზია Cloudflare-ის Bot Fight Mode, და Cloudflare ამბობს, რომ მისი გვერდის ავლა ან გამოტოვება WAF-ის საკუთარი წესებით ან Page Rules-ით შეუძლებელია, ამიტომ მოგვიანებით დამატებული დაშვების წესი არ დაგეხმარებათ, სანამ ის ჩართულია. ახალ მოთხოვნების ლიმიტს, რომელიც მოთხოვნების ნაკადს 429-ით პასუხობს, იგივე ეფექტი აქვს აქტიურ კრაულერზე.
გამოსცადეთ გარედან: მოითხოვეთ გვერდი ბრაუზერის და ორი AI საძიებო კრაულერის სახელით, შემდეგ მოითხოვეთ robots.txt კრაულერის სახელით.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 ან 503 მხოლოდ კრაულერისთვის, გვერდი სათაურით Just a moment..., ან ბრაუზერისაზე გაცილებით მცირე პასუხი ნიშნავს, რომ კრაულერს სხვაგვარად ეპყრობიან. ტესტი თქვენი IP-იდან მოდის და არა მომწოდებლისგან, ამიტომ წესები, რომლებიც გადამოწმებული ბოტის სტატუსს ეყრდნობა, ნამდვილ კრაულერს მაინც შეიძლება სხვაგვარად მოეპყრონ. ფაირვოლის მოვლენების ლოგი აჩვენებს, რომელმა წესმა უპასუხა.
შეცვალა თუ არა ჩემმა ჰოსტინგ-პროვაიდერმა ნაგულისხმევი პარამეტრები?
ზოგიერთი ჰოსტინგი AI ტრაფიკს სერვერზე ფილტრავს, სანამ თქვენი საკუთარი წესები იმუშავებს. მაგალითად, SiteGround-მა 2025 წლის აგვისტოში დაწერა, რომ ნაგულისხმევად ბლოკავს AI კრაულერებს, რომლებიც სასწავლო მონაცემების შესაგროვებლადაა შექმნილი, და უშვებს კრაულერებს, რომლებიც მაშინ მოდიან, როცა ადამიანი AI ასისტენტს გვერდზე ეკითხება. ასეთი წესები თქვენს robots.txt-ში არ ჩანს და შეიძლება შეიცვალოს, როცა ჰოსტინგი ბოტების სიებს განაახლებს.
თუ ბლოკი ერთდროულად ჩნდება ერთი ჰოსტინგის რამდენიმე საიტზე, ან პასუხებში, რომლებიც თქვენი აპლიკაციის ლოგებამდე არასოდეს აღწევს, ჰკითხეთ ჰოსტინგს, რომელი ბოტების წესები ვრცელდება თქვენს ანგარიშზე და შეგიძლიათ თუ არა გამონაკლისად დაამატოთ კრაულერები, რომელთა შენარჩუნებაც გსურთ.
პასუხობს თუ არა robots.txt შეცდომით?
robots.txt, რომელიც ვერ იტვირთება, შეიძლება ნებისმიერ Disallow სტრიქონზე მეტს ბლოკავდეს. RFC 9309-ის მიხედვით, 4xx პასუხი ნიშნავს, რომ კრაულერს ყველაფრის მიღება შეუძლია, მაგრამ სერვერის შეცდომა (5xx) ან პასუხის საერთოდ არარსებობა ნიშნავს, რომ მან მთელი საიტი აკრძალულად უნდა ჩათვალოს. Google ასეთი შეცდომების პირველ 12 საათში შეგროვებას აჩერებს, შემდეგ კი 30 დღემდე ბოლო კარგ ასლს იყენებს.
ასე შეუძლია დატვირთვის მკვეთრ ზრდას, ფაირვოლის წესს, რომელიც /robots.txt-ზე ჩელენჯს აჩვენებს, ან მოთხოვნების ლიმიტს, რომელიც მასაც მოიცავს, კეთილსინდისიერი კრაულერები გარეთ დატოვოს, ისე რომ არცერთი წესი არ შეცვლილა. ზემოთ მოცემული ტესტის ბოლო ბრძანებამ უნდა დააბრუნოს 200 და text/plain. 5xx, ვადის ამოწურვა ან ჩელენჯის გვერდი აქ პირველი, რაც უნდა გამოასწოროთ.
როგორ გავიგო, როდის დაიწყო?
თარიღი საიდუმლოს ცვლილებების შედარებად აქცევს. წვდომის ლოგებში გაფილტრეთ AI კრაულერების user agent-ების მოთხოვნები და მოძებნეთ დღე, როცა მათი სტატუსის კოდები 200-დან 403-ზე, 429-ზე ან 503-ზე გადავიდა, ან დღე, როცა მათ robots.txt-ის წაკითხვის შემდეგ გვერდების მოთხოვნა შეწყვიტეს; ბრძანებები ჩვენს სახელმძღვანელოშია AI კრაულერებისთვის სერვერის ლოგების შემოწმებაზე. მოთხოვნები, რომლებიც თქვენმა CDN-მა დაბლოკა, origin-ამდე არასოდეს აღწევს, ამიტომ CDN-იც შეამოწმეთ. Cloudflare-ზე AI Crawl Control აჩვენებს სტატუსის კოდების განაწილებას დროში, რომლის გაფილტვრაც კრაულერის მიხედვით შეგიძლიათ.
შემდეგ ეს თარიღი შეადარეთ დეპლოიებს, პლაგინებისა და თემების განახლებებს, CDN-ის პარამეტრების ცვლილებებს და პროვაიდერების განცხადებებს. მოქმედებამდე დარწმუნდით, რომ წყარო IP-ები მომწოდებელს ეკუთვნის, რათა ნამდვილ კრაულერს უყურებდეთ და არა თაღლითს, რომელიც მის სახელს იყენებს.
როგორ შევნიშნო ეს შემდეგ ჯერზე უფრო ადრე?
წვდომა შეამოწმეთ ყოველი დეპლოის, CDN-ის ცვლილებისა და პლაგინის განახლების შემდეგ და არა მხოლოდ მაშინ, როცა ტრაფიკი ეცემა. AISeeWhy-ის უფასო შემოწმება გვერდს 16 AI და საძიებო კრაულერის სახელით ითხოვს რეალური ბრაუზერის გვერდით, თქვენს robots.txt-ს თითოეული კრაულერისთვის იყენებს და ფაირვოლის ჩელენჯის გვერდებს ამოიცნობს. robots.txt-ის უფასო ტესტერი თითოეული კრაულერისთვის აჩვენებს, შეიძლება თუ არა გვერდის მიღება დღეს მოქმედი ფაილის მიხედვით.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- AI კრაულერების IP შემოწმება
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
რატომ შეწყვიტა ChatGPT-მ ჩემი საიტის ჩვენება?
ხშირად იმიტომ, რომ OAI-SearchBot, კრაულერი, რომელიც ChatGPT-ის ძიების უკან დგას, დაიბლოკა robots.txt-ის ცვლილებით, CDN-ის პოლიტიკით ან ბოტებისგან დაცვით. OpenAI ამბობს, რომ საიტები, რომლებიც მას ბლოკავს, ChatGPT-ის ძიების პასუხებში არ გამოჩნდება. შეამოწმეთ ყველა ფენა ამ კრაულერისთვის და robots.txt-ის გასწორების შემდეგ დაახლოებით 24 საათი დაელოდეთ, რაც, OpenAI-ის თქმით, მის სისტემებს მოსარგებად სჭირდება.
დაიწყო თუ არა Cloudflare-მა Googlebot-ის დაბლოკვა ჩემს საიტზე?
ეს შესაძლებელია. Cloudflare-მა განაცხადა, რომ 2026 წლის 15 სექტემბრიდან კლიენტები, რომლებიც Training-ს ბლოკავენ, ასევე ბლოკავენ მრავალდანიშნულებიან კრაულერებს, როგორიცაა Googlebot, Applebot და BingBot. მისი დოკუმენტაციის თანახმად, Training-ის ოფცია Disallow სწავლების კრაულერებს edge-ზე ბლოკავს, მაგრამ შერეული დანიშნულების კრაულერებს არ ეხება, ამიტომ შეამოწმეთ, რომელ ოფციას იყენებს თქვენი ზონა.
შეუძლია თუ არა საიტის კონსტრუქტორს ან პლაგინს robots.txt ჩემ ნაცვლად შეცვალოს?
დიახ. საიტის კონსტრუქტორებს და SEO ან უსაფრთხოების პლაგინებს შეუძლიათ robots.txt-ში AI კრაულერების წესების ჩაწერა, ზოგი კი დროთა განმავლობაში ბოტების სიას აფართოებს. ყოველი განახლების შემდეგ მიიღეთ მოქმედი ფაილი და წაიკითხეთ ჯგუფები, რომლებიც თქვენთვის მნიშვნელოვან საძიებო კრაულერებზე ვრცელდება.
რატომ განსხვავდება ჩემი მოქმედი robots.txt სერვერზე არსებული ფაილისგან?
რაღაც, რაც თქვენი სერვერის წინ დგას, მას ცვლის. მაგალითად, Cloudflare-ის მართვადი robots.txt იმავე პასუხში თქვენს ფაილს თავში უმატებს საკუთარ წესებსა და კონტენტის სიგნალებს. CMS-ს, რომელიც robots.txt-ს მოთხოვნისას აგენერირებს, ან ჰოსტინგის დონის პარამეტრს ასევე შეუძლია მისი ჩანაცვლება ან გაფართოება.
რამდენ ხანში დაბრუნდებიან AI კრაულერები გასწორების შემდეგ?
RFC 9309-ის მიხედვით კრაულერებმა ქეშირებული robots.txt 24 საათზე მეტხანს არ უნდა გამოიყენონ, OpenAI ამბობს დაახლოებით 24 საათს, Perplexity კი 24 საათამდე. ფაირვოლის ცვლილებები მოქმედებს, როგორც კი პროვაიდერი მათ გაავრცელებს, მაგრამ კრაულერები საკუთარი გრაფიკით ბრუნდებიან.
წყაროები
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers