როგორ შევანელოთ AI კრაულერები დაბლოკვის გარეშე

გამოქვეყნდა

მოკლე პასუხი

დაბლოკვის ნაცვლად მოთხოვნები შეზღუდეთ. კრაულერების ჭარბ მოთხოვნებს უპასუხეთ 429-ით ან 503-ით და Retry-After სათაურით, თითოეულ კრაულერს საკუთარი ლიმიტი მიეცით, /robots.txt ყველა ლიმიტს გარეთ დატოვეთ და კრაულერებს გვერდები ქეშიდან მიაწოდეთ. Crawl-delay robots.txt-ში მხოლოდ იქ გეხმარებათ, სადაც ოპერატორი მას აღწერს: Anthropic და Bing აღწერენ, Google ამბობს, რომ მხარს არ უჭერს, ხოლო OpenAI და Perplexity მას არ ახსენებენ. AI საძიებო კრაულერები დაშვებული დატოვეთ, თორემ იმ პასუხებიდანაც გაქრებით, რომლებსაც ისინი კვებავენ.

როცა კრაულერი საათში ათასობით მოთხოვნას აგზავნის, სწრაფი გამოსავალია Disallow: / ან ფაირვოლით დაბლოკვა. სწავლების კრაულერისთვის ეს შეიძლება გონივრული არჩევანი იყოს. OAI-SearchBot-ისთვის, Claude-SearchBot-ისთვის ან PerplexityBot-ისთვის კი ის თქვენს გვერდებს AI პასუხებიდან აქრობს, რომლებშიც გამოჩენა გსურთ. უმეტესად დატვირთვის შემცირება ამის დათმობის გარეშეა შესაძლებელი, სიგნალებით, რომლებიც კრაულერებს უკვე ესმით: სტატუსის კოდებით, ქეშირებით და, ზოგიერთი ოპერატორისთვის, Crawl-delay-ით.

ამ გვერდზე
  1. რომელი კრაულერი იწვევს რეალურად დატვირთვას?
  2. მუშაობს თუ არა Crawl-delay AI კრაულერებისთვის?
  3. როგორ ანელებს კრაულერებს 429 და 503 პასუხები?
  4. როგორ დავაყენო მოთხოვნების ლიმიტი AI კრაულერებისთვის?
  5. შეუძლია თუ არა ქეშირებას კრაულერების დატვირთვის შემცირება?
  6. რას უნდა მოვერიდო კრაულერების შენელებისას?
  7. როგორ შევამოწმო, რომ კრაულერები კვლავ გადიან?

რომელი კრაულერი იწვევს რეალურად დატვირთვას?

სანამ რამეს შეცვლით, ჯერ ნახეთ. დათვალეთ მოთხოვნები user agent-ისა და საათის მიხედვით თქვენს წვდომის ლოგებში და წყარო IP-ები შეადარეთ დიაპაზონებს, რომლებსაც თითოეული მომწოდებელი აქვეყნებს; ბრძანებები ჩვენს სახელმძღვანელოშია AI კრაულერებისთვის სერვერის ლოგების შემოწმებაზე. ორი მიგნება ხშირად გვხვდება:

ასევე დაალაგეთ კრაულერები დანიშნულების მიხედვით. სწავლების კრაულერები, როგორიცაა GPTBot და ClaudeBot, არ არის ისინი, რომლებიც AI ძიებაში ციტირებადს გხდით, ამიტომ თუ პრობლემა რომელიმე მათგანია, მისი აკრძალვა გონივრული ვარიანტია. ამ სახელმძღვანელოს დანარჩენი ნაწილი იმ კრაულერებისთვისაა, რომელთა შენარჩუნებაც გსურთ.

მუშაობს თუ არა Crawl-delay AI კრაულერებისთვის?

Crawl-delay RFC 9309-ის ნაწილი არ არის, ამიტომ თითოეული ოპერატორი თავად წყვეტს, წაიკითხოს თუ არა. აი, რას ამბობს დოკუმენტაცია 2026 წლის ნოემბრის მდგომარეობით:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

ყურადღება მიაქციეთ ჯგუფების ლოგიკას. კრაულერი, რომელიც საკუთარი სახელის მქონე ჯგუფს პოულობს, User-agent: * ჯგუფს სრულად უგულებელყოფს, ამიტომ ClaudeBot-ის ჯგუფი, რომელიც მხოლოდ Crawl-delay-ს შეიცავს, გააუქმებდა ყველა Disallow-ს, რომელიც სხვებისთვის დააყენეთ. გაიმეორეთ ისინი, როგორც ზემოთ. Bing Crawl-delay-ს აღწერს როგორც გამონაკლისს, რომელსაც ნებისმიერი ჯგუფიდან კითხულობს, მაგრამ სხვა კრაულერებისთვის ამას ნუ ივარაუდებთ.

როგორ ანელებს კრაულერებს 429 და 503 პასუხები?

დატვირთვის პიკებისთვის სტატუსის კოდი ის სიგნალია, რომლის დასაცავადაც კრაულერები შექმნილია. 429 Too Many Requests, რომელიც RFC 6585-შია განსაზღვრული, ნიშნავს, რომ კლიენტმა მოცემულ დროში ზედმეტად ბევრი მოთხოვნა გაგზავნა, და შეიძლება შეიცავდეს Retry-After სათაურს, რომელიც ამბობს, რამდენ ხანს უნდა დაელოდოს. 503 Service Unavailable ამბობს, რომ სერვერი ახლა ვერ უმკლავდება.

Google ამას აღწერს როგორც Googlebot-ის შეგროვების სიხშირის სწრაფად შემცირების გზას: შეგროვების ზოგიერთ მოთხოვნას 200-ის ნაცვლად 500-ით, 503-ით ან 429-ით უპასუხეთ. მისი თქმით, ეს შეგროვების სიხშირეს მთელი ჰოსტის სახელისთვის ამცირებს, ხოლო Retry-After შეიძლება წამების რაოდენობას ან თარიღს შეიცავდეს.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

ნუ გააჭიანურებთ. Google ამის ერთ-ორ დღეზე მეტხანს კეთებას არ გირჩევთ, რადგან URL, რომელიც ამ კოდებს რამდენიმე დღე აბრუნებს, შეიძლება მისი ინდექსიდან ამოიშალოს. ხანგრძლივი შემცირებისთვის Google სამაგიეროდ Search Console-ით სპეციალურ მოთხოვნას გთავაზობთ.

OpenAI, Anthropic და Perplexity არ აღწერენ, როგორ რეაგირებენ მათი კრაულერები 429-ზე, 503-ზე ან Retry-After-ზე. ეს კოდები ნაკლების თხოვნის სტანდარტული გზაა, მაგრამ რამდენად სწრაფად ანელებს თითოეული AI კრაულერი, ამის გარკვევა ვერსად შეგიძლიათ.

როგორ დავაყენო მოთხოვნების ლიმიტი AI კრაულერებისთვის?

ყველა ტრაფიკისთვის ერთი ლიმიტის ნაცვლად თითოეულ კრაულერს საკუთარი ლიმიტი მიეცით და მის ზემოთ მოთხოვნებს 429-ით უპასუხეთ. nginx-ში ამას limit_req მოდული აკეთებს. ცარიელი გასაღების მქონე მოთხოვნები არ ითვლება, ამიტომ map, რომელიც გასაღებს მხოლოდ კრაულერების user agent-ებისთვის აბრუნებს, ადამიანებს არ ეხება. აქ თითოეული კრაულერი წუთში 60 მოთხოვნას იღებს, 20-იანი burst-ით:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

აქ გასაღები user agent-ია, ამიტომ ყველა, ვინც კრაულერის სახელს აკოპირებს, ამ კრაულერის ლიმიტს იზიარებს. მოთხოვნების ლიმიტისთვის ეს მისაღებია. დაშვების წესისთვის მომწოდებლის გამოქვეყნებული IP დიაპაზონებიც დაამთხვიეთ.

Cloudflare-ზე იმავე სამუშაოს edge-ზე rate limiting წესები ასრულებს. Free გეგმაზე ერთი წესი გაქვთ, რომელიც IP-ის მიხედვით 10 წამში ითვლის, ხოლო წესის გამოსახულებაში შეიძლება გზისა და Verified Bot ველის გამოყენება. IP-ის მიხედვით დათვლა უხეშია კრაულერებისთვის, რომლებიც მოთხოვნებს ბევრ მისამართზე ანაწილებენ, ხოლო მაღალი გეგმები დათვლის მეტ ოფციას ამატებს. ნაგულისხმევი პასუხია 429, და შეგიძლიათ სხვა 4xx კოდი და საკუთარი ტექსტი დააყენოთ. AI Crawl Control თითოეული კრაულერისთვის გთავაზობთ Allow-ს, Block-ს და, დახურულ ბეტაში, Charge-ს, მაგრამ სიჩქარის პარამეტრს არა.

რასაც არ უნდა იყენებდეთ, /robots.txt ლიმიტის გარეთ დატოვეთ. RFC 9309-ის მიხედვით robots.txt-ის სერვერის შეცდომა ნიშნავს, რომ კრაულერმა მთელი საიტი აკრძალულად უნდა ჩათვალოს, ხოლო Google 429-ს გამორიცხავს იმ 4xx კოდებიდან, რომლებსაც ფაილის არარსებობად მიიჩნევს.

შეუძლია თუ არა ქეშირებას კრაულერების დატვირთვის შემცირება?

ხშირად ლიმიტზე მეტადაც. კრაულერები ძირითადად საჯარო გვერდებს ითხოვენ, რომლებიც ყველა ვიზიტორისთვის ერთნაირია, ამიტომ მათი CDN-იდან ან გვერდების ქეშიდან მიწოდება ძვირ რენდერს იაფ hit-ად აქცევს. შეამოწმეთ, რომ თქვენი ქეში კრაულერების user agent-ებისთვის ცალკე, არაქეშირებულ ვარიანტს არ ინახავს.

პირობითი მოთხოვნებიც გეხმარებათ. Google ამბობს, რომ მისი კრაულერები მხარს უჭერენ HTTP ქეშირებას ETag-ითა და If-None-Match-ით, ასევე Last-Modified-ითა და If-Modified-Since-ით, და როცა ორივე არის, ETag-ს იყენებენ. OpenAI-ის, Anthropic-ისა და Perplexity-ის კრაულერების გვერდები არ ამბობს, აგზავნიან თუ არა მათი კრაულერები პირობით მოთხოვნებს, ამიტომ ამ დაზოგვაზე მხოლოდ Google-ის შემთხვევაში იმედოვნებთ.

რას უნდა მოვერიდო კრაულერების შენელებისას?

როგორ შევამოწმო, რომ კრაულერები კვლავ გადიან?

ლიმიტების ზედმეტად მკაცრად დაყენება ადვილია. AISeeWhy-ის უფასო შემოწმება გვერდს 16 AI და საძიებო კრაულერის სახელით ითხოვს რეალური ბრაუზერის გვერდით, თქვენს robots.txt-ს თითოეული კრაულერისთვის იყენებს და ფაირვოლის ჩელენჯის გვერდებს ამოიცნობს, ასე რომ, წესი, რომელიც კრაულერებს ბრაუზერებისგან განსხვავებულად პასუხობს, გამოჩნდება. თითო მოთხოვნა თითო კრაულერზე გონივრულ ლიმიტს არ გადააჭარბებს, და სწორედ ესაა აზრი: გაუშვით ის წესების შეცვლის შემდეგ, რომ დარწმუნდეთ, რომ ჩვეულებრივი მოთხოვნები კვლავ გადის. AI კრაულერების უფასო IP შემოწმება გეტყვით, ნამდვილად ეკუთვნის თუ არა თქვენი ლოგებიდან აღებული IP GPTBot-ს ან სხვა კრაულერს.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

უჭერს თუ არა Google მხარს Crawl-delay-ს?

არა. Google-ის robots.txt-ის დოკუმენტაცია crawl-delay-ს იმ ველებს შორის ასახელებს, რომლებსაც მხარს არ უჭერს. Googlebot-ის მოკლე დროით შესანელებლად ზოგიერთ მოთხოვნას 503-ით, 500-ით ან 429-ით უპასუხეთ; უფრო ხანგრძლივი შემცირებისთვის Google Search Console-ით სპეციალურ მოთხოვნას გთავაზობთ.

იცავს თუ არა ClaudeBot Crawl-delay-ს?

Anthropic ამბობს, რომ არასტანდარტულ Crawl-delay გაფართოებას უჭერს მხარს. ჩაწერეთ ის ClaudeBot-ის ჯგუფში და იქვე გაიმეორეთ ყველა Disallow წესი თქვენი User-agent: * ჯგუფიდან.

უჭერენ თუ არა GPTBot და PerplexityBot მხარს Crawl-delay-ს?

OpenAI-ისა და Perplexity-ის კრაულერების გვერდები Crawl-delay-ს არ ახსენებს, ამიტომ მისი ეფექტი დოკუმენტირებული არ არის. გამოიყენეთ სერვერული ლიმიტი, რომელიც ჭარბ მოთხოვნებს 429-ით პასუხობს.

დააზიანებს თუ არა 429 პასუხი ჩემს პოზიციებს?

მოკლე პერიოდისთვის არა. Google 429-სა და 503-ს აღწერს როგორც შეგროვების დროებით შემცირების გზას, მაგრამ აფრთხილებს, რომ URL-ები, რომლებიც მათ რამდენიმე დღე აბრუნებენ, შეიძლება მისი ინდექსიდან ამოიშალოს.

უნდა დავბლოკო GPTBot დატვირთვის შესამცირებლად?

შეგიძლიათ. OpenAI ამბობს, რომ GPTBot აგროვებს კონტენტს, რომელიც შეიძლება სწავლებისთვის იქნეს გამოყენებული, და რომ robots.txt-ის თითოეული პარამეტრი დამოუკიდებელია, ამიტომ მისი აკრძალვა ChatGPT-ის ძიებიდან არ გაქრობთ, რომელიც OAI-SearchBot-ს იყენებს. ჯერ ლოგები შეამოწმეთ, რომ დარწმუნდეთ, დატვირთვა OpenAI-ის მისამართებიდან მოდის.

წყაროები

სხვა სტატიები