Πώς επιβραδύνετε τους AI crawlers χωρίς να τους μπλοκάρετε
Περιορίστε τον ρυθμό αντί να μπλοκάρετε. Απαντήστε στα πλεονάζοντα αιτήματα crawlers με 429 ή 503 και κεφαλίδα Retry-After, δώστε σε κάθε crawler δικό του όριο, κρατήστε το /robots.txt εκτός κάθε ορίου και σερβίρετε τους crawlers από cache. Το Crawl-delay στο robots.txt βοηθά μόνο όπου ο διαχειριστής το τεκμηριώνει: η Anthropic και το Bing το κάνουν, η Google λέει ότι δεν το υποστηρίζει, και η OpenAI και η Perplexity δεν το αναφέρουν. Αφήστε επιτρεπόμενους τους AI crawlers αναζήτησης, αλλιώς βγαίνετε και από τις απαντήσεις που τροφοδοτούν.
Όταν ένας crawler στέλνει χιλιάδες αιτήματα την ώρα, η γρήγορη λύση είναι ένα Disallow: / ή ένας αποκλεισμός στο firewall. Για έναν crawler εκπαίδευσης αυτό μπορεί να είναι λογική επιλογή. Για τον OAI-SearchBot, τον Claude-SearchBot ή τον PerplexityBot αφαιρεί τις σελίδες σας από τις απαντήσεις AI στις οποίες θέλετε να εμφανίζεστε. Τις περισσότερες φορές ο φόρτος μπορεί να μειωθεί χωρίς να το χάσετε αυτό, με σήματα που οι crawlers ήδη καταλαβαίνουν: κωδικούς κατάστασης, caching και, για ορισμένους διαχειριστές, το Crawl-delay.
Σε αυτή τη σελίδα
- Ποιος crawler προκαλεί πραγματικά τον φόρτο;
- Λειτουργεί το Crawl-delay για τους AI crawlers;
- Πώς επιβραδύνουν τους crawlers οι αποκρίσεις 429 και 503;
- Πώς ορίζω rate limit για τους AI crawlers;
- Μπορεί το caching να μειώσει τον φόρτο από τους crawlers;
- Τι πρέπει να αποφεύγω όταν επιβραδύνω τους crawlers;
- Πώς ελέγχω ότι οι crawlers εξακολουθούν να περνούν;
Ποιος crawler προκαλεί πραγματικά τον φόρτο;
Κοιτάξτε πριν αλλάξετε οτιδήποτε. Μετρήστε τα αιτήματα ανά user agent και ανά ώρα στα access logs σας και ελέγξτε τις IP προέλευσης με τα εύρη που δημοσιεύει κάθε πάροχος· ο οδηγός μας για τον έλεγχο των logs για AI crawlers έχει τις εντολές. Δύο ευρήματα εμφανίζονται συχνά:
- Η βαριά κίνηση απλώς ισχυρίζεται ότι είναι AI crawler. Αν οι IP δεν είναι στη λίστα του παρόχου, οι κανόνες για τον πραγματικό crawler δεν θα βοηθήσουν. Περιορίστε ή μπλοκάρετε αυτή την κίνηση με βάση την προέλευσή της.
- Ένας πραγματικός crawler έχει πιαστεί σε παγίδα σάρωσης, όπως ατελείωτες σελίδες ημερολογίου, συνδυασμούς φίλτρων ή session IDs στα URLs. Το κλείσιμο της παγίδας με κανόνες
Disallowγια αυτές τις διαδρομές εξοικονομεί περισσότερα από οποιοδήποτε rate limit.
Ταξινομήστε επίσης τους crawlers ανά εργασία. Οι crawlers εκπαίδευσης όπως ο GPTBot και ο ClaudeBot δεν είναι αυτοί που σας κάνουν παραθέσιμους στην αναζήτηση AI, οπότε αν το πρόβλημα είναι ένας από αυτούς, η απαγόρευσή του είναι λογική επιλογή. Ο υπόλοιπος οδηγός αφορά τους crawlers που θέλετε να κρατήσετε.
Λειτουργεί το Crawl-delay για τους AI crawlers;
Το Crawl-delay δεν ανήκει στο RFC 9309, οπότε κάθε διαχειριστής αποφασίζει αν θα το διαβάζει. Αυτό λέει η τεκμηρίωση τον Νοέμβριο του 2026:
- Anthropic: υποστηρίζεται. Η σελίδα βοήθειάς της λέει ότι υποστηρίζει τη μη τυποποιημένη επέκταση
Crawl-delayγια τον περιορισμό της δραστηριότητας σάρωσης, με παράδειγμαCrawl-delay: 1σε ομάδαClaudeBot. - Microsoft Bing: υποστηρίζεται. Το webmaster blog του Bing περιγράφει την τιμή ως χρονικό παράθυρο 1 έως 30 δευτερολέπτων μέσα στο οποίο ο
bingbotσαρώνει το πολύ μία σελίδα, και λέει ότι ένα crawl delay στο robots.txt υπερισχύει των ρυθμίσεων σάρωσης στο Bing Webmaster Tools. - Google: δεν υποστηρίζεται. Η τεκμηρίωση της Google για το robots.txt αναφέρει το
crawl-delayως πεδίο που δεν υποστηρίζει. - OpenAI και Perplexity: οι σελίδες των crawlers τους δεν το αναφέρουν, οπότε η επίδρασή του στους
GPTBot,OAI-SearchBotήPerplexityBotδεν είναι τεκμηριωμένη.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Προσέξτε τη λογική των ομάδων. Ένας crawler που βρίσκει ομάδα με το δικό του όνομα αγνοεί εντελώς την ομάδα User-agent: *, οπότε μια ομάδα ClaudeBot που περιέχει μόνο Crawl-delay θα ακύρωνε κάθε Disallow που ορίσατε για όλους τους άλλους. Επαναλάβετέ τα, όπως παραπάνω. Το Bing περιγράφει το Crawl-delay ως εξαίρεση που διαβάζει από οποιαδήποτε από τις δύο ομάδες, αλλά δεν πρέπει να το υποθέτετε για άλλους crawlers.
Πώς επιβραδύνουν τους crawlers οι αποκρίσεις 429 και 503;
Για αιχμές φόρτου, ο κωδικός κατάστασης είναι το σήμα που οι crawlers είναι φτιαγμένοι να σέβονται. Το 429 Too Many Requests, που ορίζεται στο RFC 6585, σημαίνει ότι ο client έστειλε πάρα πολλά αιτήματα σε δεδομένο χρόνο και μπορεί να συνοδεύεται από κεφαλίδα Retry-After που λέει πόσο να περιμένει. Το 503 Service Unavailable λέει ότι ο server δεν μπορεί να ανταποκριθεί αυτή τη στιγμή.
Η Google το τεκμηριώνει ως τον τρόπο να μειώσετε γρήγορα τον ρυθμό σάρωσης του Googlebot: επιστρέψτε 500, 503 ή 429 αντί για 200 σε ορισμένα αιτήματα σάρωσης. Λέει ότι αυτό μειώνει τον ρυθμό σάρωσης για ολόκληρο το hostname και ότι το Retry-After μπορεί να περιέχει αριθμό δευτερολέπτων ή ημερομηνία.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Κρατήστε το σύντομο. Η Google συμβουλεύει να μην το κάνετε για περισσότερο από μία ή δύο ημέρες, γιατί ένα URL που επιστρέφει αυτούς τους κωδικούς για αρκετές ημέρες μπορεί να αφαιρεθεί από το ευρετήριό της. Για μόνιμη μείωση, η Google προσφέρει αντ' αυτού ειδικό αίτημα μέσω του Search Console.
Η OpenAI, η Anthropic και η Perplexity δεν τεκμηριώνουν πώς αντιδρούν οι crawlers τους σε 429, 503 ή Retry-After. Οι κωδικοί είναι ο τυπικός τρόπος να ζητήσετε λιγότερα, αλλά το πόσο γρήγορα υποχωρεί κάθε AI crawler δεν είναι κάτι που μπορείτε να βρείτε γραμμένο.
Πώς ορίζω rate limit για τους AI crawlers;
Δώστε σε κάθε crawler δικό του όριο αντί για ένα όριο για όλη την κίνηση, και απαντήστε στα αιτήματα πάνω από αυτό με 429. Στο nginx, αυτό το κάνει το module limit_req. Τα αιτήματα με κενό κλειδί δεν μετρώνται, οπότε ένα map που επιστρέφει κλειδί μόνο για user agents crawlers αφήνει ήσυχους τους ανθρώπινους επισκέπτες. Εδώ κάθε crawler παίρνει 60 αιτήματα το λεπτό με ριπή 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Το κλειδί εδώ είναι ο user agent, οπότε όποιος αντιγράφει το όνομα ενός crawler μοιράζεται το όριο αυτού του crawler. Αυτό είναι αποδεκτό για ένα rate limit. Για κανόνα επιτρεπόμενης πρόσβασης, αντιστοιχίστε επίσης τα δημοσιευμένα εύρη IP του παρόχου.
Στο Cloudflare, οι κανόνες rate limiting κάνουν την ίδια δουλειά στο edge. Στο πλάνο Free έχετε έναν κανόνα, που μετρά ανά IP σε διάστημα 10 δευτερολέπτων, και η έκφραση του κανόνα μπορεί να χρησιμοποιεί τη διαδρομή και το πεδίο Verified Bot. Η μέτρηση ανά IP είναι χονδρική για crawlers που κατανέμουν τα αιτήματα σε πολλές διευθύνσεις, και τα ανώτερα πλάνα προσθέτουν περισσότερες επιλογές μέτρησης. Η προεπιλεγμένη απόκριση είναι 429 και μπορείτε να ορίσετε άλλον κωδικό 4xx και προσαρμοσμένο σώμα. Το AI Crawl Control προσφέρει Allow, Block και, σε ιδιωτική beta, Charge για κάθε crawler, αλλά καμία ρύθμιση ρυθμού.
Ό,τι κι αν χρησιμοποιείτε, κρατήστε το /robots.txt εκτός του ορίου. Το RFC 9309 λέει ότι ένα σφάλμα server για το robots.txt σημαίνει πως ο crawler πρέπει να υποθέσει ότι ολόκληρος ο ιστότοπος απαγορεύεται, και η Google εξαιρεί το 429 από τους κωδικούς 4xx που αντιμετωπίζει ως απόντα αρχείο.
Μπορεί το caching να μειώσει τον φόρτο από τους crawlers;
Συχνά περισσότερο από ένα rate limit. Οι crawlers ζητούν κυρίως δημόσιες σελίδες που είναι ίδιες για κάθε επισκέπτη, οπότε αν τις σερβίρετε από CDN ή page cache, οι ακριβές αποδόσεις γίνονται φθηνά hits. Ελέγξτε ότι η cache σας δεν κρατά ξεχωριστή, μη αποθηκευμένη παραλλαγή για user agents crawlers.
Βοηθούν και τα conditional requests. Η Google λέει ότι οι crawlers της υποστηρίζουν HTTP caching με ETag και If-None-Match, καθώς και με Last-Modified και If-Modified-Since, και χρησιμοποιούν το ETag όταν υπάρχουν και τα δύο. Οι σελίδες crawlers της OpenAI, της Anthropic και της Perplexity δεν λένε αν οι crawlers τους στέλνουν conditional requests, οπότε υπολογίστε αυτή την εξοικονόμηση μόνο για την Google.
Τι πρέπει να αποφεύγω όταν επιβραδύνω τους crawlers;
- Αποκλεισμό των ευρών IP ενός παρόχου στο firewall. Η Anthropic προειδοποιεί ότι αυτό μπορεί να μη λειτουργεί σωστά ή να μη διατηρεί μια εξαίρεση σε ισχύ, γιατί εμποδίζει τα bots της να διαβάσουν το robots.txt σας.
- Απόκριση
5xxή429για ημέρες. Η Google λέει ότι URLs που συνεχίζουν να τις επιστρέφουν μπορεί να αφαιρεθούν από το ευρετήριό της. - Χρήση της προστασίας από bots ως φρένου. Το Bot Fight Mode του Cloudflare εκδίδει υπολογιστικά ακριβές προκλήσεις στα bots και δεν μπορεί να παρακαμφθεί με προσαρμοσμένους κανόνες WAF, οπότε δεν μπορείτε να εξαιρέσετε τους crawlers που θέλετε να κρατήσετε.
- Απαγόρευση ενός crawler αναζήτησης για εξοικονόμηση bandwidth. Ένα
Disallowγια τονOAI-SearchBot, τονClaude-SearchBotή τονPerplexityBotσας βγάζει από τις απαντήσεις που τροφοδοτούν αυτοί οι crawlers.
Πώς ελέγχω ότι οι crawlers εξακολουθούν να περνούν;
Τα rate limits εύκολα ορίζονται πολύ αυστηρά. Ο δωρεάν έλεγχος του AISeeWhy ανακτά μια σελίδα ως 16 AI crawlers και crawlers αναζήτησης δίπλα σε έναν πραγματικό browser, εφαρμόζει το robots.txt σας ανά crawler και αναγνωρίζει σελίδες πρόκλησης firewall, οπότε φαίνεται κάθε κανόνας που απαντά στους crawlers διαφορετικά από τους browsers. Ένα αίτημα ανά crawler δεν θα ενεργοποιήσει ένα λογικό όριο, και αυτό ακριβώς είναι το ζητούμενο: τρέξτε τον μετά από αλλαγή κανόνων για να επιβεβαιώσετε ότι τα κανονικά αιτήματα περνούν ακόμη. Ο δωρεάν έλεγχος IP AI crawlers σας λέει αν μια IP από τα logs σας ανήκει πράγματι στον GPTBot ή σε άλλον crawler.
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Έλεγχος IP των crawlers AI
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Crawlers σε αυτό το άρθρο
Συχνές ερωτήσεις
Υποστηρίζει η Google το Crawl-delay;
Όχι. Η τεκμηρίωση της Google για το robots.txt αναφέρει το crawl-delay στα πεδία που δεν υποστηρίζει. Για να επιβραδύνετε για λίγο τον Googlebot, επιστρέψτε 503, 500 ή 429 σε ορισμένα αιτήματα· για μεγαλύτερη μείωση, η Google προσφέρει ειδικό αίτημα μέσω του Search Console.
Σέβεται ο ClaudeBot το Crawl-delay;
Η Anthropic λέει ότι υποστηρίζει τη μη τυποποιημένη επέκταση Crawl-delay. Βάλτε την σε ομάδα ClaudeBot και επαναλάβετε εκεί τους κανόνες Disallow της ομάδας User-agent: *.
Υποστηρίζουν ο GPTBot και ο PerplexityBot το Crawl-delay;
Οι σελίδες crawlers της OpenAI και της Perplexity δεν αναφέρουν το Crawl-delay, οπότε η επίδρασή του δεν είναι τεκμηριωμένη. Χρησιμοποιήστε όριο στον server που απαντά στα πλεονάζοντα αιτήματα με 429.
Θα βλάψει μια απόκριση 429 την κατάταξή μου;
Όχι για σύντομο διάστημα. Η Google τεκμηριώνει τα 429 και 503 ως τρόπο προσωρινής μείωσης της σάρωσης, αλλά προειδοποιεί ότι URLs που τα επιστρέφουν για αρκετές ημέρες μπορεί να αφαιρεθούν από το ευρετήριό της.
Να μπλοκάρω τον GPTBot για να μειώσω τον φόρτο;
Μπορείτε. Η OpenAI λέει ότι ο GPTBot σαρώνει περιεχόμενο που μπορεί να χρησιμοποιηθεί για εκπαίδευση και ότι κάθε ρύθμιση του robots.txt είναι ανεξάρτητη, οπότε η απαγόρευσή του δεν σας αφαιρεί από την αναζήτηση του ChatGPT, που χρησιμοποιεί τον OAI-SearchBot. Ελέγξτε πρώτα τα logs σας για να βεβαιωθείτε ότι ο φόρτος έρχεται από διευθύνσεις της OpenAI.
Πηγές
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers