Kā palēnināt MI rāpuļprogrammas, tās nebloķējot
Ierobežojiet ātrumu, nevis bloķējiet. Uz liekiem rāpuļprogrammu pieprasījumiem atbildiet ar 429 vai 503 un galveni Retry-After, piešķiriet katrai rāpuļprogrammai savu budžetu, neiekļaujiet /robots.txt nevienā ierobežojumā un sniedziet rāpuļprogrammām lapas no kešatmiņas. Crawl-delay robots.txt palīdz tikai tur, kur operators to dokumentē: Anthropic un Bing to dara, Google saka, ka to neatbalsta, bet OpenAI un Perplexity to nemin. Atstājiet MI meklēšanas rāpuļprogrammas atļautas, citādi pazudīsiet arī no atbildēm, ko tās nodrošina.
Kad rāpuļprogramma sūta tūkstošiem pieprasījumu stundā, ātrais risinājums ir Disallow: / vai ugunsmūra bloķējums. Apmācības rāpuļprogrammai tā var būt pamatota izvēle. Taču OAI-SearchBot, Claude-SearchBot vai PerplexityBot gadījumā tas izņem jūsu lapas no MI atbildēm, kurās vēlaties parādīties. Vairumā gadījumu slodzi var samazināt, no tā neatsakoties, ar signāliem, ko rāpuļprogrammas jau saprot: statusa kodiem, kešošanu un dažiem operatoriem — Crawl-delay.
Šajā lapā
- Kura rāpuļprogramma tiešām rada slodzi?
- Vai Crawl-delay darbojas MI rāpuļprogrammām?
- Kā atbildes 429 un 503 palēnina rāpuļprogrammas?
- Kā iestatīt pieprasījumu ierobežojumu MI rāpuļprogrammām?
- Vai kešošana var samazināt rāpuļprogrammu slodzi?
- No kā izvairīties, palēninot rāpuļprogrammas?
- Kā pārbaudīt, vai rāpuļprogrammas joprojām tiek cauri?
Kura rāpuļprogramma tiešām rada slodzi?
Paskatieties, pirms kaut ko maināt. Saskaitiet pieprasījumus pēc user-agent un pa stundām piekļuves žurnālos un pārbaudiet avota IP pret diapazoniem, ko publicē katrs piegādātājs; mūsu rokasgrāmatā par servera žurnālu pārbaudi MI rāpuļprogrammām ir komandas. Bieži atklājas divas lietas:
- Smagā datplūsma tikai uzdodas par MI rāpuļprogrammu. Ja IP nav piegādātāja sarakstā, kārtulas īstajai rāpuļprogrammai nepalīdzēs. Ierobežojiet vai bloķējiet šo datplūsmu pēc tās izcelsmes.
- Īsta rāpuļprogramma ir iestrēgusi apstaigāšanas slazdā, piemēram, bezgalīgās kalendāra lapās, filtru kombinācijās vai sesiju ID URL adresēs. Slazda aizvēršana ar
Disallowkārtulām šiem ceļiem ietaupa vairāk nekā jebkurš ātruma ierobežojums.
Sašķirojiet rāpuļprogrammas arī pēc uzdevuma. Apmācības rāpuļprogrammas, piemēram, GPTBot un ClaudeBot, nav tās, kas padara jūs citējamu MI meklēšanā, tāpēc, ja problēma ir kāda no tām, tās aizliegšana ir saprātīga izvēle. Pārējā rokasgrāmata ir par rāpuļprogrammām, kuras vēlaties paturēt.
Vai Crawl-delay darbojas MI rāpuļprogrammām?
Crawl-delay nav RFC 9309 daļa, tāpēc katrs operators izlemj, vai to nolasīt. Lūk, ko saka dokumentācija 2026. gada novembrī:
- Anthropic: atbalsta. Tās palīdzības lapā teikts, ka tā atbalsta nestandarta paplašinājumu
Crawl-delayapstaigāšanas aktivitātes ierobežošanai, arCrawl-delay: 1grupāClaudeBotkā piemēru. - Microsoft Bing: atbalsta. Bing tīmekļa pārziņu emuārs apraksta vērtību kā laika logu no 1 līdz 30 sekundēm, kurā
bingbotapstaigā ne vairāk kā vienu lapu, un saka, ka robots.txt apstaigāšanas aizture ir pārāka par apstaigāšanas iestatījumiem Bing Webmaster Tools. - Google: neatbalsta. Google robots.txt dokumentācija
crawl-delaynosauc kā lauku, ko tā neatbalsta. - OpenAI un Perplexity: to rāpuļprogrammu lapās tas nav minēts, tāpēc tā ietekme uz
GPTBot,OAI-SearchBotvaiPerplexityBotnav dokumentēta.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Uzmanieties ar grupu loģiku. Rāpuļprogramma, kas atrod grupu ar savu nosaukumu, pilnībā ignorē grupu User-agent: *, tāpēc ClaudeBot grupa, kurā ir tikai Crawl-delay, atmestu visus Disallow, ko iestatījāt visiem pārējiem. Atkārtojiet tos, kā parādīts iepriekš. Bing apraksta Crawl-delay kā izņēmumu, ko tā nolasa no jebkuras grupas, bet citām rāpuļprogrammām to nevajadzētu pieņemt.
Kā atbildes 429 un 503 palēnina rāpuļprogrammas?
Slodzes maksimumiem statusa kods ir signāls, kura ievērošanai rāpuļprogrammas ir veidotas. 429 Too Many Requests, kas definēts RFC 6585, nozīmē, ka klients noteiktā laikā nosūtīja pārāk daudz pieprasījumu, un tam var būt galvene Retry-After, kas norāda, cik ilgi gaidīt. 503 Service Unavailable saka, ka serveris šobrīd netiek galā.
Google to dokumentē kā veidu, kā ātri samazināt Googlebot apstaigāšanas ātrumu: daļai apstaigāšanas pieprasījumu 200 vietā atgriezt 500, 503 vai 429. Tā norāda, ka tas samazina apstaigāšanas ātrumu visam resursdatora nosaukumam un ka Retry-After var saturēt sekunžu skaitu vai datumu.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Dariet to īslaicīgi. Google neiesaka to darīt ilgāk par vienu vai divām dienām, jo URL, kas vairākas dienas atgriež šos kodus, var tikt izņemts no tās indeksa. Ilgstošam samazinājumam Google piedāvā īpašu pieprasījumu caur Search Console.
OpenAI, Anthropic un Perplexity nedokumentē, kā to rāpuļprogrammas reaģē uz 429, 503 vai Retry-After. Šie kodi ir standarta veids, kā lūgt mazāk, bet cik ātri katra MI rāpuļprogramma atkāpjas, nav iespējams uzzināt.
Kā iestatīt pieprasījumu ierobežojumu MI rāpuļprogrammām?
Piešķiriet katrai rāpuļprogrammai savu budžetu, nevis vienu ierobežojumu visai datplūsmai, un uz pieprasījumiem virs tā atbildiet ar 429. Nginx to dara modulis limit_req. Pieprasījumi ar tukšu atslēgu netiek skaitīti, tāpēc map, kas atgriež atslēgu tikai rāpuļprogrammu user-agent, neskar cilvēkus. Šeit katra rāpuļprogramma saņem 60 pieprasījumus minūtē ar 20 pieprasījumu uzplūdu:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Atslēga šeit ir user-agent, tāpēc ikviens, kas nokopē rāpuļprogrammas nosaukumu, dala tās budžetu. Ātruma ierobežojumam tas ir pieņemami. Atļaujošai kārtulai salīdziniet arī piegādātāja publicētos IP diapazonus.
Cloudflare to pašu tīkla malā dara rate limiting kārtulas. Free plānā ir viena kārtula, kas skaita pēc IP 10 sekunžu laikā, un kārtulas izteiksmē var izmantot ceļu un lauku Verified Bot. Skaitīšana pēc IP ir rupja rāpuļprogrammām, kas pieprasījumus izkliedē pa daudzām adresēm, un augstākos plānos ir vairāk skaitīšanas iespēju. Noklusējuma atbilde ir 429, un var iestatīt citu 4xx kodu un pielāgotu saturu. AI Crawl Control katrai rāpuļprogrammai piedāvā Allow, Block un privātā beta versijā Charge, bet ne ātruma iestatījumu.
Lai ko izmantotu, neiekļaujiet /robots.txt ierobežojumā. RFC 9309 nosaka, ka servera kļūda uz robots.txt nozīmē, ka rāpuļprogrammai jāpieņem, ka visa vietne ir aizliegta, un Google izslēdz 429 no 4xx kodiem, ko tā uzskata par trūkstošu failu.
Vai kešošana var samazināt rāpuļprogrammu slodzi?
Bieži vairāk nekā ātruma ierobežojums. Rāpuļprogrammas galvenokārt pieprasa publiskas lapas, kas visiem apmeklētājiem ir vienādas, tāpēc to sniegšana no CDN vai lapu kešatmiņas dārgas renderēšanas pārvērš lētos trāpījumos. Pārbaudiet, vai jūsu kešatmiņa rāpuļprogrammu user-agent neglabā atsevišķu, nekešotu variantu.
Palīdz arī nosacījuma pieprasījumi. Google norāda, ka tās rāpuļprogrammas atbalsta HTTP kešošanu ar ETag un If-None-Match, kā arī ar Last-Modified un If-Modified-Since, un izmanto ETag, ja ir abi. OpenAI, Anthropic un Perplexity rāpuļprogrammu lapās nav teikts, vai to rāpuļprogrammas sūta nosacījuma pieprasījumus, tāpēc rēķinieties ar šo ietaupījumu tikai attiecībā uz Google.
No kā izvairīties, palēninot rāpuļprogrammas?
- Piegādātāja IP diapazonu bloķēšana ugunsmūrī. Anthropic brīdina, ka tas var nedarboties pareizi vai nenodrošināt atteikšanos, jo tad tās roboti nevar nolasīt jūsu robots.txt.
5xxvai429sniegšana vairākas dienas. Google norāda, ka URL, kas tos atgriež ilgstoši, var tikt izņemti no tās indeksa.- Aizsardzības pret robotiem izmantošana kā bremze. Cloudflare Bot Fight Mode robotiem izsniedz skaitļošanas ziņā dārgus izaicinājumus, un to nevar izlaist ar WAF pielāgotajiem noteikumiem, tāpēc nevarat izņēmumā atstāt rāpuļprogrammas, kuras vēlaties paturēt.
- Meklēšanas rāpuļprogrammas aizliegšana, lai taupītu joslas platumu.
DisallowpriekšOAI-SearchBot,Claude-SearchBotvaiPerplexityBotizņem jūs no atbildēm, ko šīs rāpuļprogrammas nodrošina.
Kā pārbaudīt, vai rāpuļprogrammas joprojām tiek cauri?
Ātruma ierobežojumus ir viegli iestatīt pārāk stingri. Bezmaksas AISeeWhy pārbaude ielādē lapu kā 16 MI un meklētāju rāpuļprogrammas blakus īstam pārlūkam, piemēro jūsu robots.txt katrai rāpuļprogrammai un atpazīst ugunsmūra pārbaudes lapas, tāpēc kārtula, kas rāpuļprogrammām atbild citādi nekā pārlūkiem, kļūst redzama. Viens pieprasījums katrai rāpuļprogrammai saprātīgu ierobežojumu neiedarbinās, un tieši tā ir doma: palaidiet to pēc kārtulu maiņas, lai pārliecinātos, ka parasti pieprasījumi joprojām iet cauri. Bezmaksas MI rāpuļprogrammu IP pārbaude pasaka, vai IP adrese no jūsu žurnāliem tiešām pieder GPTBot vai citai rāpuļprogrammai.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai Google atbalsta Crawl-delay?
Nē. Google robots.txt dokumentācija crawl-delay min starp laukiem, ko tā neatbalsta. Lai uz īsu brīdi palēninātu Googlebot, daļai pieprasījumu atgrieziet 503, 500 vai 429; ilgākam samazinājumam Google piedāvā īpašu pieprasījumu caur Search Console.
Vai ClaudeBot ievēro Crawl-delay?
Anthropic norāda, ka atbalsta nestandarta paplašinājumu Crawl-delay. Ielieciet to ClaudeBot grupā un atkārtojiet tur visas Disallow kārtulas no savas User-agent: * grupas.
Vai GPTBot un PerplexityBot atbalsta Crawl-delay?
OpenAI un Perplexity rāpuļprogrammu lapās Crawl-delay nav minēts, tāpēc tā ietekme nav dokumentēta. Izmantojiet servera puses ierobežojumu, kas uz liekiem pieprasījumiem atbild ar 429.
Vai atbilde 429 kaitēs manām pozīcijām?
Ne īsu laiku. Google dokumentē 429 un 503 kā veidu, kā īslaicīgi samazināt apstaigāšanu, bet brīdina, ka URL, kas tos atgriež vairākas dienas, var tikt izņemti no tās indeksa.
Vai bloķēt GPTBot, lai samazinātu slodzi?
Varat. OpenAI norāda, ka GPTBot apstaigā saturu, ko var izmantot apmācībai, un ka katrs robots.txt iestatījums ir neatkarīgs, tāpēc tā aizliegšana neizņem jūs no ChatGPT meklēšanas, kas izmanto OAI-SearchBot. Vispirms pārbaudiet žurnālus, lai pārliecinātos, ka slodze nāk no OpenAI adresēm.
Avoti
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers