Kaip sulėtinti DI robotus jų neblokuojant
Ribokite dažnį, o ne blokuokite. Į perteklines robotų užklausas atsakykite 429 arba 503 su antrašte Retry-After, kiekvienam robotui skirkite atskirą biudžetą, /robots.txt neįtraukite į jokią ribą ir robotams pateikite turinį iš talpyklos. Crawl-delay robots.txt faile padeda tik ten, kur operatorius tai aprašo: Anthropic ir Bing aprašo, Google teigia, kad nepalaiko, o OpenAI ir Perplexity apie tai neužsimena. DI paieškos robotus palikite leidžiamus, kitaip iškrisite ir iš atsakymų, kuriuos jie maitina.
Kai robotas siunčia tūkstančius užklausų per valandą, greitas sprendimas yra Disallow: / arba ugniasienės blokavimas. Mokymo robotui tai gali būti pagrįstas pasirinkimas. OAI-SearchBot, Claude-SearchBot ar PerplexityBot atveju tai pašalina jūsų puslapius iš DI atsakymų, kuriuose norite būti. Dažniausiai apkrovą galima sumažinti to neprarandant, signalais, kuriuos robotai jau supranta: būsenos kodais, talpykla ir, kai kurių operatorių atveju, Crawl-delay.
Šiame puslapyje
Kuris robotas iš tikrųjų sukelia apkrovą?
Prieš ką nors keisdami pažiūrėkite. Prieigos žurnaluose suskaičiuokite užklausas pagal user agent ir pagal valandą, o šaltinio IP patikrinkite pagal kiekvieno tiekėjo skelbiamus intervalus; mūsų vadove apie DI robotų paiešką serverio žurnaluose rasite komandas. Dažnai paaiškėja vienas iš dviejų dalykų:
- Didelis srautas tik apsimeta DI robotu. Jei IP nėra tiekėjo sąraše, tikram robotui skirtos taisyklės nepadės. Tokį srautą ribokite ar blokuokite pagal jo kilmę.
- Tikras robotas įstrigo naršymo spąstuose, pvz., begaliniuose kalendoriaus puslapiuose, filtrų deriniuose ar sesijų ID URL adresuose. Uždarius spąstus
Disallowtaisyklėmis tiems keliams sutaupoma daugiau nei bet kokia dažnio riba.
Taip pat suskirstykite robotus pagal paskirtį. Mokymo robotai, tokie kaip GPTBot ir ClaudeBot, nėra tie, kurie padaro jus cituojamus DI paieškoje, todėl jei problema yra vienas iš jų, jį uždrausti yra pagrįsta. Likusi šio vadovo dalis skirta robotams, kuriuos norite išlaikyti.
Ar Crawl-delay veikia DI robotams?
Crawl-delay nėra RFC 9309 dalis, todėl kiekvienas operatorius pats sprendžia, ar jį skaityti. Štai ką 2026 m. lapkritį sako dokumentacija:
- Anthropic: palaikoma. Jos pagalbos puslapyje rašoma, kad naršymo veiklai riboti palaikomas nestandartinis
Crawl-delayplėtinys, o pavyzdys –Crawl-delay: 1ClaudeBotgrupėje. - Microsoft Bing: palaikoma. Bing žiniatinklio valdytojų tinklaraštis reikšmę apibūdina kaip 1–30 sekundžių laiko langą, per kurį
bingbotnaršo ne daugiau kaip vieną puslapį, ir teigia, kad robots.txt crawl delay viršesnis už naršymo nustatymus Bing Webmaster Tools. - Google: nepalaikoma. Google robots.txt dokumentacijoje
crawl-delaynurodytas kaip nepalaikomas laukas. - OpenAI ir Perplexity: jų robotų puslapiuose jis neminimas, todėl jo poveikis
GPTBot,OAI-SearchBotarPerplexityBotneaprašytas.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Atkreipkite dėmesį į grupių logiką. Robotas, radęs grupę su savo pavadinimu, User-agent: * grupės visiškai nepaiso, todėl ClaudeBot grupė, kurioje yra tik Crawl-delay, panaikintų visus Disallow, kuriuos nustatėte visiems kitiems. Pakartokite juos, kaip parodyta aukščiau. Bing Crawl-delay apibūdina kaip išimtį, kurią skaito iš bet kurios grupės, bet kitiems robotams to nemanykite.
Kaip 429 ir 503 atsakymai sulėtina robotus?
Apkrovos šuoliams būsenos kodas yra signalas, kurio robotai sukurti paisyti. 429 Too Many Requests, apibrėžtas RFC 6585, reiškia, kad klientas per tam tikrą laiką išsiuntė per daug užklausų, ir gali turėti antraštę Retry-After, nurodančią, kiek laukti. 503 Service Unavailable reiškia, kad serveris šiuo metu nesusitvarko.
Google tai aprašo kaip būdą greitai sumažinti Googlebot naršymo spartą: į kai kurias naršymo užklausas grąžinti 500, 503 ar 429 vietoj 200. Google teigia, kad tai sumažina naršymo spartą visam prieglobos vardui, o Retry-After gali nurodyti sekundžių skaičių arba datą.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Darykite tai trumpai. Google pataria to nedaryti ilgiau nei dieną ar dvi, nes URL, kelias dienas grąžinantis šiuos kodus, gali būti pašalintas iš indekso. Ilgalaikiam sumažinimui Google vietoj to siūlo specialią užklausą per Search Console.
OpenAI, Anthropic ir Perplexity neaprašo, kaip jų robotai reaguoja į 429, 503 ar Retry-After. Šie kodai yra standartinis būdas paprašyti mažiau, bet kaip greitai atsitraukia kiekvienas DI robotas, niekur nepasitikrinsite.
Kaip nustatyti dažnio ribą DI robotams?
Kiekvienam robotui skirkite atskirą biudžetą, o ne vieną ribą visam srautui, ir į jį viršijančias užklausas atsakykite 429. nginx tai daro modulis limit_req. Užklausos su tuščiu raktu neskaičiuojamos, todėl map, grąžinantis raktą tik robotų user agent, žmonių lankytojų neliečia. Čia kiekvienas robotas gauna 60 užklausų per minutę su 20 užklausų pliūpsniu:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Raktas čia yra user agent, todėl kiekvienas, nukopijavęs roboto pavadinimą, dalijasi to roboto biudžetu. Dažnio ribai tai priimtina. Leidimo taisyklei tikrinkite ir tiekėjo paskelbtus IP intervalus.
Cloudflare tą patį darbą tinklo krašte atlieka rate limiting taisyklės. Free plane gaunate vieną taisyklę, skaičiuojamą pagal IP per 10 sekundžių, o taisyklės išraiškoje galima naudoti kelią ir lauką Verified Bot. Skaičiavimas pagal IP yra grubus robotams, kurie užklausas paskirsto daugybei adresų, o aukštesni planai prideda daugiau skaičiavimo parinkčių. Numatytasis atsakymas yra 429, galite nustatyti kitą 4xx kodą ir savo turinį. AI Crawl Control kiekvienam robotui siūlo Allow, Block ir, uždaroje beta versijoje, Charge, bet dažnio nustatymo neturi.
Ką benaudotumėte, /robots.txt į ribą neįtraukite. RFC 9309 teigia, kad gavęs serverio klaidą dėl robots.txt robotas turi laikyti visą svetainę uždrausta, o Google 429 neįtraukia į 4xx kodus, kuriuos laiko failo nebuvimu.
Ar talpykla gali sumažinti robotų apkrovą?
Dažnai labiau nei dažnio riba. Robotai daugiausia prašo viešų puslapių, kurie visiems lankytojams vienodi, todėl pateikiant juos iš CDN ar puslapių talpyklos brangūs atvaizdavimai virsta pigiais pataikymais į talpyklą. Patikrinkite, ar jūsų talpykla nelaiko atskiro, netalpinamo varianto robotų user agent.
Padeda ir sąlyginės užklausos. Google teigia, kad jos robotai palaiko HTTP talpinimą su ETag ir If-None-Match, taip pat su Last-Modified ir If-Modified-Since, o kai yra abu, naudoja ETag. OpenAI, Anthropic ir Perplexity robotų puslapiuose nenurodyta, ar jų robotai siunčia sąlygines užklausas, todėl šia nauda pasikliaukite tik Google atveju.
Ko vengti lėtinant robotus?
- Blokuoti tiekėjo IP intervalus ugniasienėje. Anthropic įspėja, kad tai gali neveikti tinkamai ar neišlaikyti atsisakymo, nes jos robotai nebegali perskaityti jūsų robots.txt.
- Kelias dienas pateikti
5xxar429. Google teigia, kad juos nuolat grąžinantys URL gali būti pašalinti iš jos indekso. - Naudoti apsaugą nuo robotų kaip stabdį. Cloudflare Bot Fight Mode robotams pateikia skaičiavimų požiūriu brangius patikrinimus ir jo negalima praleisti WAF pasirinktinėmis taisyklėmis, todėl negalite padaryti išimties robotams, kuriuos norite išlaikyti.
- Uždrausti paieškos robotą, kad sutaupytumėte duomenų srauto.
DisallowrobotuiOAI-SearchBot,Claude-SearchBotarPerplexityBotpašalina jus iš atsakymų, kuriuos maitina tie robotai.
Kaip patikrinti, ar robotai vis dar praeina?
Dažnio ribas lengva nustatyti per griežtai. Nemokama AISeeWhy patikra atsisiunčia puslapį kaip 16 DI ir paieškos robotų kartu su tikra naršykle, kiekvienam robotui pritaiko jūsų robots.txt ir atpažįsta ugniasienės patikrinimo puslapius, todėl išryškėja taisyklė, kuri robotams atsako kitaip nei naršyklėms. Viena užklausa kiekvienam robotui protingos ribos nesuaktyvins, ir būtent tai svarbu: paleiskite patikrą pakeitę taisykles, kad įsitikintumėte, jog įprastos užklausos vis dar praeina. Nemokama DI robotų IP patikra parodo, ar IP iš jūsų žurnalų tikrai priklauso GPTBot ar kitam robotui.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar Google palaiko Crawl-delay?
Ne. Google robots.txt dokumentacijoje crawl-delay nurodytas tarp nepalaikomų laukų. Norėdami trumpam sulėtinti Googlebot, į kai kurias užklausas grąžinkite 503, 500 ar 429; ilgesniam sumažinimui Google siūlo specialią užklausą per Search Console.
Ar ClaudeBot paiso Crawl-delay?
Anthropic teigia, kad palaiko nestandartinį Crawl-delay plėtinį. Įrašykite jį į ClaudeBot grupę ir ten pakartokite visas Disallow taisykles iš savo User-agent: * grupės.
Ar GPTBot ir PerplexityBot palaiko Crawl-delay?
OpenAI ir Perplexity robotų puslapiuose Crawl-delay neminimas, todėl jo poveikis neaprašytas. Naudokite serverio pusės ribą, kuri į perteklines užklausas atsako 429.
Ar 429 atsakymas pakenks mano pozicijoms?
Trumpą laiką – ne. Google 429 ir 503 aprašo kaip būdą laikinai sumažinti naršymą, bet įspėja, kad kelias dienas juos grąžinantys URL gali būti pašalinti iš indekso.
Ar turėčiau blokuoti GPTBot, kad sumažinčiau apkrovą?
Galite. OpenAI teigia, kad GPTBot naršo turinį, kuris gali būti naudojamas mokymui, o kiekvienas robots.txt nustatymas yra nepriklausomas, todėl jį uždraudus neiškrisite iš ChatGPT paieškos, kuri naudoja OAI-SearchBot. Pirmiausia patikrinkite žurnalus, kad įsitikintumėte, jog apkrova ateina iš OpenAI adresų.
Šaltiniai
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers