Kaip sulėtinti DI robotus jų neblokuojant

Paskelbta

Trumpas atsakymas

Ribokite dažnį, o ne blokuokite. Į perteklines robotų užklausas atsakykite 429 arba 503 su antrašte Retry-After, kiekvienam robotui skirkite atskirą biudžetą, /robots.txt neįtraukite į jokią ribą ir robotams pateikite turinį iš talpyklos. Crawl-delay robots.txt faile padeda tik ten, kur operatorius tai aprašo: Anthropic ir Bing aprašo, Google teigia, kad nepalaiko, o OpenAI ir Perplexity apie tai neužsimena. DI paieškos robotus palikite leidžiamus, kitaip iškrisite ir iš atsakymų, kuriuos jie maitina.

Kai robotas siunčia tūkstančius užklausų per valandą, greitas sprendimas yra Disallow: / arba ugniasienės blokavimas. Mokymo robotui tai gali būti pagrįstas pasirinkimas. OAI-SearchBot, Claude-SearchBot ar PerplexityBot atveju tai pašalina jūsų puslapius iš DI atsakymų, kuriuose norite būti. Dažniausiai apkrovą galima sumažinti to neprarandant, signalais, kuriuos robotai jau supranta: būsenos kodais, talpykla ir, kai kurių operatorių atveju, Crawl-delay.

Šiame puslapyje
  1. Kuris robotas iš tikrųjų sukelia apkrovą?
  2. Ar Crawl-delay veikia DI robotams?
  3. Kaip 429 ir 503 atsakymai sulėtina robotus?
  4. Kaip nustatyti dažnio ribą DI robotams?
  5. Ar talpykla gali sumažinti robotų apkrovą?
  6. Ko vengti lėtinant robotus?
  7. Kaip patikrinti, ar robotai vis dar praeina?

Kuris robotas iš tikrųjų sukelia apkrovą?

Prieš ką nors keisdami pažiūrėkite. Prieigos žurnaluose suskaičiuokite užklausas pagal user agent ir pagal valandą, o šaltinio IP patikrinkite pagal kiekvieno tiekėjo skelbiamus intervalus; mūsų vadove apie DI robotų paiešką serverio žurnaluose rasite komandas. Dažnai paaiškėja vienas iš dviejų dalykų:

Taip pat suskirstykite robotus pagal paskirtį. Mokymo robotai, tokie kaip GPTBot ir ClaudeBot, nėra tie, kurie padaro jus cituojamus DI paieškoje, todėl jei problema yra vienas iš jų, jį uždrausti yra pagrįsta. Likusi šio vadovo dalis skirta robotams, kuriuos norite išlaikyti.

Ar Crawl-delay veikia DI robotams?

Crawl-delay nėra RFC 9309 dalis, todėl kiekvienas operatorius pats sprendžia, ar jį skaityti. Štai ką 2026 m. lapkritį sako dokumentacija:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Atkreipkite dėmesį į grupių logiką. Robotas, radęs grupę su savo pavadinimu, User-agent: * grupės visiškai nepaiso, todėl ClaudeBot grupė, kurioje yra tik Crawl-delay, panaikintų visus Disallow, kuriuos nustatėte visiems kitiems. Pakartokite juos, kaip parodyta aukščiau. Bing Crawl-delay apibūdina kaip išimtį, kurią skaito iš bet kurios grupės, bet kitiems robotams to nemanykite.

Kaip 429 ir 503 atsakymai sulėtina robotus?

Apkrovos šuoliams būsenos kodas yra signalas, kurio robotai sukurti paisyti. 429 Too Many Requests, apibrėžtas RFC 6585, reiškia, kad klientas per tam tikrą laiką išsiuntė per daug užklausų, ir gali turėti antraštę Retry-After, nurodančią, kiek laukti. 503 Service Unavailable reiškia, kad serveris šiuo metu nesusitvarko.

Google tai aprašo kaip būdą greitai sumažinti Googlebot naršymo spartą: į kai kurias naršymo užklausas grąžinti 500, 503 ar 429 vietoj 200. Google teigia, kad tai sumažina naršymo spartą visam prieglobos vardui, o Retry-After gali nurodyti sekundžių skaičių arba datą.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Darykite tai trumpai. Google pataria to nedaryti ilgiau nei dieną ar dvi, nes URL, kelias dienas grąžinantis šiuos kodus, gali būti pašalintas iš indekso. Ilgalaikiam sumažinimui Google vietoj to siūlo specialią užklausą per Search Console.

OpenAI, Anthropic ir Perplexity neaprašo, kaip jų robotai reaguoja į 429, 503 ar Retry-After. Šie kodai yra standartinis būdas paprašyti mažiau, bet kaip greitai atsitraukia kiekvienas DI robotas, niekur nepasitikrinsite.

Kaip nustatyti dažnio ribą DI robotams?

Kiekvienam robotui skirkite atskirą biudžetą, o ne vieną ribą visam srautui, ir į jį viršijančias užklausas atsakykite 429. nginx tai daro modulis limit_req. Užklausos su tuščiu raktu neskaičiuojamos, todėl map, grąžinantis raktą tik robotų user agent, žmonių lankytojų neliečia. Čia kiekvienas robotas gauna 60 užklausų per minutę su 20 užklausų pliūpsniu:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Raktas čia yra user agent, todėl kiekvienas, nukopijavęs roboto pavadinimą, dalijasi to roboto biudžetu. Dažnio ribai tai priimtina. Leidimo taisyklei tikrinkite ir tiekėjo paskelbtus IP intervalus.

Cloudflare tą patį darbą tinklo krašte atlieka rate limiting taisyklės. Free plane gaunate vieną taisyklę, skaičiuojamą pagal IP per 10 sekundžių, o taisyklės išraiškoje galima naudoti kelią ir lauką Verified Bot. Skaičiavimas pagal IP yra grubus robotams, kurie užklausas paskirsto daugybei adresų, o aukštesni planai prideda daugiau skaičiavimo parinkčių. Numatytasis atsakymas yra 429, galite nustatyti kitą 4xx kodą ir savo turinį. AI Crawl Control kiekvienam robotui siūlo Allow, Block ir, uždaroje beta versijoje, Charge, bet dažnio nustatymo neturi.

Ką benaudotumėte, /robots.txt į ribą neįtraukite. RFC 9309 teigia, kad gavęs serverio klaidą dėl robots.txt robotas turi laikyti visą svetainę uždrausta, o Google 429 neįtraukia į 4xx kodus, kuriuos laiko failo nebuvimu.

Ar talpykla gali sumažinti robotų apkrovą?

Dažnai labiau nei dažnio riba. Robotai daugiausia prašo viešų puslapių, kurie visiems lankytojams vienodi, todėl pateikiant juos iš CDN ar puslapių talpyklos brangūs atvaizdavimai virsta pigiais pataikymais į talpyklą. Patikrinkite, ar jūsų talpykla nelaiko atskiro, netalpinamo varianto robotų user agent.

Padeda ir sąlyginės užklausos. Google teigia, kad jos robotai palaiko HTTP talpinimą su ETag ir If-None-Match, taip pat su Last-Modified ir If-Modified-Since, o kai yra abu, naudoja ETag. OpenAI, Anthropic ir Perplexity robotų puslapiuose nenurodyta, ar jų robotai siunčia sąlygines užklausas, todėl šia nauda pasikliaukite tik Google atveju.

Ko vengti lėtinant robotus?

Kaip patikrinti, ar robotai vis dar praeina?

Dažnio ribas lengva nustatyti per griežtai. Nemokama AISeeWhy patikra atsisiunčia puslapį kaip 16 DI ir paieškos robotų kartu su tikra naršykle, kiekvienam robotui pritaiko jūsų robots.txt ir atpažįsta ugniasienės patikrinimo puslapius, todėl išryškėja taisyklė, kuri robotams atsako kitaip nei naršyklėms. Viena užklausa kiekvienam robotui protingos ribos nesuaktyvins, ir būtent tai svarbu: paleiskite patikrą pakeitę taisykles, kad įsitikintumėte, jog įprastos užklausos vis dar praeina. Nemokama DI robotų IP patikra parodo, ar IP iš jūsų žurnalų tikrai priklauso GPTBot ar kitam robotui.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar Google palaiko Crawl-delay?

Ne. Google robots.txt dokumentacijoje crawl-delay nurodytas tarp nepalaikomų laukų. Norėdami trumpam sulėtinti Googlebot, į kai kurias užklausas grąžinkite 503, 500 ar 429; ilgesniam sumažinimui Google siūlo specialią užklausą per Search Console.

Ar ClaudeBot paiso Crawl-delay?

Anthropic teigia, kad palaiko nestandartinį Crawl-delay plėtinį. Įrašykite jį į ClaudeBot grupę ir ten pakartokite visas Disallow taisykles iš savo User-agent: * grupės.

Ar GPTBot ir PerplexityBot palaiko Crawl-delay?

OpenAI ir Perplexity robotų puslapiuose Crawl-delay neminimas, todėl jo poveikis neaprašytas. Naudokite serverio pusės ribą, kuri į perteklines užklausas atsako 429.

Ar 429 atsakymas pakenks mano pozicijoms?

Trumpą laiką – ne. Google 429 ir 503 aprašo kaip būdą laikinai sumažinti naršymą, bet įspėja, kad kelias dienas juos grąžinantys URL gali būti pašalinti iš indekso.

Ar turėčiau blokuoti GPTBot, kad sumažinčiau apkrovą?

Galite. OpenAI teigia, kad GPTBot naršo turinį, kuris gali būti naudojamas mokymui, o kiekvienas robots.txt nustatymas yra nepriklausomas, todėl jį uždraudus neiškrisite iš ChatGPT paieškos, kuri naudoja OAI-SearchBot. Pirmiausia patikrinkite žurnalus, kad įsitikintumėte, jog apkrova ateina iš OpenAI adresų.

Šaltiniai

Daugiau straipsnių