Kako usporiti AI crawlere bez blokiranja

Objavljeno

Kratki odgovor

Umjesto blokiranja ograničite broj zahtjeva. Na višak zahtjeva crawlera odgovarajte kodom 429 ili 503 sa zaglavljem Retry-After, svakom crawleru dajte vlastiti budžet, /robots.txt izuzmite iz svih ograničenja i crawlerima poslužujte stranice iz predmemorije. Crawl-delay u robots.txt pomaže samo ako ga operater dokumentira: Anthropic i Bing to čine, Google navodi da ga ne podržava, a OpenAI i Perplexity ga ne spominju. AI crawlere za pretraživanje ostavite dopuštenima, inače ispadate i iz odgovora koje oni hrane.

Kad crawler šalje tisuće zahtjeva na sat, brzo rješenje je Disallow: / ili blokada u vatrozidu. Za crawler za treniranje to može biti razuman izbor. Za OAI-SearchBot, Claude-SearchBot ili PerplexityBot to uklanja vaše stranice iz AI odgovora u kojima se želite pojavljivati. Najčešće se opterećenje može smanjiti bez toga, signalima koje crawleri već razumiju: statusnim kodovima, predmemoriranjem i, kod nekih operatera, s Crawl-delay.

Na ovoj stranici
  1. Koji crawler stvarno uzrokuje opterećenje?
  2. Radi li Crawl-delay za AI crawlere?
  3. Kako odgovori 429 i 503 usporavaju crawlere?
  4. Kako postaviti ograničenje broja zahtjeva za AI crawlere?
  5. Može li predmemoriranje smanjiti opterećenje od crawlera?
  6. Što izbjegavati pri usporavanju crawlera?
  7. Kako provjeriti prolaze li crawleri i dalje?

Koji crawler stvarno uzrokuje opterećenje?

Pogledajte prije nego što išta promijenite. U pristupnim zapisnicima prebrojite zahtjeve po user agentu i po satu te provjerite izvorne IP adrese prema rasponima koje objavljuje svaki dobavljač; naš vodič o provjeri zapisnika poslužitelja za AI crawlere sadrži naredbe. Dva se nalaza često pojavljuju:

Crawlere razvrstajte i prema zadaći. Crawleri za treniranje poput GPTBot i ClaudeBot nisu oni zbog kojih vas citiraju u AI pretraživanju, pa ako je problem jedan od njih, zabrana je razumna opcija. Ostatak ovog vodiča odnosi se na crawlere koje želite zadržati.

Radi li Crawl-delay za AI crawlere?

Crawl-delay nije dio RFC 9309, pa svaki operater odlučuje hoće li ga čitati. Ovo navodi dokumentacija u studenome 2026.:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Pazite na logiku grupa. Crawler koji pronađe grupu sa svojim imenom potpuno zanemaruje grupu User-agent: *, pa bi grupa ClaudeBot koja sadrži samo Crawl-delay poništila svaki Disallow koji ste postavili za sve ostale. Ponovite ih, kao gore. Bing Crawl-delay opisuje kao iznimku koju čita iz bilo koje od dviju grupa, ali to ne biste trebali pretpostavljati za druge crawlere.

Kako odgovori 429 i 503 usporavaju crawlere?

Kod vršnih opterećenja statusni kod je signal koji su crawleri napravljeni poštovati. 429 Too Many Requests, definiran u RFC 6585, znači da je klijent u određenom vremenu poslao previše zahtjeva i može nositi zaglavlje Retry-After koje kaže koliko treba čekati. 503 Service Unavailable kaže da poslužitelj trenutačno ne može izaći na kraj.

Google to dokumentira kao način za brzo smanjenje brzine pretraživanja Googlebota: na neke zahtjeve za pretraživanje vratite 500, 503 ili 429 umjesto 200. Navodi da to smanjuje brzinu pretraživanja za cijeli naziv hosta i da Retry-After može sadržavati broj sekundi ili datum.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Neka to kratko traje. Google ne preporučuje da to radite dulje od jednog ili dva dana jer URL koji nekoliko dana vraća te kodove može biti uklonjen iz njegova indeksa. Za trajno smanjenje Google umjesto toga nudi poseban zahtjev putem Search Consolea.

OpenAI, Anthropic i Perplexity ne dokumentiraju kako njihovi crawleri reagiraju na 429, 503 ili Retry-After. Ti su kodovi standardni način da zatražite manje, ali koliko brzo koji AI crawler uspori nije nešto što možete negdje provjeriti.

Kako postaviti ograničenje broja zahtjeva za AI crawlere?

Svakom crawleru dajte vlastiti budžet umjesto jednog ograničenja za sav promet i na zahtjeve preko njega odgovarajte kodom 429. U nginxu to radi modul limit_req. Zahtjevi s praznim ključem ne broje se, pa map koji vraća ključ samo za user agente crawlera ostavlja ljudske posjetitelje na miru. Ovdje svaki crawler dobiva 60 zahtjeva u minuti s naletom (burst) od 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Ključ je ovdje user agent, pa svatko tko kopira ime crawlera dijeli njegov budžet. Za ograničenje broja zahtjeva to je prihvatljivo. Za pravilo dopuštanja provjerite i dobavljačeve objavljene IP raspone.

Na Cloudflareu isti posao na rubu mreže obavljaju pravila za ograničavanje broja zahtjeva (rate limiting rules). Na planu Free dobivate jedno pravilo, s brojanjem po IP adresi u razdoblju od 10 sekundi, a izraz pravila može koristiti putanju i polje Verified Bot. Brojanje po IP-u grubo je za crawlere koji zahtjeve raspoređuju na mnogo adresa, a viši planovi dodaju više mogućnosti brojanja. Zadani odgovor je 429, a možete postaviti drugi 4xx kod i prilagođeno tijelo odgovora. AI Crawl Control za svaki crawler nudi Allow, Block i, u privatnoj beta verziji, Charge, ali ne i postavku brzine.

Što god koristili, /robots.txt izuzmite iz ograničenja. RFC 9309 kaže da pogreška poslužitelja za robots.txt znači da crawler mora pretpostaviti da je cijela web-stranica zabranjena, a Google 429 izuzima iz 4xx kodova koje tretira kao nepostojeću datoteku.

Može li predmemoriranje smanjiti opterećenje od crawlera?

Često više od ograničenja broja zahtjeva. Crawleri uglavnom traže javne stranice koje su iste za svakog posjetitelja, pa njihovo posluživanje iz CDN-a ili predmemorije stranica pretvara skupo renderiranje u jeftine pogotke predmemorije. Provjerite da vaša predmemorija ne drži zasebnu, nepredmemoriranu varijantu za user agente crawlera.

Pomažu i uvjetni zahtjevi. Google navodi da njegovi crawleri podržavaju HTTP predmemoriranje s ETag i If-None-Match te s Last-Modified i If-Modified-Since, a kad su prisutni oboje, koriste ETag. Stranice o crawlerima OpenAI-ja, Anthropica i Perplexityja ne navode šalju li njihovi crawleri uvjetne zahtjeve, pa na tu uštedu računajte samo kod Googlea.

Što izbjegavati pri usporavanju crawlera?

Kako provjeriti prolaze li crawleri i dalje?

Ograničenja broja zahtjeva lako je postaviti prestrogo. Besplatna provjera AISeeWhy dohvaća stranicu kao 16 AI crawlera i crawlera tražilica, usporedno sa stvarnim preglednikom, primjenjuje vaš robots.txt za svaki crawler i prepoznaje stranice s provjerom vatrozida, pa se vidi pravilo koje crawlerima odgovara drugačije nego preglednicima. Jedan zahtjev po crawleru neće aktivirati razumno ograničenje, i upravo je to poanta: pokrenite je nakon promjene pravila kako biste potvrdili da uobičajeni zahtjevi i dalje prolaze. Besplatna provjera IP adresa AI crawlera govori pripada li IP iz vaših zapisnika stvarno crawleru GPTBot ili nekom drugom.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Podržava li Google Crawl-delay?

Ne. Googleova dokumentacija o robots.txt navodi crawl-delay među poljima koja ne podržava. Da biste Googlebot nakratko usporili, na neke zahtjeve vratite 503, 500 ili 429; za dulje smanjenje Google nudi poseban zahtjev putem Search Consolea.

Poštuje li ClaudeBot Crawl-delay?

Anthropic navodi da podržava nestandardno proširenje Crawl-delay. Stavite ga u grupu ClaudeBot i ondje ponovite sva pravila Disallow iz svoje grupe User-agent: *.

Podržavaju li GPTBot i PerplexityBot Crawl-delay?

Stranice o crawlerima OpenAI-ja i Perplexityja ne spominju Crawl-delay, pa njegov učinak nije dokumentiran. Koristite ograničenje na poslužitelju koje na višak zahtjeva odgovara kodom 429.

Hoće li odgovor 429 naštetiti mom rangiranju?

Ne u kratkom razdoblju. Google dokumentira 429 i 503 kao način za privremeno smanjenje pretraživanja, ali upozorava da URL-ovi koji ih vraćaju nekoliko dana mogu biti uklonjeni iz njegova indeksa.

Trebam li blokirati GPTBot da smanjim opterećenje?

Možete. OpenAI navodi da GPTBot pretražuje sadržaj koji se može koristiti za treniranje i da je svaka postavka u robots.txt neovisna, pa vas njegova zabrana ne uklanja iz pretraživanja u ChatGPT-u, koje koristi OAI-SearchBot. Najprije provjerite zapisnike kako biste bili sigurni da opterećenje dolazi s OpenAI-jevih adresa.

Izvori

Još članaka