Com alentir els rastrejadors d'IA sense bloquejar-los

Publicat

Resposta breu

Limita la freqüència en lloc de bloquejar. Respon les peticions sobrants dels rastrejadors amb 429 o 503 i una capçalera Retry-After, dona a cada rastrejador el seu propi pressupost, deixa /robots.txt fora de qualsevol límit i serveix els rastrejadors des de la memòria cau. Crawl-delay al robots.txt només ajuda on l'operador el documenta: Anthropic i Bing ho fan, Google diu que no l'admet, i OpenAI i Perplexity no l'esmenten. Mantén permesos els rastrejadors de cerca d'IA, o també sortiràs de les respostes que alimenten.

Quan un rastrejador envia milers de peticions per hora, la solució ràpida és Disallow: / o un bloqueig al tallafoc. Per a un rastrejador d'entrenament pot ser una opció raonable. Per a OAI-SearchBot, Claude-SearchBot o PerplexityBot, treu les teves pàgines de les respostes d'IA on vols aparèixer. La majoria de vegades es pot reduir la càrrega sense renunciar-hi, amb senyals que els rastrejadors ja entenen: codis d'estat, memòria cau i, en alguns operadors, Crawl-delay.

En aquesta pàgina
  1. Quin rastrejador causa realment la càrrega?
  2. Crawl-delay funciona amb els rastrejadors d'IA?
  3. Com alenteixen els rastrejadors les respostes 429 i 503?
  4. Com configuro un límit de freqüència per als rastrejadors d'IA?
  5. La memòria cau pot reduir la càrrega dels rastrejadors?
  6. Què he d'evitar quan alenteixo els rastrejadors?
  7. Com puc comprovar que els rastrejadors encara hi accedeixen?

Quin rastrejador causa realment la càrrega?

Mira abans de canviar res. Compta les peticions per user agent i per hora als registres d'accés, i comprova les IP d'origen amb els rangs que publica cada proveïdor; la nostra guia per revisar els registres del servidor per trobar rastrejadors d'IA té les ordres. Hi ha dues troballes freqüents:

Classifica també els rastrejadors per la seva feina. Els rastrejadors d'entrenament com GPTBot i ClaudeBot no són els que et fan citable a la cerca d'IA, així que si el problema és un d'aquests, bloquejar-lo és una opció raonable. La resta d'aquesta guia és per als rastrejadors que vols conservar.

Crawl-delay funciona amb els rastrejadors d'IA?

Crawl-delay no forma part de l'RFC 9309, així que cada operador decideix si el llegeix. Això és el que diu la documentació a novembre de 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Vigila la lògica dels grups. Un rastrejador que troba un grup amb el seu nom ignora del tot el grup User-agent: *, així que un grup ClaudeBot que només contingui Crawl-delay deixaria sense efecte tots els Disallow que hagis definit per a la resta. Repeteix-los, com a l'exemple. Bing descriu Crawl-delay com una excepció que llegeix de qualsevol dels dos grups, però no ho donis per fet en altres rastrejadors.

Com alenteixen els rastrejadors les respostes 429 i 503?

En els pics de càrrega, el codi d'estat és el senyal que els rastrejadors estan fets per respectar. 429 Too Many Requests, definit a l'RFC 6585, vol dir que el client ha enviat massa peticions en un temps determinat, i pot portar una capçalera Retry-After que indica quant cal esperar. 503 Service Unavailable diu que el servidor no dona l'abast ara mateix.

Google documenta això com la manera de reduir ràpidament la freqüència de rastreig de Googlebot: retornar 500, 503 o 429 en lloc de 200 a algunes peticions de rastreig. Diu que això redueix la freqüència de rastreig de tot el nom d'amfitrió, i que Retry-After pot contenir un nombre de segons o una data.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Que sigui breu. Google desaconsella fer-ho durant més d'un o dos dies, perquè una URL que retorna aquests codis durant diversos dies pot desaparèixer del seu índex. Per a una reducció duradora, Google ofereix una sol·licitud especial a través de Search Console.

OpenAI, Anthropic i Perplexity no documenten com reaccionen els seus rastrejadors a 429, 503 o Retry-After. Els codis són la manera estàndard de demanar menys, però quant de pressa es retira cada rastrejador d'IA no és una cosa que puguis consultar.

Com configuro un límit de freqüència per als rastrejadors d'IA?

Dona a cada rastrejador el seu propi pressupost en lloc d'un sol límit per a tot el trànsit, i respon les peticions que el superin amb 429. A nginx, això ho fa el mòdul limit_req. Les peticions amb una clau buida no es compten, així que un map que només retorna una clau per als user agents de rastrejadors deixa tranquils els visitants humans. Aquí cada rastrejador té 60 peticions per minut amb una ràfega de 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

La clau aquí és el user agent, així que qualsevol que copiï el nom d'un rastrejador en comparteix el pressupost. Això és acceptable per a un límit de freqüència. Per a una regla de permís, comprova també els rangs d'IP publicats pel proveïdor.

A Cloudflare, les regles de limitació de freqüència fan la mateixa feina a l'edge. Al pla Free tens una regla, que compta per IP en intervals de 10 segons, i l'expressió de la regla pot fer servir el camí i el camp Verified Bot. Comptar per IP és poc precís per als rastrejadors que reparteixen les peticions entre moltes adreces, i els plans superiors hi afegeixen més opcions de recompte. La resposta per defecte és 429, i pots definir un altre codi 4xx i un cos personalitzat. AI Crawl Control ofereix Allow, Block i, en una beta privada, Charge per a cada rastrejador, però cap opció de freqüència.

Facis servir el que facis, deixa /robots.txt fora del límit. L'RFC 9309 diu que un error del servidor per al robots.txt vol dir que el rastrejador ha de suposar que tot el lloc està bloquejat, i Google exclou 429 dels codis 4xx que tracta com un fitxer inexistent.

La memòria cau pot reduir la càrrega dels rastrejadors?

Sovint més que un límit de freqüència. Els rastrejadors demanen sobretot pàgines públiques que són iguals per a tots els visitants, així que servir-les des d'una CDN o d'una memòria cau de pàgines converteix renderitzats cars en encerts barats. Comprova que la memòria cau no mantingui una variant separada i sense desar per als user agents de rastrejadors.

Les peticions condicionals també ajuden. Google diu que els seus rastrejadors admeten la memòria cau HTTP amb ETag i If-None-Match, i amb Last-Modified i If-Modified-Since, i que fan servir ETag quan hi ha tots dos. Les pàgines de rastrejadors d'OpenAI, Anthropic i Perplexity no diuen si els seus rastrejadors envien peticions condicionals, així que compta amb aquest estalvi només per a Google.

Què he d'evitar quan alenteixo els rastrejadors?

Com puc comprovar que els rastrejadors encara hi accedeixen?

És fàcil configurar els límits de freqüència massa estrictes. La comprovació gratuïta d'AISeeWhy obté una pàgina com a 16 rastrejadors d'IA i de cerca al costat d'un navegador real, aplica el teu robots.txt a cada rastrejador i reconeix les pàgines de desafiament dels tallafocs, així que una regla que respon als rastrejadors de manera diferent que als navegadors es fa visible. Una petició per rastrejador no activarà un límit raonable, i aquesta és la idea: fes-la servir després de canviar les regles per confirmar que les peticions normals encara passen. La comprovació gratuïta d'IP de rastrejadors d'IA et diu si una IP dels teus registres pertany de veritat a GPTBot o a un altre rastrejador.

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Google admet Crawl-delay?

No. La documentació del robots.txt de Google inclou crawl-delay entre els camps que no admet. Per alentir Googlebot breument, retorna 503, 500 o 429 a algunes peticions; per a una reducció més llarga, Google ofereix una sol·licitud especial a través de Search Console.

ClaudeBot respecta Crawl-delay?

Anthropic diu que admet l'extensió no estàndard Crawl-delay. Posa-la en un grup ClaudeBot i repeteix-hi qualsevol regla Disallow del grup User-agent: *.

GPTBot i PerplexityBot admeten Crawl-delay?

Les pàgines de rastrejadors d'OpenAI i de Perplexity no esmenten Crawl-delay, així que el seu efecte no està documentat. Fes servir un límit al servidor que respongui les peticions sobrants amb 429.

Una resposta 429 perjudicarà el meu posicionament?

No durant un període curt. Google documenta 429 i 503 com una manera de reduir el rastreig temporalment, però adverteix que les URL que els retornen durant diversos dies poden desaparèixer del seu índex.

Hauria de bloquejar GPTBot per reduir la càrrega?

Pots fer-ho. OpenAI diu que GPTBot rastreja contingut que es pot fer servir per a l'entrenament i que cada opció del robots.txt és independent, així que bloquejar-lo no et treu de la cerca de ChatGPT, que fa servir OAI-SearchBot. Revisa primer els registres per assegurar-te que la càrrega ve de les adreces d'OpenAI.

Fonts

Més articles