Com alentir els rastrejadors d'IA sense bloquejar-los
Limita la freqüència en lloc de bloquejar. Respon les peticions sobrants dels rastrejadors amb 429 o 503 i una capçalera Retry-After, dona a cada rastrejador el seu propi pressupost, deixa /robots.txt fora de qualsevol límit i serveix els rastrejadors des de la memòria cau. Crawl-delay al robots.txt només ajuda on l'operador el documenta: Anthropic i Bing ho fan, Google diu que no l'admet, i OpenAI i Perplexity no l'esmenten. Mantén permesos els rastrejadors de cerca d'IA, o també sortiràs de les respostes que alimenten.
Quan un rastrejador envia milers de peticions per hora, la solució ràpida és Disallow: / o un bloqueig al tallafoc. Per a un rastrejador d'entrenament pot ser una opció raonable. Per a OAI-SearchBot, Claude-SearchBot o PerplexityBot, treu les teves pàgines de les respostes d'IA on vols aparèixer. La majoria de vegades es pot reduir la càrrega sense renunciar-hi, amb senyals que els rastrejadors ja entenen: codis d'estat, memòria cau i, en alguns operadors, Crawl-delay.
En aquesta pàgina
- Quin rastrejador causa realment la càrrega?
- Crawl-delay funciona amb els rastrejadors d'IA?
- Com alenteixen els rastrejadors les respostes 429 i 503?
- Com configuro un límit de freqüència per als rastrejadors d'IA?
- La memòria cau pot reduir la càrrega dels rastrejadors?
- Què he d'evitar quan alenteixo els rastrejadors?
- Com puc comprovar que els rastrejadors encara hi accedeixen?
Quin rastrejador causa realment la càrrega?
Mira abans de canviar res. Compta les peticions per user agent i per hora als registres d'accés, i comprova les IP d'origen amb els rangs que publica cada proveïdor; la nostra guia per revisar els registres del servidor per trobar rastrejadors d'IA té les ordres. Hi ha dues troballes freqüents:
- El trànsit intens només afirma ser un rastrejador d'IA. Si les IP no són a la llista del proveïdor, les regles per al rastrejador real no serviran. Limita o bloqueja aquest trànsit pel seu origen.
- Un rastrejador real ha quedat atrapat en una trampa de rastreig, com pàgines de calendari infinites, combinacions de filtres o identificadors de sessió a les URL. Tancar la trampa amb regles
Disallowper a aquests camins estalvia més que qualsevol límit de freqüència.
Classifica també els rastrejadors per la seva feina. Els rastrejadors d'entrenament com GPTBot i ClaudeBot no són els que et fan citable a la cerca d'IA, així que si el problema és un d'aquests, bloquejar-lo és una opció raonable. La resta d'aquesta guia és per als rastrejadors que vols conservar.
Crawl-delay funciona amb els rastrejadors d'IA?
Crawl-delay no forma part de l'RFC 9309, així que cada operador decideix si el llegeix. Això és el que diu la documentació a novembre de 2026:
- Anthropic: admès. La seva pàgina d'ajuda diu que admet l'extensió no estàndard
Crawl-delayper limitar l'activitat de rastreig, ambCrawl-delay: 1en un grupClaudeBotcom a exemple. - Microsoft Bing: admès. El blog per a administradors web de Bing descriu el valor com una finestra de temps d'1 a 30 segons en què
bingbotrastreja com a màxim una pàgina, i diu que el crawl delay del robots.txt té prioritat sobre la configuració de rastreig de Bing Webmaster Tools. - Google: no admès. La documentació del robots.txt de Google esmenta
crawl-delaycom un camp que no admet. - OpenAI i Perplexity: les seves pàgines de rastrejadors no l'esmenten, així que el seu efecte sobre
GPTBot,OAI-SearchBotoPerplexityBotno està documentat.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Vigila la lògica dels grups. Un rastrejador que troba un grup amb el seu nom ignora del tot el grup User-agent: *, així que un grup ClaudeBot que només contingui Crawl-delay deixaria sense efecte tots els Disallow que hagis definit per a la resta. Repeteix-los, com a l'exemple. Bing descriu Crawl-delay com una excepció que llegeix de qualsevol dels dos grups, però no ho donis per fet en altres rastrejadors.
Com alenteixen els rastrejadors les respostes 429 i 503?
En els pics de càrrega, el codi d'estat és el senyal que els rastrejadors estan fets per respectar. 429 Too Many Requests, definit a l'RFC 6585, vol dir que el client ha enviat massa peticions en un temps determinat, i pot portar una capçalera Retry-After que indica quant cal esperar. 503 Service Unavailable diu que el servidor no dona l'abast ara mateix.
Google documenta això com la manera de reduir ràpidament la freqüència de rastreig de Googlebot: retornar 500, 503 o 429 en lloc de 200 a algunes peticions de rastreig. Diu que això redueix la freqüència de rastreig de tot el nom d'amfitrió, i que Retry-After pot contenir un nombre de segons o una data.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Que sigui breu. Google desaconsella fer-ho durant més d'un o dos dies, perquè una URL que retorna aquests codis durant diversos dies pot desaparèixer del seu índex. Per a una reducció duradora, Google ofereix una sol·licitud especial a través de Search Console.
OpenAI, Anthropic i Perplexity no documenten com reaccionen els seus rastrejadors a 429, 503 o Retry-After. Els codis són la manera estàndard de demanar menys, però quant de pressa es retira cada rastrejador d'IA no és una cosa que puguis consultar.
Com configuro un límit de freqüència per als rastrejadors d'IA?
Dona a cada rastrejador el seu propi pressupost en lloc d'un sol límit per a tot el trànsit, i respon les peticions que el superin amb 429. A nginx, això ho fa el mòdul limit_req. Les peticions amb una clau buida no es compten, així que un map que només retorna una clau per als user agents de rastrejadors deixa tranquils els visitants humans. Aquí cada rastrejador té 60 peticions per minut amb una ràfega de 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} La clau aquí és el user agent, així que qualsevol que copiï el nom d'un rastrejador en comparteix el pressupost. Això és acceptable per a un límit de freqüència. Per a una regla de permís, comprova també els rangs d'IP publicats pel proveïdor.
A Cloudflare, les regles de limitació de freqüència fan la mateixa feina a l'edge. Al pla Free tens una regla, que compta per IP en intervals de 10 segons, i l'expressió de la regla pot fer servir el camí i el camp Verified Bot. Comptar per IP és poc precís per als rastrejadors que reparteixen les peticions entre moltes adreces, i els plans superiors hi afegeixen més opcions de recompte. La resposta per defecte és 429, i pots definir un altre codi 4xx i un cos personalitzat. AI Crawl Control ofereix Allow, Block i, en una beta privada, Charge per a cada rastrejador, però cap opció de freqüència.
Facis servir el que facis, deixa /robots.txt fora del límit. L'RFC 9309 diu que un error del servidor per al robots.txt vol dir que el rastrejador ha de suposar que tot el lloc està bloquejat, i Google exclou 429 dels codis 4xx que tracta com un fitxer inexistent.
La memòria cau pot reduir la càrrega dels rastrejadors?
Sovint més que un límit de freqüència. Els rastrejadors demanen sobretot pàgines públiques que són iguals per a tots els visitants, així que servir-les des d'una CDN o d'una memòria cau de pàgines converteix renderitzats cars en encerts barats. Comprova que la memòria cau no mantingui una variant separada i sense desar per als user agents de rastrejadors.
Les peticions condicionals també ajuden. Google diu que els seus rastrejadors admeten la memòria cau HTTP amb ETag i If-None-Match, i amb Last-Modified i If-Modified-Since, i que fan servir ETag quan hi ha tots dos. Les pàgines de rastrejadors d'OpenAI, Anthropic i Perplexity no diuen si els seus rastrejadors envien peticions condicionals, així que compta amb aquest estalvi només per a Google.
Què he d'evitar quan alenteixo els rastrejadors?
- Bloquejar els rangs d'IP d'un proveïdor al tallafoc. Anthropic adverteix que pot no funcionar bé ni mantenir una exclusió, perquè impedeix que els seus bots llegeixin el teu robots.txt.
- Servir
5xxo429durant dies. Google diu que les URL que els continuen retornant poden desaparèixer del seu índex. - Fer servir la protecció contra bots com a limitador. El Bot Fight Mode de Cloudflare envia desafiaments costosos de calcular als bots i no es pot ometre amb regles personalitzades del WAF, així que no pots excloure'n els rastrejadors que vols conservar.
- Bloquejar un rastrejador de cerca per estalviar amplada de banda. Un
Disallowper aOAI-SearchBot,Claude-SearchBotoPerplexityBotet treu de les respostes que alimenten aquests rastrejadors.
Com puc comprovar que els rastrejadors encara hi accedeixen?
És fàcil configurar els límits de freqüència massa estrictes. La comprovació gratuïta d'AISeeWhy obté una pàgina com a 16 rastrejadors d'IA i de cerca al costat d'un navegador real, aplica el teu robots.txt a cada rastrejador i reconeix les pàgines de desafiament dels tallafocs, així que una regla que respon als rastrejadors de manera diferent que als navegadors es fa visible. Una petició per rastrejador no activarà un límit raonable, i aquesta és la idea: fes-la servir després de canviar les regles per confirmar que les peticions normals encara passen. La comprovació gratuïta d'IP de rastrejadors d'IA et diu si una IP dels teus registres pertany de veritat a GPTBot o a un altre rastrejador.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Google admet Crawl-delay?
No. La documentació del robots.txt de Google inclou crawl-delay entre els camps que no admet. Per alentir Googlebot breument, retorna 503, 500 o 429 a algunes peticions; per a una reducció més llarga, Google ofereix una sol·licitud especial a través de Search Console.
ClaudeBot respecta Crawl-delay?
Anthropic diu que admet l'extensió no estàndard Crawl-delay. Posa-la en un grup ClaudeBot i repeteix-hi qualsevol regla Disallow del grup User-agent: *.
GPTBot i PerplexityBot admeten Crawl-delay?
Les pàgines de rastrejadors d'OpenAI i de Perplexity no esmenten Crawl-delay, així que el seu efecte no està documentat. Fes servir un límit al servidor que respongui les peticions sobrants amb 429.
Una resposta 429 perjudicarà el meu posicionament?
No durant un període curt. Google documenta 429 i 503 com una manera de reduir el rastreig temporalment, però adverteix que les URL que els retornen durant diversos dies poden desaparèixer del seu índex.
Hauria de bloquejar GPTBot per reduir la càrrega?
Pots fer-ho. OpenAI diu que GPTBot rastreja contingut que es pot fer servir per a l'entrenament i que cada opció del robots.txt és independent, així que bloquejar-lo no et treu de la cerca de ChatGPT, que fa servir OAI-SearchBot. Revisa primer els registres per assegurar-te que la càrrega ve de les adreces d'OpenAI.
Fonts
- Anthropic: Anthropic rastreja dades del web i com poden bloquejar el rastrejador els propietaris de llocs?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: Com interpreta Google l'especificació del robots.txt
- Google: Reduir la freqüència de rastreig de Google
- Google: Resum dels rastrejadors i agents de Google (memòria cau HTTP)
- RFC 9309: Protocol d'exclusió de robots
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: mòdul ngx_http_limit_req_module
- Cloudflare: Regles de limitació de freqüència
- Cloudflare: Paràmetres de limitació de freqüència
- Cloudflare: Gestió dels rastrejadors d'IA (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Resum dels rastrejadors d'OpenAI
- Perplexity: rastrejadors de Perplexity