Hogyan lassíthatja le az AI-crawlereket blokkolás nélkül?
Blokkolás helyett korlátozza a kérések sebességét. A crawlerek többletkéréseire 429 vagy 503 kóddal és Retry-After fejléccel válaszoljon, adjon minden crawlernek saját keretet, hagyja ki a /robots.txt címet minden korlátból, és gyorsítótárból szolgálja ki a crawlereket. A robots.txt Crawl-delay sora csak ott segít, ahol az üzemeltető dokumentálja: az Anthropic és a Bing ezt teszi, a Google szerint nem támogatja, az OpenAI és a Perplexity pedig nem említi. Az AI-keresőcrawlereket hagyja engedélyezve, különben az általuk táplált válaszokból is kimarad.
Ha egy crawler óránként több ezer kérést küld, a gyors megoldás a Disallow: / vagy egy tűzfaltiltás. Egy tanító crawlernél ez méltányos választás lehet. Az OAI-SearchBot, a Claude-SearchBot vagy a PerplexityBot esetében viszont eltávolítja az oldalait azokból az AI-válaszokból, amelyekben meg szeretne jelenni. A terhelés legtöbbször enélkül is csökkenthető, olyan jelzésekkel, amelyeket a crawlerek már értenek: állapotkódokkal, gyorsítótárazással és egyes üzemeltetőknél a Crawl-delay sorral.
Ezen az oldalon
- Melyik crawler okozza valójában a terhelést?
- Működik a Crawl-delay az AI-crawlereknél?
- Hogyan lassítják le a crawlereket a 429-es és 503-as válaszok?
- Hogyan állíthatok be sebességkorlátot az AI-crawlerekre?
- Csökkentheti a gyorsítótárazás a crawlerek okozta terhelést?
- Mit kerüljön el a crawlerek lassításakor?
- Hogyan ellenőrizhetem, hogy a crawlerek továbbra is átjutnak-e?
Melyik crawler okozza valójában a terhelést?
Mielőtt bármit módosítana, nézzen utána. A hozzáférési naplókban számolja meg a kéréseket user agentenként és óránként, és vesse össze a forrás IP-címeket az egyes szolgáltatók által közzétett tartományokkal; az AI-crawlerek szervernaplóban való ellenőrzéséről szóló útmutatónkban megtalálja a parancsokat. Két eredmény gyakran előfordul:
- A nagy forgalom csak állítja magáról, hogy AI-crawler. Ha az IP-címek nincsenek a szolgáltató listáján, a valódi crawlerre vonatkozó szabályok nem segítenek. Ezt a forgalmat inkább a származása alapján korlátozza vagy blokkolja.
- Egy valódi crawler beragadt egy crawlercsapdába, például végtelen naptároldalakba, szűrőkombinációkba vagy az URL-ekben lévő munkamenet-azonosítókba. Ha ezekre az útvonalakra
Disallowszabályokkal lezárja a csapdát, többet takarít meg, mint bármely sebességkorláttal.
A crawlereket feladat szerint is válogassa szét. Az olyan tanító crawlerek, mint a GPTBot és a ClaudeBot, nem azok, amelyek idézhetővé teszik az AI-keresésben, így ha közülük okoz valamelyik gondot, a tiltása észszerű lehetőség. Az útmutató többi része azokról a crawlerekről szól, amelyeket meg akar tartani.
Működik a Crawl-delay az AI-crawlereknél?
A Crawl-delay nem része az RFC 9309-nek, így minden üzemeltető maga dönti el, olvassa-e. A dokumentációk 2026 novemberében ezt mondják:
- Anthropic: támogatott. A súgóoldala szerint támogatja a nem szabványos
Crawl-delaykiterjesztést a crawlolási aktivitás korlátozására, példaként egyClaudeBotcsoportban állóCrawl-delay: 1sorral. - Microsoft Bing: támogatott. A Bing webmesterblogja az értéket 1–30 másodperces időablakként írja le, amelyben a
bingbotlegfeljebb egy oldalt crawlol, és azt írja, hogy a robots.txt crawl delay értéke felülírja a Bing Webmaster Tools crawlolási beállításait. - Google: nem támogatott. A Google robots.txt-dokumentációja a
crawl-delaymezőt nem támogatott mezőként nevezi meg. - OpenAI és Perplexity: a crawleroldalaik nem említik, így a hatása a
GPTBot, azOAI-SearchBotvagy aPerplexityBotesetében nincs dokumentálva.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Figyeljen a csoportlogikára. Az a crawler, amely saját nevét viselő csoportot talál, teljesen figyelmen kívül hagyja a User-agent: * csoportot, így egy csak Crawl-delay sort tartalmazó ClaudeBot csoport elvetné az összes többi crawlerre beállított Disallow szabályt. Ismételje meg őket, ahogy fent. A Bing a Crawl-delay sort olyan kivételként írja le, amelyet bármelyik csoportból kiolvas, de ezt más crawlerekről ne feltételezze.
Hogyan lassítják le a crawlereket a 429-es és 503-as válaszok?
Terhelési csúcsoknál az állapotkód az a jelzés, amelynek tiszteletben tartására a crawlereket tervezték. Az RFC 6585-ben meghatározott 429 Too Many Requests azt jelenti, hogy a kliens adott idő alatt túl sok kérést küldött, és tartalmazhat Retry-After fejlécet, amely megadja, mennyit kell várni. Az 503 Service Unavailable azt jelzi, hogy a szerver éppen nem bírja a terhelést.
A Google ezt dokumentálja a Googlebot crawlolási sebességének gyors csökkentésére: egyes crawlolási kérésekre 200 helyett 500, 503 vagy 429 kódot adjon vissza. Azt írja, hogy ez az egész gépnév crawlolási sebességét csökkenti, és hogy a Retry-After másodpercek számát vagy dátumot tartalmazhat.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Legyen rövid. A Google nem javasolja, hogy ezt egy-két napnál tovább csinálja, mert egy több napig ilyen kódokat visszaadó URL kikerülhet az indexéből. Tartós csökkentéshez a Google helyette egy külön kérést kínál a Search Console-on keresztül.
Az OpenAI, az Anthropic és a Perplexity nem dokumentálja, hogyan reagálnak a crawlereik a 429, az 503 vagy a Retry-After jelzésre. Ezek a kódok a szabványos módjai annak, hogy kevesebbet kérjen, de hogy melyik AI-crawler milyen gyorsan lassít, azt sehol sem lehet utánanézni.
Hogyan állíthatok be sebességkorlátot az AI-crawlerekre?
Az összes forgalomra vonatkozó egyetlen korlát helyett adjon minden crawlernek saját keretet, és az afölötti kérésekre 429 kóddal válaszoljon. Az nginxben ezt a limit_req modul végzi. Az üres kulcsú kéréseket nem számolja, így egy map, amely csak a crawlerek user agentjeire ad vissza kulcsot, békén hagyja az emberi látogatókat. Itt minden crawler percenként 60 kérést kap, 20-as löketkerettel (burst):
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} A kulcs itt a user agent, így aki lemásolja egy crawler nevét, az osztozik annak keretén. Sebességkorlátnál ez elfogadható. Engedélyező szabálynál a szolgáltató közzétett IP-tartományait is egyeztesse.
A Cloudflare-en a sebességkorlátozási szabályok (rate limiting rules) végzik ugyanezt a hálózat peremén. A Free csomagban egy szabályt kap, amely IP-címenként 10 másodperces időszakra számol, és a szabálykifejezés használhatja az útvonalat és a Verified Bot mezőt. Az IP-címenkénti számolás durva azoknál a crawlereknél, amelyek sok címre osztják el a kéréseiket, a magasabb csomagok pedig több számolási lehetőséget adnak. Az alapértelmezett válasz 429, de beállíthat más 4xx kódot és egyéni választörzset is. Az AI Crawl Control minden crawlerre Allow, Block és zárt bétában Charge lehetőséget kínál, sebességbeállítást viszont nem.
Bármit használ, a /robots.txt címet hagyja ki a korlátból. Az RFC 9309 szerint a robots.txt-re adott szerverhiba azt jelenti, hogy a crawlernek az egész webhelyet tiltottnak kell tekintenie, a Google pedig a 429 kódot kizárja azon 4xx kódok közül, amelyeket hiányzó fájlként kezel.
Csökkentheti a gyorsítótárazás a crawlerek okozta terhelést?
Gyakran jobban, mint egy sebességkorlát. A crawlerek többnyire nyilvános oldalakat kérnek, amelyek minden látogatónak ugyanolyanok, így ha CDN-ből vagy oldalgyorsítótárból szolgálja ki őket, a drága renderelésekből olcsó gyorsítótár-találatok lesznek. Ellenőrizze, hogy a gyorsítótár nem tart-e külön, gyorsítótárazatlan változatot a crawlerek user agentjei számára.
A feltételes kérések is segítenek. A Google szerint a crawlerei támogatják a HTTP-gyorsítótárazást az ETag és az If-None-Match, valamint a Last-Modified és az If-Modified-Since fejlécekkel, és ha mindkettő jelen van, az ETag fejlécet használják. Az OpenAI, az Anthropic és a Perplexity crawleroldalai nem írják, hogy a crawlereik küldenek-e feltételes kéréseket, ezért ezzel a megtakarítással csak a Google-nél számoljon.
Mit kerüljön el a crawlerek lassításakor?
- Egy szolgáltató IP-tartományainak blokkolását a tűzfalon. Az Anthropic figyelmeztet, hogy ez nem feltétlenül működik megfelelően, és nem biztos, hogy fenntartja a tiltást, mert megakadályozza, hogy a botjai elolvassák a robots.txt-t.
- Az
5xxvagy429kódok napokig tartó kiszolgálását. A Google szerint az ezeket tartósan visszaadó URL-ek kikerülhetnek az indexéből. - A botvédelem fojtószelepként való használatát. A Cloudflare Bot Fight Mode funkciója számításigényes kihívásokat ad a botoknak, és WAF egyéni szabályokkal nem hagyható ki, így nem tehet kivételt azokra a crawlerekre, amelyeket meg akar tartani.
- Egy keresőcrawler tiltását sávszélesség-megtakarítás céljából. Egy
DisallowazOAI-SearchBot, aClaude-SearchBotvagy aPerplexityBotszámára kizárja Önt azokból a válaszokból, amelyeket ezek a crawlerek táplálnak.
Hogyan ellenőrizhetem, hogy a crawlerek továbbra is átjutnak-e?
A sebességkorlátot könnyű túl szigorúra állítani. Az ingyenes AISeeWhy-ellenőrzés egy valódi böngésző mellett 16 AI- és keresőcrawler nevében is lekér egy oldalt, crawlerenként alkalmazza a robots.txt-t, és felismeri a tűzfalak kihívásoldalait, így kiderül, ha egy szabály másként válaszol a crawlereknek, mint a böngészőknek. Crawlerenként egyetlen kérés nem old ki egy észszerű korlátot, és épp ez a lényeg: a szabályok módosítása után futtassa le, hogy meggyőződjön róla, a szokásos kérések továbbra is átjutnak. Az ingyenes AI-crawler IP-ellenőrzés megmondja, hogy egy IP-cím a naplóiból valóban a GPTBot vagy egy másik crawler címe-e.
Következő lépések
- robots.txt tesztelő és ellenőrző AI-crawlerekhez
- AI-crawler IP-ellenőrzés
- Nézzen meg egy teljes jelentést példaként
- AI-crawler-figyelés
- Csomagok és árak
A cikkben szereplő crawlerek
Gyakran ismételt kérdések
Támogatja a Google a Crawl-delay sort?
Nem. A Google robots.txt-dokumentációja a crawl-delay mezőt a nem támogatott mezők között sorolja fel. A Googlebot rövid ideig tartó lassításához egyes kérésekre adjon vissza 503, 500 vagy 429 kódot; hosszabb csökkentéshez a Google külön kérést kínál a Search Console-on keresztül.
Betartja a ClaudeBot a Crawl-delay sort?
Az Anthropic szerint támogatja a nem szabványos Crawl-delay kiterjesztést. Tegye egy ClaudeBot csoportba, és ismételje meg ott a User-agent: * csoport összes Disallow szabályát.
Támogatja a GPTBot és a PerplexityBot a Crawl-delay sort?
Az OpenAI és a Perplexity crawleroldalai nem említik a Crawl-delay sort, így a hatása nincs dokumentálva. Használjon szerveroldali korlátot, amely a többletkérésekre 429 kóddal válaszol.
Árt a 429-es válasz a helyezéseimnek?
Rövid ideig nem. A Google a 429 és az 503 kódot a crawlolás ideiglenes csökkentésének módjaként dokumentálja, de figyelmeztet, hogy az ezeket több napig visszaadó URL-ek kikerülhetnek az indexéből.
Blokkoljam a GPTBotot a terhelés csökkentésére?
Megteheti. Az OpenAI szerint a GPTBot olyan tartalmat crawlol, amely tanításra is felhasználható, és minden robots.txt-beállítás független, így a tiltása nem távolítja el Önt a ChatGPT-keresésből, amely az OAI-SearchBot crawlert használja. Előbb nézze meg a naplóit, hogy biztos legyen benne: a terhelés az OpenAI címeiről jön.
Források
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP-gyorsítótárazás)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers