Cara memperlahankan crawler AI tanpa menyekatnya
Hadkan kadar, jangan sekat. Balas permintaan crawler yang berlebihan dengan 429 atau 503 dan pengepala Retry-After, beri setiap crawler bajet sendiri, kecualikan /robots.txt daripada setiap had, dan hidangkan halaman kepada crawler daripada cache. Crawl-delay dalam robots.txt hanya membantu jika pengendali mendokumenkannya: Anthropic dan Bing mendokumenkannya, Google menyatakan ia tidak menyokongnya, dan OpenAI serta Perplexity tidak menyebutnya. Kekalkan crawler carian AI dibenarkan, atau anda juga keluar daripada jawapan yang mereka bekalkan.
Apabila crawler menghantar beribu-ribu permintaan sejam, penyelesaian pantasnya ialah Disallow: / atau sekatan firewall. Untuk crawler latihan, itu boleh menjadi pilihan yang wajar. Untuk OAI-SearchBot, Claude-SearchBot atau PerplexityBot, ia mengeluarkan halaman anda daripada jawapan AI yang anda mahu muncul di dalamnya. Selalunya beban boleh dikurangkan tanpa melepaskannya, dengan isyarat yang sudah difahami crawler: kod status, cache dan, bagi sesetengah pengendali, Crawl-delay.
Dalam halaman ini
- Crawler mana yang sebenarnya menyebabkan beban?
- Adakah Crawl-delay berfungsi untuk crawler AI?
- Bagaimanakah respons 429 dan 503 memperlahankan crawler?
- Bagaimanakah saya menetapkan had kadar untuk crawler AI?
- Bolehkah cache mengurangkan beban crawler?
- Apa yang perlu dielakkan semasa memperlahankan crawler?
- Bagaimanakah saya menyemak bahawa crawler masih dapat masuk?
Crawler mana yang sebenarnya menyebabkan beban?
Lihat dahulu sebelum mengubah apa-apa. Kira permintaan mengikut user agent dan mengikut jam dalam log akses anda, dan semak IP sumber dengan julat yang diterbitkan setiap vendor; panduan kami tentang menyemak log pelayan untuk crawler AI mempunyai arahannya. Dua penemuan kerap muncul:
- Trafik berat itu hanya mendakwa sebagai crawler AI. Jika IP tiada dalam senarai vendor, peraturan untuk crawler sebenar tidak akan membantu. Hadkan atau sekat trafik itu mengikut asalnya.
- Crawler sebenar terperangkap dalam perangkap rangkak (crawl trap), seperti halaman kalendar tanpa penghujung, gabungan penapis atau ID sesi dalam URL. Menutup perangkap itu dengan peraturan
Disallowuntuk laluan tersebut menjimatkan lebih banyak daripada mana-mana had kadar.
Asingkan juga crawler mengikut tugasnya. Crawler latihan seperti GPTBot dan ClaudeBot bukan yang menjadikan anda boleh dipetik dalam carian AI, jadi jika salah satunya puncanya, melarangnya ialah pilihan yang munasabah. Bahagian selebihnya panduan ini adalah untuk crawler yang anda mahu kekalkan.
Adakah Crawl-delay berfungsi untuk crawler AI?
Crawl-delay bukan sebahagian daripada RFC 9309, jadi setiap pengendali memutuskan sama ada hendak membacanya. Inilah yang dinyatakan dokumentasi setakat November 2026:
- Anthropic: disokong. Halaman bantuannya menyatakan ia menyokong sambungan
Crawl-delayyang bukan standard untuk mengehadkan aktiviti perangkakan, denganCrawl-delay: 1dalam kumpulanClaudeBotsebagai contoh. - Microsoft Bing: disokong. Blog webmaster Bing menerangkan nilai itu sebagai tetingkap masa 1 hingga 30 saat di mana
bingbotmerangkak paling banyak satu halaman, dan menyatakan crawl delay dalam robots.txt mengatasi tetapan rangkak dalam Bing Webmaster Tools. - Google: tidak disokong. Dokumentasi robots.txt Google menamakan
crawl-delaysebagai medan yang tidak disokongnya. - OpenAI dan Perplexity: halaman crawler mereka tidak menyebutnya, jadi kesannya pada
GPTBot,OAI-SearchBotatauPerplexityBottidak didokumenkan.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Perhatikan logik kumpulan. Crawler yang menemui kumpulan dengan namanya sendiri mengabaikan kumpulan User-agent: * sepenuhnya, jadi kumpulan ClaudeBot yang hanya mengandungi Crawl-delay akan menggugurkan setiap Disallow yang anda tetapkan untuk yang lain. Ulanginya, seperti di atas. Bing menerangkan Crawl-delay sebagai pengecualian yang dibacanya daripada mana-mana kumpulan, tetapi jangan anggap begitu bagi crawler lain.
Bagaimanakah respons 429 dan 503 memperlahankan crawler?
Untuk puncak beban, kod status ialah isyarat yang memang direka untuk dipatuhi crawler. 429 Too Many Requests, yang ditakrifkan dalam RFC 6585, bermakna klien menghantar terlalu banyak permintaan dalam tempoh tertentu, dan boleh membawa pengepala Retry-After yang menyatakan berapa lama perlu menunggu. 503 Service Unavailable menyatakan pelayan tidak dapat menampung beban buat masa ini.
Google mendokumenkan ini sebagai cara untuk mengurangkan kadar rangkak Googlebot dengan cepat: pulangkan 500, 503 atau 429 dan bukannya 200 kepada sebahagian permintaan rangkak. Ia menyatakan ini menurunkan kadar rangkak bagi seluruh nama hos, dan Retry-After boleh mengandungi bilangan saat atau tarikh.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Pastikan ia singkat. Google menasihatkan supaya tidak melakukannya lebih daripada satu atau dua hari, kerana URL yang memulangkan kod ini selama beberapa hari mungkin digugurkan daripada indeksnya. Untuk pengurangan berpanjangan, Google menawarkan permintaan khas melalui Search Console.
OpenAI, Anthropic dan Perplexity tidak mendokumenkan cara crawler mereka bertindak balas terhadap 429, 503 atau Retry-After. Kod ini ialah cara standard untuk meminta kurang, tetapi seberapa cepat setiap crawler AI berundur bukan sesuatu yang boleh anda rujuk.
Bagaimanakah saya menetapkan had kadar untuk crawler AI?
Beri setiap crawler bajet sendiri dan bukannya satu had untuk semua trafik, dan balas permintaan yang melebihinya dengan 429. Dalam nginx, modul limit_req melakukannya. Permintaan dengan kunci kosong tidak dikira, jadi map yang memulangkan kunci hanya untuk user agent crawler tidak menyentuh pelawat manusia. Di sini setiap crawler mendapat 60 permintaan seminit dengan burst 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Kuncinya di sini ialah user agent, jadi sesiapa yang meniru nama crawler berkongsi bajet crawler itu. Itu boleh diterima untuk had kadar. Untuk peraturan benarkan, padankan juga julat IP yang diterbitkan vendor.
Di Cloudflare, peraturan had kadar (rate limiting rules) melakukan tugas yang sama di edge. Pada pelan Free anda mendapat satu peraturan, dikira bagi setiap IP dalam tempoh 10 saat, dan ungkapan peraturan boleh menggunakan laluan dan medan Verified Bot. Pengiraan bagi setiap IP agak kasar untuk crawler yang menyebarkan permintaan ke banyak alamat, dan pelan yang lebih tinggi menambah lebih banyak pilihan pengiraan. Respons lalai ialah 429, dan anda boleh menetapkan kod 4xx lain dan badan respons tersuai. AI Crawl Control menawarkan Allow, Block dan, dalam beta tertutup, Charge bagi setiap crawler, tetapi tiada tetapan kadar.
Apa pun yang anda gunakan, kecualikan /robots.txt daripada had. RFC 9309 menyatakan ralat pelayan untuk robots.txt bermakna crawler mesti menganggap seluruh laman dilarang, dan Google mengecualikan 429 daripada kod 4xx yang dianggapnya sebagai fail tiada.
Bolehkah cache mengurangkan beban crawler?
Selalunya lebih daripada had kadar. Crawler kebanyakannya meminta halaman awam yang sama untuk setiap pelawat, jadi menghidangkannya daripada CDN atau cache halaman menukar proses render yang mahal kepada hit yang murah. Pastikan cache anda tidak menyimpan varian berasingan yang tidak di-cache untuk user agent crawler.
Permintaan bersyarat juga membantu. Google menyatakan crawlernya menyokong cache HTTP dengan ETag dan If-None-Match, serta dengan Last-Modified dan If-Modified-Since, dan menggunakan ETag apabila kedua-duanya ada. Halaman crawler OpenAI, Anthropic dan Perplexity tidak menyatakan sama ada crawler mereka menghantar permintaan bersyarat, jadi harapkan penjimatan itu untuk Google sahaja.
Apa yang perlu dielakkan semasa memperlahankan crawler?
- Menyekat julat IP vendor di firewall. Anthropic memberi amaran bahawa ini mungkin tidak berfungsi dengan betul atau mengekalkan penarikan diri, kerana ia menghalang botnya daripada membaca robots.txt anda.
- Menghantar
5xxatau429selama berhari-hari. Google menyatakan URL yang terus memulangkannya mungkin digugurkan daripada indeksnya. - Menggunakan perlindungan bot sebagai pendikit. Bot Fight Mode Cloudflare mengeluarkan cabaran yang mahal dari segi pengiraan kepada bot dan tidak boleh dilangkau dengan peraturan tersuai WAF, jadi anda tidak boleh mengecualikan crawler yang anda mahu kekalkan.
- Melarang crawler carian untuk menjimatkan lebar jalur.
DisallowuntukOAI-SearchBot,Claude-SearchBotatauPerplexityBotmengeluarkan anda daripada jawapan yang dibekalkan crawler itu.
Bagaimanakah saya menyemak bahawa crawler masih dapat masuk?
Had kadar mudah ditetapkan terlalu ketat. Semakan percuma AISeeWhy mengambil halaman sebagai 16 crawler AI dan carian bersebelahan pelayar sebenar, menggunakan robots.txt anda bagi setiap crawler dan mengenali halaman cabaran firewall, jadi peraturan yang membalas crawler secara berbeza daripada pelayar akan kelihatan. Satu permintaan bagi setiap crawler tidak akan mencetuskan had yang munasabah, dan itulah tujuannya: jalankannya selepas menukar peraturan untuk memastikan permintaan biasa masih lulus. Semakan IP crawler AI percuma memberitahu anda sama ada IP daripada log anda benar-benar milik GPTBot atau crawler lain.
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Semakan IP perangkak AI
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Adakah Google menyokong Crawl-delay?
Tidak. Dokumentasi robots.txt Google menyenaraikan crawl-delay antara medan yang tidak disokongnya. Untuk memperlahankan Googlebot seketika, pulangkan 503, 500 atau 429 kepada sebahagian permintaan; untuk pengurangan yang lebih lama, Google menawarkan permintaan khas melalui Search Console.
Adakah ClaudeBot mematuhi Crawl-delay?
Anthropic menyatakan ia menyokong sambungan Crawl-delay yang bukan standard. Letakkannya dalam kumpulan ClaudeBot dan ulang di situ sebarang peraturan Disallow daripada kumpulan User-agent: * anda.
Adakah GPTBot dan PerplexityBot menyokong Crawl-delay?
Halaman crawler OpenAI dan Perplexity tidak menyebut Crawl-delay, jadi kesannya tidak didokumenkan. Gunakan had di sisi pelayan yang membalas permintaan berlebihan dengan 429.
Adakah respons 429 akan menjejaskan kedudukan saya?
Tidak untuk tempoh yang singkat. Google mendokumenkan 429 dan 503 sebagai cara untuk mengurangkan perangkakan buat sementara, tetapi memberi amaran bahawa URL yang memulangkannya selama beberapa hari mungkin digugurkan daripada indeksnya.
Patutkah saya menyekat GPTBot untuk mengurangkan beban?
Boleh. OpenAI menyatakan GPTBot merangkak kandungan yang mungkin digunakan untuk latihan dan setiap tetapan robots.txt adalah bebas, jadi melarangnya tidak mengeluarkan anda daripada carian ChatGPT, yang menggunakan OAI-SearchBot. Semak log anda dahulu untuk memastikan beban itu datang dari alamat OpenAI.
Sumber
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers