Cara memperlambat crawler AI tanpa memblokirnya
Batasi kecepatan, jangan blokir. Balas permintaan crawler yang berlebihan dengan 429 atau 503 dan header Retry-After, beri setiap crawler kuotanya sendiri, keluarkan /robots.txt dari semua batasan, dan sajikan halaman untuk crawler dari cache. Crawl-delay di robots.txt hanya membantu jika operatornya mendokumentasikannya: Anthropic dan Bing mendokumentasikannya, Google menyatakan tidak mendukungnya, dan OpenAI serta Perplexity tidak menyebutnya. Tetap izinkan crawler pencarian AI, karena jika tidak, Anda juga keluar dari jawaban yang mereka isi.
Saat sebuah crawler mengirim ribuan permintaan per jam, solusi cepatnya adalah Disallow: / atau blokir firewall. Untuk crawler pelatihan, itu bisa menjadi pilihan yang wajar. Untuk OAI-SearchBot, Claude-SearchBot, atau PerplexityBot, langkah itu menghapus halaman Anda dari jawaban AI yang ingin Anda masuki. Dalam kebanyakan kasus, beban bisa dikurangi tanpa mengorbankan hal itu, dengan sinyal yang sudah dipahami crawler: kode status, caching, dan, untuk sebagian operator, Crawl-delay.
Di halaman ini
- Crawler mana yang sebenarnya menyebabkan beban?
- Apakah Crawl-delay berfungsi untuk crawler AI?
- Bagaimana respons 429 dan 503 memperlambat crawler?
- Bagaimana cara menetapkan rate limit untuk crawler AI?
- Bisakah caching mengurangi beban crawler?
- Apa yang harus dihindari saat memperlambat crawler?
- Bagaimana cara memastikan crawler tetap bisa lolos?
Crawler mana yang sebenarnya menyebabkan beban?
Lihat dulu sebelum mengubah apa pun. Hitung permintaan per user agent dan per jam di log akses Anda, dan periksa IP sumber terhadap rentang yang dipublikasikan setiap vendor; panduan kami tentang memeriksa log server untuk crawler AI berisi perintahnya. Dua temuan ini sering muncul:
- Trafik berat itu hanya mengaku sebagai crawler AI. Jika IP-nya tidak ada di daftar vendor, aturan untuk crawler asli tidak akan membantu. Batasi atau blokir trafik itu berdasarkan asalnya.
- Crawler asli terjebak dalam crawl trap, seperti halaman kalender tanpa akhir, kombinasi filter, atau ID sesi di URL. Menutup jebakan itu dengan aturan
Disallowuntuk path tersebut menghemat lebih banyak daripada rate limit apa pun.
Kelompokkan juga crawler berdasarkan tugasnya. Crawler pelatihan seperti GPTBot dan ClaudeBot bukan yang membuat Anda bisa dikutip di pencarian AI, jadi jika salah satunya menjadi masalah, melarangnya adalah pilihan yang masuk akal. Sisa panduan ini untuk crawler yang ingin Anda pertahankan.
Apakah Crawl-delay berfungsi untuk crawler AI?
Crawl-delay bukan bagian dari RFC 9309, jadi setiap operator memutuskan sendiri apakah akan membacanya. Inilah isi dokumentasinya per November 2026:
- Anthropic: didukung. Halaman bantuannya menyatakan mendukung ekstensi non-standar
Crawl-delayuntuk membatasi aktivitas crawling, denganCrawl-delay: 1di grupClaudeBotsebagai contoh. - Microsoft Bing: didukung. Blog webmaster Bing menjelaskan nilainya sebagai jendela waktu 1 hingga 30 detik di mana
bingbotmeng-crawl paling banyak satu halaman, dan menyatakan crawl delay di robots.txt mengesampingkan setelan crawl di Bing Webmaster Tools. - Google: tidak didukung. Dokumentasi robots.txt Google menyebut
crawl-delaysebagai field yang tidak didukungnya. - OpenAI dan Perplexity: halaman crawler mereka tidak menyebutnya, jadi efeknya pada
GPTBot,OAI-SearchBot, atauPerplexityBottidak terdokumentasi.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Perhatikan logika grup. Crawler yang menemukan grup dengan namanya sendiri sepenuhnya mengabaikan grup User-agent: *, jadi grup ClaudeBot yang hanya berisi Crawl-delay akan menghapus setiap Disallow yang Anda tetapkan untuk yang lain. Ulangi aturan itu, seperti di atas. Bing menjelaskan Crawl-delay sebagai pengecualian yang dibacanya dari grup mana pun, tetapi jangan berasumsi hal yang sama untuk crawler lain.
Bagaimana respons 429 dan 503 memperlambat crawler?
Untuk lonjakan beban, kode status adalah sinyal yang memang dirancang untuk dipatuhi crawler. 429 Too Many Requests, yang didefinisikan di RFC 6585, berarti klien mengirim terlalu banyak permintaan dalam waktu tertentu, dan bisa membawa header Retry-After yang menyatakan berapa lama harus menunggu. 503 Service Unavailable menyatakan server sedang tidak sanggup melayani.
Google mendokumentasikan ini sebagai cara cepat mengurangi kecepatan crawl Googlebot: kembalikan 500, 503, atau 429 alih-alih 200 untuk sebagian permintaan crawl. Google menyatakan cara ini menurunkan kecepatan crawl untuk seluruh hostname, dan Retry-After bisa berisi jumlah detik atau tanggal.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Lakukan sebentar saja. Google tidak menyarankan melakukannya lebih dari satu atau dua hari, karena URL yang mengembalikan kode ini selama beberapa hari bisa dihapus dari indeksnya. Untuk pengurangan jangka panjang, Google menyediakan permintaan khusus lewat Search Console.
OpenAI, Anthropic, dan Perplexity tidak mendokumentasikan bagaimana crawler mereka bereaksi terhadap 429, 503, atau Retry-After. Kode-kode ini adalah cara standar untuk meminta pengurangan, tetapi seberapa cepat setiap crawler AI mundur bukan sesuatu yang bisa Anda cari di dokumentasi.
Bagaimana cara menetapkan rate limit untuk crawler AI?
Beri setiap crawler kuotanya sendiri, bukan satu batas untuk semua trafik, dan balas permintaan yang melebihinya dengan 429. Di nginx, modul limit_req melakukan hal ini. Permintaan dengan key kosong tidak dihitung, jadi map yang hanya mengembalikan key untuk user agent crawler tidak mengganggu pengunjung manusia. Di sini setiap crawler mendapat 60 permintaan per menit dengan burst 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Key di sini adalah user agent, jadi siapa pun yang menyalin nama crawler ikut berbagi kuota crawler itu. Untuk rate limit, hal itu masih bisa diterima. Untuk aturan izin, cocokkan juga rentang IP yang dipublikasikan vendor.
Di Cloudflare, rate limiting rules melakukan tugas yang sama di edge. Di paket Free Anda mendapat satu aturan, dihitung per IP selama 10 detik, dan ekspresi aturannya bisa memakai path dan field Verified Bot. Penghitungan per IP kurang tepat untuk crawler yang menyebar permintaan ke banyak alamat, dan paket yang lebih tinggi menambahkan opsi penghitungan lain. Respons default-nya 429, dan Anda bisa menetapkan kode 4xx lain serta body kustom. AI Crawl Control menawarkan Allow, Block, dan, dalam private beta, Charge untuk setiap crawler, tetapi tidak ada setelan kecepatan.
Apa pun yang Anda pakai, keluarkan /robots.txt dari batasan. RFC 9309 menyatakan error server untuk robots.txt berarti crawler harus menganggap seluruh situs dilarang, dan Google mengecualikan 429 dari kode 4xx yang dianggapnya sebagai file yang tidak ada.
Bisakah caching mengurangi beban crawler?
Sering kali lebih efektif daripada rate limit. Crawler kebanyakan meminta halaman publik yang sama untuk setiap pengunjung, jadi menyajikannya dari CDN atau page cache mengubah render yang mahal menjadi cache hit yang murah. Pastikan cache Anda tidak menyimpan varian terpisah yang tidak di-cache untuk user agent crawler.
Permintaan bersyarat juga membantu. Google menyatakan crawler-nya mendukung HTTP caching dengan ETag dan If-None-Match, serta dengan Last-Modified dan If-Modified-Since, dan memakai ETag jika keduanya ada. Halaman crawler OpenAI, Anthropic, dan Perplexity tidak menyebut apakah crawler mereka mengirim permintaan bersyarat, jadi andalkan penghematan itu hanya untuk Google.
Apa yang harus dihindari saat memperlambat crawler?
- Memblokir rentang IP vendor di firewall. Anthropic memperingatkan bahwa cara ini mungkin tidak berfungsi dengan benar atau tidak mempertahankan opt-out, karena menghentikan bot-botnya membaca robots.txt Anda.
- Menyajikan
5xxatau429selama berhari-hari. Google menyatakan URL yang terus mengembalikannya bisa dihapus dari indeksnya. - Memakai perlindungan bot sebagai pembatas kecepatan. Bot Fight Mode dari Cloudflare memberikan tantangan yang berat secara komputasi kepada bot dan tidak bisa dilewati dengan WAF custom rules, jadi Anda tidak bisa mengecualikan crawler yang ingin Anda pertahankan.
- Melarang crawler pencarian untuk menghemat bandwidth.
DisallowuntukOAI-SearchBot,Claude-SearchBot, atauPerplexityBotmengeluarkan Anda dari jawaban yang diisi crawler tersebut.
Bagaimana cara memastikan crawler tetap bisa lolos?
Rate limit mudah disetel terlalu ketat. Pemeriksaan gratis AISeeWhy mengambil halaman sebagai 16 crawler AI dan crawler pencarian, berdampingan dengan browser sungguhan, menerapkan robots.txt Anda per crawler, dan mengenali halaman tantangan firewall, sehingga aturan yang membalas crawler secara berbeda dari browser akan terlihat. Satu permintaan per crawler tidak akan memicu batas yang wajar, dan memang itu tujuannya: jalankan pemeriksaan setelah mengubah aturan untuk memastikan permintaan normal masih lolos. Pemeriksaan IP crawler AI gratis memberi tahu apakah sebuah IP dari log Anda benar-benar milik GPTBot atau crawler lain.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa IP crawler AI
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Apakah Google mendukung Crawl-delay?
Tidak. Dokumentasi robots.txt Google mencantumkan crawl-delay di antara field yang tidak didukungnya. Untuk memperlambat Googlebot sebentar, kembalikan 503, 500, atau 429 untuk sebagian permintaan; untuk pengurangan jangka panjang, Google menyediakan permintaan khusus lewat Search Console.
Apakah ClaudeBot mematuhi Crawl-delay?
Anthropic menyatakan mendukung ekstensi non-standar Crawl-delay. Letakkan di grup ClaudeBot dan ulangi di sana semua aturan Disallow dari grup User-agent: * Anda.
Apakah GPTBot dan PerplexityBot mendukung Crawl-delay?
Halaman crawler OpenAI dan Perplexity tidak menyebut Crawl-delay, jadi efeknya tidak terdokumentasi. Gunakan batas di sisi server yang membalas permintaan berlebih dengan 429.
Apakah respons 429 akan merusak peringkat saya?
Tidak untuk periode singkat. Google mendokumentasikan 429 dan 503 sebagai cara mengurangi crawling sementara, tetapi memperingatkan bahwa URL yang mengembalikannya selama beberapa hari bisa dihapus dari indeksnya.
Haruskah saya memblokir GPTBot untuk mengurangi beban?
Bisa. OpenAI menyatakan GPTBot meng-crawl konten yang mungkin dipakai untuk pelatihan dan setiap setelan robots.txt berdiri sendiri, jadi melarangnya tidak mengeluarkan Anda dari pencarian ChatGPT, yang memakai OAI-SearchBot. Periksa log Anda dulu untuk memastikan bebannya berasal dari alamat OpenAI.
Sumber
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers