Cara memperlahankan crawler AI tanpa menyekatnya

Diterbitkan

Jawapan ringkas

Hadkan kadar, jangan sekat. Balas permintaan crawler yang berlebihan dengan 429 atau 503 dan pengepala Retry-After, beri setiap crawler bajet sendiri, kecualikan /robots.txt daripada setiap had, dan hidangkan halaman kepada crawler daripada cache. Crawl-delay dalam robots.txt hanya membantu jika pengendali mendokumenkannya: Anthropic dan Bing mendokumenkannya, Google menyatakan ia tidak menyokongnya, dan OpenAI serta Perplexity tidak menyebutnya. Kekalkan crawler carian AI dibenarkan, atau anda juga keluar daripada jawapan yang mereka bekalkan.

Apabila crawler menghantar beribu-ribu permintaan sejam, penyelesaian pantasnya ialah Disallow: / atau sekatan firewall. Untuk crawler latihan, itu boleh menjadi pilihan yang wajar. Untuk OAI-SearchBot, Claude-SearchBot atau PerplexityBot, ia mengeluarkan halaman anda daripada jawapan AI yang anda mahu muncul di dalamnya. Selalunya beban boleh dikurangkan tanpa melepaskannya, dengan isyarat yang sudah difahami crawler: kod status, cache dan, bagi sesetengah pengendali, Crawl-delay.

Dalam halaman ini
  1. Crawler mana yang sebenarnya menyebabkan beban?
  2. Adakah Crawl-delay berfungsi untuk crawler AI?
  3. Bagaimanakah respons 429 dan 503 memperlahankan crawler?
  4. Bagaimanakah saya menetapkan had kadar untuk crawler AI?
  5. Bolehkah cache mengurangkan beban crawler?
  6. Apa yang perlu dielakkan semasa memperlahankan crawler?
  7. Bagaimanakah saya menyemak bahawa crawler masih dapat masuk?

Crawler mana yang sebenarnya menyebabkan beban?

Lihat dahulu sebelum mengubah apa-apa. Kira permintaan mengikut user agent dan mengikut jam dalam log akses anda, dan semak IP sumber dengan julat yang diterbitkan setiap vendor; panduan kami tentang menyemak log pelayan untuk crawler AI mempunyai arahannya. Dua penemuan kerap muncul:

Asingkan juga crawler mengikut tugasnya. Crawler latihan seperti GPTBot dan ClaudeBot bukan yang menjadikan anda boleh dipetik dalam carian AI, jadi jika salah satunya puncanya, melarangnya ialah pilihan yang munasabah. Bahagian selebihnya panduan ini adalah untuk crawler yang anda mahu kekalkan.

Adakah Crawl-delay berfungsi untuk crawler AI?

Crawl-delay bukan sebahagian daripada RFC 9309, jadi setiap pengendali memutuskan sama ada hendak membacanya. Inilah yang dinyatakan dokumentasi setakat November 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Perhatikan logik kumpulan. Crawler yang menemui kumpulan dengan namanya sendiri mengabaikan kumpulan User-agent: * sepenuhnya, jadi kumpulan ClaudeBot yang hanya mengandungi Crawl-delay akan menggugurkan setiap Disallow yang anda tetapkan untuk yang lain. Ulanginya, seperti di atas. Bing menerangkan Crawl-delay sebagai pengecualian yang dibacanya daripada mana-mana kumpulan, tetapi jangan anggap begitu bagi crawler lain.

Bagaimanakah respons 429 dan 503 memperlahankan crawler?

Untuk puncak beban, kod status ialah isyarat yang memang direka untuk dipatuhi crawler. 429 Too Many Requests, yang ditakrifkan dalam RFC 6585, bermakna klien menghantar terlalu banyak permintaan dalam tempoh tertentu, dan boleh membawa pengepala Retry-After yang menyatakan berapa lama perlu menunggu. 503 Service Unavailable menyatakan pelayan tidak dapat menampung beban buat masa ini.

Google mendokumenkan ini sebagai cara untuk mengurangkan kadar rangkak Googlebot dengan cepat: pulangkan 500, 503 atau 429 dan bukannya 200 kepada sebahagian permintaan rangkak. Ia menyatakan ini menurunkan kadar rangkak bagi seluruh nama hos, dan Retry-After boleh mengandungi bilangan saat atau tarikh.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Pastikan ia singkat. Google menasihatkan supaya tidak melakukannya lebih daripada satu atau dua hari, kerana URL yang memulangkan kod ini selama beberapa hari mungkin digugurkan daripada indeksnya. Untuk pengurangan berpanjangan, Google menawarkan permintaan khas melalui Search Console.

OpenAI, Anthropic dan Perplexity tidak mendokumenkan cara crawler mereka bertindak balas terhadap 429, 503 atau Retry-After. Kod ini ialah cara standard untuk meminta kurang, tetapi seberapa cepat setiap crawler AI berundur bukan sesuatu yang boleh anda rujuk.

Bagaimanakah saya menetapkan had kadar untuk crawler AI?

Beri setiap crawler bajet sendiri dan bukannya satu had untuk semua trafik, dan balas permintaan yang melebihinya dengan 429. Dalam nginx, modul limit_req melakukannya. Permintaan dengan kunci kosong tidak dikira, jadi map yang memulangkan kunci hanya untuk user agent crawler tidak menyentuh pelawat manusia. Di sini setiap crawler mendapat 60 permintaan seminit dengan burst 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Kuncinya di sini ialah user agent, jadi sesiapa yang meniru nama crawler berkongsi bajet crawler itu. Itu boleh diterima untuk had kadar. Untuk peraturan benarkan, padankan juga julat IP yang diterbitkan vendor.

Di Cloudflare, peraturan had kadar (rate limiting rules) melakukan tugas yang sama di edge. Pada pelan Free anda mendapat satu peraturan, dikira bagi setiap IP dalam tempoh 10 saat, dan ungkapan peraturan boleh menggunakan laluan dan medan Verified Bot. Pengiraan bagi setiap IP agak kasar untuk crawler yang menyebarkan permintaan ke banyak alamat, dan pelan yang lebih tinggi menambah lebih banyak pilihan pengiraan. Respons lalai ialah 429, dan anda boleh menetapkan kod 4xx lain dan badan respons tersuai. AI Crawl Control menawarkan Allow, Block dan, dalam beta tertutup, Charge bagi setiap crawler, tetapi tiada tetapan kadar.

Apa pun yang anda gunakan, kecualikan /robots.txt daripada had. RFC 9309 menyatakan ralat pelayan untuk robots.txt bermakna crawler mesti menganggap seluruh laman dilarang, dan Google mengecualikan 429 daripada kod 4xx yang dianggapnya sebagai fail tiada.

Bolehkah cache mengurangkan beban crawler?

Selalunya lebih daripada had kadar. Crawler kebanyakannya meminta halaman awam yang sama untuk setiap pelawat, jadi menghidangkannya daripada CDN atau cache halaman menukar proses render yang mahal kepada hit yang murah. Pastikan cache anda tidak menyimpan varian berasingan yang tidak di-cache untuk user agent crawler.

Permintaan bersyarat juga membantu. Google menyatakan crawlernya menyokong cache HTTP dengan ETag dan If-None-Match, serta dengan Last-Modified dan If-Modified-Since, dan menggunakan ETag apabila kedua-duanya ada. Halaman crawler OpenAI, Anthropic dan Perplexity tidak menyatakan sama ada crawler mereka menghantar permintaan bersyarat, jadi harapkan penjimatan itu untuk Google sahaja.

Apa yang perlu dielakkan semasa memperlahankan crawler?

Bagaimanakah saya menyemak bahawa crawler masih dapat masuk?

Had kadar mudah ditetapkan terlalu ketat. Semakan percuma AISeeWhy mengambil halaman sebagai 16 crawler AI dan carian bersebelahan pelayar sebenar, menggunakan robots.txt anda bagi setiap crawler dan mengenali halaman cabaran firewall, jadi peraturan yang membalas crawler secara berbeza daripada pelayar akan kelihatan. Satu permintaan bagi setiap crawler tidak akan mencetuskan had yang munasabah, dan itulah tujuannya: jalankannya selepas menukar peraturan untuk memastikan permintaan biasa masih lulus. Semakan IP crawler AI percuma memberitahu anda sama ada IP daripada log anda benar-benar milik GPTBot atau crawler lain.

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Soalan lazim

Adakah Google menyokong Crawl-delay?

Tidak. Dokumentasi robots.txt Google menyenaraikan crawl-delay antara medan yang tidak disokongnya. Untuk memperlahankan Googlebot seketika, pulangkan 503, 500 atau 429 kepada sebahagian permintaan; untuk pengurangan yang lebih lama, Google menawarkan permintaan khas melalui Search Console.

Adakah ClaudeBot mematuhi Crawl-delay?

Anthropic menyatakan ia menyokong sambungan Crawl-delay yang bukan standard. Letakkannya dalam kumpulan ClaudeBot dan ulang di situ sebarang peraturan Disallow daripada kumpulan User-agent: * anda.

Adakah GPTBot dan PerplexityBot menyokong Crawl-delay?

Halaman crawler OpenAI dan Perplexity tidak menyebut Crawl-delay, jadi kesannya tidak didokumenkan. Gunakan had di sisi pelayan yang membalas permintaan berlebihan dengan 429.

Adakah respons 429 akan menjejaskan kedudukan saya?

Tidak untuk tempoh yang singkat. Google mendokumenkan 429 dan 503 sebagai cara untuk mengurangkan perangkakan buat sementara, tetapi memberi amaran bahawa URL yang memulangkannya selama beberapa hari mungkin digugurkan daripada indeksnya.

Patutkah saya menyekat GPTBot untuk mengurangkan beban?

Boleh. OpenAI menyatakan GPTBot merangkak kandungan yang mungkin digunakan untuk latihan dan setiap tetapan robots.txt adalah bebas, jadi melarangnya tidak mengeluarkan anda daripada carian ChatGPT, yang menggunakan OAI-SearchBot. Semak log anda dahulu untuk memastikan beban itu datang dari alamat OpenAI.

Sumber

Artikel lain