Mengapa laman saya tiba-tiba menyekat crawler AI?
Laman yang mula menyekat crawler AI hampir selalu telah berubah di salah satu daripada lima tempat: robots.txt yang benar-benar dihantar, tetapan CDN seperti dasar crawler AI Cloudflare, perlindungan bot atau had kadar, tetapan lalai hos, atau robots.txt yang kini membalas dengan ralat. Ambil robots.txt hari ini dan satu halaman sebagai setiap crawler, bandingkan dengan pelayar dan dengan apa yang anda ada sebelum ini, dan semak lapisan itu mengikut urutan tersebut.
Tiada siapa yang memutuskan untuk hilang daripada jawapan AI. Ia berlaku sebagai kesan sampingan kemas kini tema, tetapan keselamatan, migrasi atau tetapan lalai yang berubah di pihak penyedia. Pelayar masih melihat laman seperti biasa, jadi perubahan itu boleh tidak disedari sehingga seseorang bertanya ChatGPT atau Perplexity tentang produk itu dan mendapat nama pesaing. Setiap lapisan meninggalkan kesan yang boleh anda semak dari luar atau dalam log anda.
Dalam halaman ini
- Adakah robots.txt yang diterima crawler telah berubah?
- Adakah dasar crawler AI Cloudflare 2026 mengubah apa yang dibenarkan laman saya?
- Adakah perlindungan bot atau had kadar menangkap crawler?
- Adakah penyedia hosting saya menukar tetapan lalainya?
- Adakah robots.txt membalas dengan ralat?
- Bagaimanakah saya mengetahui bila ia bermula?
- Bagaimanakah saya mengesannya lebih awal pada masa akan datang?
Adakah robots.txt yang diterima crawler telah berubah?
Ambil https://yourdomain.com/robots.txt dan bandingkan dengan fail dalam repositori atau sandaran anda. Lihat fail yang dihantar, bukan yang ada dalam cakera, kerana beberapa lapisan boleh mengubahnya dalam perjalanan:
- Satu deploy menghantar robots.txt staging dengan
Disallow: /, atau migrasi meninggalkan tetapan lalai platform. - Tetapan pembina laman menambah peraturan untuk crawler AI. Squarespace, contohnya, mempunyai pilihan Block known artificial intelligence crawlers yang menulis 26 nama bot ke dalam robots.txt dan menyatakan lebih banyak mungkin ditambah dari semasa ke semasa. Pilihan itu dimatikan secara lalai, jadi seseorang perlu menghidupkannya, tetapi senarainya boleh bertambah selepas itu.
- Kemas kini pemalam SEO atau keselamatan menulis peraturan baharu, atau menambah pilihan baharu yang dihidupkan seseorang.
- Cloudflare meletakkan robots.txt terurusnya di hadapan fail anda apabila Bot Preference Sync dihidupkan dan dasar AI ditetapkan kepada Block atau Disallow. Fail yang dihantar kemudian bermula dengan
Disallow: /untukClaudeBot,GPTBotdan enam token latihan lain, walaupun fail anda sendiri tidak berubah. - Peraturan yang dimaksudkan untuk crawler latihan disalin kepada crawler lain, termasuk crawler carian seperti
OAI-SearchBot,Claude-SearchBotatauPerplexityBot.
Laporan robots.txt dalam Google Search Console menunjukkan versi yang diambil Google dalam 30 hari lepas, dengan entri baharu setiap kali fail atau hasil pengambilan berubah. Ia hanya meliputi apa yang dilihat Google, tetapi melainkan pelayan anda mengubah robots.txt mengikut user agent, crawler AI menerima fail yang sama.
Adakah dasar crawler AI Cloudflare 2026 mengubah apa yang dibenarkan laman saya?
Cloudflare telah mengubah kawalan crawler AInya beberapa kali, dan sesetengah perubahan mengubah tingkah laku zon tanpa sesiapa menyuntingnya. Pada 1 Julai 2025 ia mula bertanya kepada domain baharu semasa pendaftaran sama ada hendak membenarkan crawler AI, dengan sekatan sebagai keadaan permulaan. Pada 1 Julai 2026 ia menggantikan suis tunggal Block AI bots dengan dasar Search, Agent dan Training yang berasingan, untuk semua pelan termasuk Free.
Butiran yang paling kerap mengejutkan laman ialah crawler pelbagai guna. Dokumentasi Cloudflare menyatakan tindakan Training juga terpakai kepada crawler yang digunakan untuk carian dan latihan sekali gus. Pengumuman Julai 2026nya menyatakan bahawa mulai 15 September 2026, crawler pelbagai guna seperti Googlebot, Applebot dan BingBot akan disekat bagi pelanggan yang memilih untuk menyekat Training, sama ada melalui pilihan baharu atau tetapan lama Block AI bots. Jadi penarikan diri daripada latihan yang ditetapkan setahun lalu kini boleh sampai kepada crawler carian.
Tetapan lalai untuk domain baharu telah diterangkan secara berbeza dari semasa ke semasa. Pengumuman yang sama menyatakan domain baharu akan menyekat Training dan Agent pada halaman yang memaparkan iklan mulai 15 September 2026, manakala dokumentasi dasar yang dikemas kini pada 2 November 2026 menyatakan domain baharu bermula dengan ketiga-tiganya pada Allow. Buka Security, kemudian Settings, tapis mengikut Bot traffic dan baca AI Crawler and Agent access policies untuk zon anda sendiri. Panduan kami tentang Cloudflare AI Crawl Control menerangkan setiap tetapan.
Adakah perlindungan bot atau had kadar menangkap crawler?
Perlindungan bot menilai setiap permintaan, dan crawler mengambil banyak halaman dengan pantas dari pusat data, iaitu tingkah laku bot. Crawler yang dapat masuk bulan lalu boleh mula menerima halaman cabaran selepas pengendalinya menukar julat IP atau kadar rangkak, atau selepas peraturan perlindungan dikemas kini. Bot Fight Mode Cloudflare ialah punca yang biasa, dan Cloudflare menyatakan ia tidak boleh dipintas atau dilangkau dengan peraturan tersuai WAF atau Page Rules, jadi peraturan benarkan yang ditambah kemudian tidak akan membantu selagi ia dihidupkan. Had kadar baharu yang membalas lonjakan dengan 429 memberi kesan yang sama pada crawler yang sibuk.
Uji dari luar: minta satu halaman sebagai pelayar dan sebagai dua crawler carian AI, kemudian minta robots.txt sebagai crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 atau 503 untuk crawler sahaja, halaman bertajuk Just a moment..., atau badan respons yang jauh lebih kecil daripada pelayar bermakna crawler itu dilayan secara berbeza. Ujian ini datang dari IP anda, bukan IP vendor, jadi peraturan berdasarkan status bot disahkan masih boleh melayan crawler sebenar secara berbeza. Log peristiwa firewall menunjukkan peraturan mana yang membalas.
Adakah penyedia hosting saya menukar tetapan lalainya?
Sesetengah hos menapis trafik AI di pelayan, sebelum peraturan anda sendiri berjalan. SiteGround, contohnya, menulis pada Ogos 2025 bahawa ia menyekat secara lalai crawler AI yang direka untuk mengumpul data latihan dan membenarkan crawler yang melawat apabila seseorang bertanya pembantu AI tentang sesuatu halaman. Peraturan seperti ini tidak muncul dalam robots.txt anda, dan boleh berubah apabila hos mengemas kini senarai botnya.
Jika sekatan muncul pada beberapa laman dengan hos yang sama serentak, atau dalam respons yang tidak pernah sampai ke log aplikasi anda, tanya hos peraturan bot mana yang terpakai kepada akaun anda dan sama ada anda boleh mengecualikan crawler yang anda mahu kekalkan.
Adakah robots.txt membalas dengan ralat?
robots.txt yang gagal boleh menyekat lebih banyak daripada mana-mana baris Disallow. Di bawah RFC 9309, respons 4xx bermakna crawler boleh mengambil semuanya, tetapi ralat pelayan (5xx) atau tiada jawapan langsung bermakna ia mesti menganggap seluruh laman dilarang. Google berhenti merangkak untuk 12 jam pertama ralat sedemikian dan kemudian menggunakan salinan baik terakhirnya sehingga 30 hari.
Begitulah lonjakan beban, peraturan firewall yang mencabar /robots.txt, atau had kadar yang turut meliputinya boleh menghalang crawler yang patuh tanpa satu peraturan pun berubah. Arahan terakhir dalam ujian di atas sepatutnya memulangkan 200 dan text/plain. 5xx, tamat masa atau halaman cabaran di situ ialah perkara pertama yang perlu dibetulkan.
Bagaimanakah saya mengetahui bila ia bermula?
Sebaik sahaja ada tarikh, misteri menjadi perbandingan sebelum dan selepas. Dalam log akses anda, tapis permintaan daripada user agent crawler AI dan cari hari kod status mereka bertukar daripada 200 kepada 403, 429 atau 503, atau hari mereka berhenti meminta halaman selepas membaca robots.txt; panduan kami tentang menyemak log pelayan untuk crawler AI mempunyai arahannya. Permintaan yang disekat CDN anda tidak pernah sampai ke origin, jadi semak CDN juga. Di Cloudflare, AI Crawl Control menunjukkan taburan kod status dari semasa ke semasa yang boleh anda tapis mengikut crawler.
Kemudian padankan tarikh itu dengan deploy, kemas kini pemalam dan tema, perubahan tetapan CDN dan pengumuman penyedia. Sebelum bertindak, pastikan IP sumber milik vendor, supaya anda melihat crawler sebenar dan bukan penyamar yang menggunakan namanya.
Bagaimanakah saya mengesannya lebih awal pada masa akan datang?
Semak akses selepas setiap deploy, perubahan CDN dan kemas kini pemalam, bukan hanya apabila trafik menurun. Semakan percuma AISeeWhy mengambil halaman sebagai 16 crawler AI dan carian bersebelahan pelayar sebenar, menggunakan robots.txt anda bagi setiap crawler dan mengenali halaman cabaran firewall. Penyemak robots.txt percuma menunjukkan, bagi setiap crawler, sama ada halaman boleh diambil di bawah fail yang aktif hari ini.
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Semakan IP perangkak AI
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Mengapa ChatGPT berhenti memaparkan laman saya?
Selalunya kerana OAI-SearchBot, crawler di sebalik carian ChatGPT, telah disekat oleh perubahan robots.txt, dasar CDN atau perlindungan bot. OpenAI menyatakan laman yang menyekatnya tidak akan muncul dalam jawapan carian ChatGPT. Semak setiap lapisan untuk crawler itu, dan beri kira-kira 24 jam selepas membetulkan robots.txt, iaitu tempoh yang menurut OpenAI diperlukan sistemnya untuk menyesuaikan diri.
Adakah Cloudflare mula menyekat Googlebot di laman saya?
Ia boleh berlaku. Cloudflare menyatakan bahawa mulai 15 September 2026 pelanggan yang menyekat Training turut menyekat crawler pelbagai guna seperti Googlebot, Applebot dan BingBot. Dokumentasinya menyatakan pilihan Training Disallow menyekat crawler latihan di edge tetapi tidak meliputi crawler pelbagai guna, jadi semak pilihan mana yang digunakan zon anda.
Bolehkah pembina laman web atau pemalam mengubah robots.txt untuk saya?
Boleh. Pembina laman serta pemalam SEO atau keselamatan boleh menulis peraturan crawler AI ke dalam robots.txt, dan sesetengahnya memanjangkan senarai bot dari semasa ke semasa. Selepas setiap kemas kini, ambil fail yang aktif dan baca kumpulan yang terpakai kepada crawler carian yang penting bagi anda.
Mengapa robots.txt aktif saya berbeza daripada fail di pelayan saya?
Sesuatu di hadapan pelayan anda sedang mengubahnya. Robots.txt terurus Cloudflare, contohnya, meletakkan peraturan dan isyarat kandungannya sendiri di hadapan fail anda dalam respons yang sama. CMS yang menjana robots.txt atas permintaan, atau tetapan di peringkat hos, juga boleh menggantikan atau melanjutkannya.
Berapa lama sebelum crawler AI kembali selepas saya membetulkannya?
RFC 9309 menyatakan crawler tidak patut menggunakan robots.txt dalam cache lebih daripada 24 jam, OpenAI menyatakan kira-kira 24 jam dan Perplexity sehingga 24 jam. Perubahan firewall berkuat kuasa sebaik sahaja penyedia anda melaksanakannya, tetapi crawler kembali mengikut jadual mereka sendiri.
Sumber
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers