Mengapa situs saya tiba-tiba memblokir crawler AI?

Dipublikasikan

Jawaban singkat

Situs yang mulai memblokir crawler AI hampir selalu berubah di salah satu dari lima tempat: robots.txt yang benar-benar disajikan, setelan CDN seperti kebijakan crawler AI Cloudflare, perlindungan bot atau rate limit, default dari penyedia hosting, atau robots.txt yang kini membalas dengan error. Ambil robots.txt hari ini dan sebuah halaman sebagai setiap crawler, bandingkan dengan browser dan dengan kondisi sebelumnya, lalu periksa lapisan-lapisan itu dengan urutan tersebut.

Tidak ada yang sengaja memutuskan untuk hilang dari jawaban AI. Hal itu terjadi sebagai efek samping pembaruan tema, setelan keamanan, migrasi, atau default yang berubah di penyedia layanan. Browser tetap melihat situs seperti biasa, jadi perubahan bisa tidak disadari sampai seseorang bertanya kepada ChatGPT atau Perplexity tentang produk itu dan malah mendapat pesaing. Setiap lapisan meninggalkan jejak yang bisa Anda periksa dari luar atau di log Anda.

Di halaman ini
  1. Apakah robots.txt yang diterima crawler berubah?
  2. Apakah kebijakan crawler AI Cloudflare 2026 mengubah apa yang diizinkan situs saya?
  3. Apakah perlindungan bot atau rate limit menjaring crawler?
  4. Apakah penyedia hosting saya mengubah default-nya?
  5. Apakah robots.txt membalas dengan error?
  6. Bagaimana cara mengetahui kapan ini dimulai?
  7. Bagaimana cara mendeteksinya lebih cepat lain kali?

Apakah robots.txt yang diterima crawler berubah?

Ambil https://yourdomain.com/robots.txt dan bandingkan dengan file di repositori atau cadangan Anda. Lihat file yang disajikan, bukan file di disk, karena beberapa lapisan bisa mengubahnya di tengah jalan:

Laporan robots.txt di Google Search Console menampilkan versi yang diambil Google dalam 30 hari terakhir, dengan entri baru setiap kali file atau hasil pengambilannya berubah. Laporan ini hanya mencakup apa yang dilihat Google, tetapi kecuali server Anda membedakan robots.txt berdasarkan user agent, crawler AI menerima file yang sama.

Apakah kebijakan crawler AI Cloudflare 2026 mengubah apa yang diizinkan situs saya?

Cloudflare telah beberapa kali mengubah kontrol crawler AI-nya, dan sebagian perubahan mengubah perilaku zona tanpa ada yang mengeditnya. Pada 1 Juli 2025, Cloudflare mulai menanyakan kepada domain baru saat pendaftaran apakah akan mengizinkan crawler AI, dengan pemblokiran sebagai kondisi awal. Pada 1 Juli 2026, Cloudflare mengganti satu sakelar Block AI bots dengan kebijakan Search, Agent, dan Training yang terpisah, untuk semua paket termasuk Free.

Detail yang paling sering menjebak situs adalah crawler dengan tujuan campuran. Dokumentasi Cloudflare menyatakan tindakan Training juga berlaku untuk crawler yang dipakai untuk pencarian sekaligus pelatihan. Pengumuman Juli 2026-nya menyatakan bahwa mulai 15 September 2026, crawler multifungsi seperti Googlebot, Applebot, dan BingBot akan diblokir bagi pelanggan yang memilih memblokir Training, baik lewat opsi baru maupun setelan lama Block AI bots. Jadi opt-out pelatihan yang disetel setahun lalu kini bisa mengenai crawler pencarian.

Default untuk domain baru dijelaskan secara berbeda dari waktu ke waktu. Pengumuman yang sama menyatakan domain baru akan memblokir Training dan Agent di halaman yang menampilkan iklan mulai 15 September 2026, sedangkan dokumentasi kebijakan yang diperbarui pada 2 November 2026 menyatakan domain baru dimulai dengan ketiganya di Allow. Buka Security, lalu Settings, filter berdasarkan Bot traffic, dan baca AI Crawler and Agent access policies untuk zona Anda sendiri. Panduan kami tentang Cloudflare AI Crawl Control menjelaskan setiap setelan.

Apakah perlindungan bot atau rate limit menjaring crawler?

Perlindungan bot menilai setiap permintaan, dan crawler mengambil banyak halaman dengan cepat dari pusat data, persis seperti yang dilakukan bot. Crawler yang lolos bulan lalu bisa mulai menerima halaman tantangan setelah operatornya mengganti rentang IP atau kecepatan crawling, atau setelah aturan perlindungan diperbarui. Bot Fight Mode dari Cloudflare adalah penyebab yang umum, dan Cloudflare menyatakan fitur ini tidak bisa dilewati atau dikecualikan dengan WAF custom rules atau Page Rules, jadi aturan izin yang ditambahkan belakangan tidak akan membantu selama fitur itu aktif. Rate limit baru yang membalas lonjakan dengan 429 berdampak sama pada crawler yang sibuk.

Uji dari luar: minta halaman sebagai browser dan sebagai dua crawler pencarian AI, lalu minta robots.txt sebagai crawler.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

403, 429, atau 503 hanya untuk crawler, halaman berjudul Just a moment..., atau body yang jauh lebih kecil daripada milik browser berarti crawler diperlakukan berbeda. Tes ini berasal dari IP Anda, bukan IP vendor, jadi aturan yang berbasis status verified bot masih bisa memperlakukan crawler asli secara berbeda. Log event firewall menunjukkan aturan mana yang menjawab.

Apakah penyedia hosting saya mengubah default-nya?

Sebagian host menyaring trafik AI di server, sebelum aturan Anda sendiri berjalan. SiteGround, misalnya, menulis pada Agustus 2025 bahwa secara default mereka memblokir crawler AI yang dirancang untuk mengumpulkan data pelatihan dan mengizinkan crawler yang berkunjung saat seseorang bertanya kepada asisten AI tentang sebuah halaman. Aturan seperti ini tidak terlihat di robots.txt Anda, dan bisa berubah saat host memperbarui daftar bot-nya.

Jika blokir muncul serentak di beberapa situs pada host yang sama, atau pada respons yang tidak pernah sampai ke log aplikasi Anda, tanyakan kepada host aturan bot mana yang berlaku untuk akun Anda dan apakah Anda bisa mengecualikan crawler yang ingin Anda pertahankan.

Apakah robots.txt membalas dengan error?

robots.txt yang gagal bisa memblokir lebih banyak daripada baris Disallow mana pun. Menurut RFC 9309, respons 4xx berarti crawler boleh mengambil semuanya, tetapi error server (5xx) atau tidak ada jawaban sama sekali berarti crawler harus menganggap seluruh situs dilarang. Google menghentikan crawling selama 12 jam pertama error seperti itu, lalu memakai salinan baik terakhirnya hingga 30 hari.

Begitulah lonjakan beban, aturan firewall yang memberi tantangan pada /robots.txt, atau rate limit yang ikut mencakupnya bisa mengunci crawler yang berperilaku baik tanpa satu aturan pun berubah. Perintah terakhir dalam tes di atas seharusnya mengembalikan 200 dan text/plain. 5xx, timeout, atau halaman tantangan di sana adalah hal pertama yang perlu diperbaiki.

Bagaimana cara mengetahui kapan ini dimulai?

Tanggal mengubah misteri menjadi perbandingan. Di log akses Anda, filter permintaan dari user agent crawler AI dan cari hari ketika kode statusnya berubah dari 200 ke 403, 429, atau 503, atau hari ketika crawler berhenti meminta halaman setelah membaca robots.txt; panduan kami tentang memeriksa log server untuk crawler AI berisi perintahnya. Permintaan yang diblokir CDN tidak pernah sampai ke server origin, jadi periksa CDN juga. Di Cloudflare, AI Crawl Control menampilkan distribusi kode status dari waktu ke waktu yang bisa Anda filter per crawler.

Lalu cocokkan tanggal itu dengan deploy, pembaruan plugin dan tema, perubahan setelan CDN, dan pengumuman penyedia layanan. Sebelum bertindak, pastikan IP sumbernya milik vendor, agar Anda melihat crawler asli, bukan peniru yang memakai namanya.

Bagaimana cara mendeteksinya lebih cepat lain kali?

Periksa akses setelah setiap deploy, perubahan CDN, dan pembaruan plugin, bukan hanya saat trafik turun. Pemeriksaan gratis AISeeWhy mengambil halaman sebagai 16 crawler AI dan crawler pencarian, berdampingan dengan browser sungguhan, menerapkan robots.txt Anda per crawler, dan mengenali halaman tantangan firewall. Pemeriksa robots.txt gratis menunjukkan, per crawler, apakah sebuah halaman boleh diambil berdasarkan file yang aktif hari ini.

Alat gratis

Langkah berikutnya

Crawler dalam artikel ini

Pertanyaan yang sering diajukan

Mengapa ChatGPT berhenti menampilkan situs saya?

Sering kali karena OAI-SearchBot, crawler di balik pencarian ChatGPT, terblokir oleh perubahan robots.txt, kebijakan CDN, atau perlindungan bot. OpenAI menyatakan situs yang memblokirnya tidak akan muncul di jawaban pencarian ChatGPT. Periksa setiap lapisan untuk crawler itu, dan beri waktu sekitar 24 jam setelah memperbaiki robots.txt, yaitu waktu yang menurut OpenAI dibutuhkan sistemnya untuk menyesuaikan diri.

Apakah Cloudflare mulai memblokir Googlebot di situs saya?

Bisa saja. Cloudflare menyatakan bahwa mulai 15 September 2026 pelanggan yang memblokir Training juga memblokir crawler multifungsi seperti Googlebot, Applebot, dan BingBot. Dokumentasinya menyatakan opsi Training Disallow memblokir crawler pelatihan di edge tetapi tidak mencakup crawler dengan penggunaan campuran, jadi periksa opsi mana yang dipakai zona Anda.

Bisakah site builder atau plugin mengubah robots.txt tanpa saya sadari?

Bisa. Site builder serta plugin SEO atau keamanan bisa menulis aturan crawler AI ke robots.txt, dan sebagian memperluas daftar bot-nya dari waktu ke waktu. Setelah setiap pembaruan, ambil file yang aktif dan baca grup yang berlaku untuk crawler pencarian yang penting bagi Anda.

Mengapa robots.txt yang aktif berbeda dari file di server saya?

Ada sesuatu di depan server Anda yang mengubahnya. Robots.txt terkelola dari Cloudflare, misalnya, menambahkan aturan dan content signal miliknya di awal file Anda dalam respons yang sama. CMS yang membuat robots.txt saat diminta, atau setelan di tingkat host, juga bisa mengganti atau memperluasnya.

Berapa lama sampai crawler AI kembali setelah saya memperbaikinya?

RFC 9309 menyatakan crawler sebaiknya tidak memakai robots.txt dari cache lebih dari 24 jam, OpenAI menyebut sekitar 24 jam, dan Perplexity hingga 24 jam. Perubahan firewall berlaku segera setelah penyedia Anda menerapkannya, tetapi crawler kembali sesuai jadwalnya sendiri.

Sumber

Artikel lainnya