Cara menyemak sama ada laman web menyekat crawler AI

Tampal mana-mana alamat dan lihat sama ada ia menyekat GPTBot, ClaudeBot, PerplexityBot dan crawler AI yang lain: dalam robots.txt, dalam firewall, atau kedua-duanya.

Percuma · Tanpa daftar · Keputusan dalam 30 saat

Crawler mana yang disekat

Crawler latihan, carian dan pengguna dipaparkan secara berasingan, kerana menyekat GPTBot tidak menyekat OAI-SearchBot, dan menyekat ClaudeBot tidak menyekat Claude-SearchBot.

Baris yang menentukan

Bagi setiap crawler, robots.txt dibaca mengikut peraturan RFC 9309: kumpulan yang menamakannya, atau User-agent: * sebagai sandaran, dan peraturan yang menang.

Penolakan firewall

Halaman diminta sebagai 14 crawler dan sebagai pelayar biasa. Sekatan dan halaman cabaran ditandakan dan firewall yang membalas dinamakan.

Pembetulan untuk setiap dapatan

Setiap dapatan disertakan perubahan yang perlu dibuat. Semakan percuma menunjukkan skor anda dan dapatan pertama; laporan penuh berharga $29, sekali bayar.

Jawapan ringkas

Laman boleh menyekat crawler AI di dua tempat: robots.txt, yang meminta crawler menjauh, dan pelayan atau firewall, yang benar-benar menolaknya. Baca robots.txt untuk token setiap crawler, dengan kumpulan User-agent: * sebagai sandaran, kemudian ambil halaman sebagai crawler itu dan bandingkan dengan pelayar. Sambungan pelayar melakukan bahagian robots.txt untuk 16 crawler AI dengan satu klik.

Semak sendiri dalam 3 langkah

  1. Pilih crawler

    Setiap syarikat AI menjalankan crawler yang berasingan. Latihan: GPTBot, ClaudeBot. Carian: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Atas permintaan seseorang: ChatGPT-User, Claude-User, Perplexity-User.

  2. Baca robots.txt untuknya

    Buka https://example.com/robots.txt dan cari kumpulan yang menamakan crawler itu. Jika tiada kumpulan berbuat demikian, kumpulan User-agent: * terpakai; jika kedua-duanya tiada, semuanya dibenarkan.

  3. Ambil halaman sebagai crawler

    Minta halaman dengan user agent crawler itu dan bandingkan status serta saiznya dengan pelayar. 403, halaman cabaran atau 200 yang jauh lebih kecil bermakna firewall menolaknya.

Soalan lazim

Adakah laman tanpa robots.txt terbuka kepada crawler AI?

Ya, setakat yang berkaitan dengan robots.txt. robots.txt yang mengembalikan 404 bermaksud tiada peraturan, jadi setiap crawler boleh mengambil setiap halaman. Firewall masih boleh menyekat crawler.

Adakah sambungan itu menunjukkan sekatan firewall?

Tidak. Ia membaca robots.txt daripada pelayar anda, yang menunjukkan apa yang diminta laman daripada crawler. Sekatan firewall dan perlindungan bot memerlukan permintaan yang dihantar sebagai crawler, dan itulah yang dilakukan oleh semakan penuh di aiseewhy.com.

Bolehkah saya menyemak laman yang bukan milik saya?

Boleh. robots.txt adalah awam, dan sambungan itu hanya membaca fail robots.txt dan llms.txt yang diterbitkan oleh laman, iaitu fail yang sama yang dibaca oleh setiap crawler.

Baca panduan penuh

Sama ada anda menyemak laman sendiri selepas perubahan atau melihat laman orang lain sebelum bergantung padanya, soalan "adakah laman ini menyekat crawler AI?" mempunyai jawapan yang tepat. Jawapannya bergantung pada crawler yang anda maksudkan, kerana syarikat AI menjalankan crawler berasingan untuk latihan, carian dan lawatan langsung, dan laman boleh melayan setiap satu secara berbeza. Panduan ini menunjukkan tiga semakan, daripada yang paling pantas hingga yang paling lengkap.

Di manakah laman boleh menyekat crawler AI?

Terdapat tiga lapisan, dan crawler perlu melepasi kesemuanya untuk menggunakan sesuatu halaman.

  • robots.txt: fail peraturan awam yang dibaca oleh crawler berhemah sebelum mengambil apa-apa. Ia permintaan, bukan kunci.
  • Pelayan, CDN atau firewall: menentukan apa yang sebenarnya dihantar balik. Peraturan perlindungan bot boleh menjawab crawler dengan 403, 429 atau halaman cabaran walaupun robots.txt membenarkannya.
  • Halaman itu sendiri: jika teks utama hanya muncul selepas JavaScript berjalan, crawler yang membaca HTML awal mendapat halaman yang hampir kosong, walaupun tiada apa-apa yang menyekatnya.

Kebanyakan semakan pantas hanya melihat lapisan pertama. Itu permulaan yang baik, asalkan anda ingat dua lapisan yang lain.

Bagaimanakah cara membaca robots.txt untuk satu crawler AI?

Buka https://example.com/robots.txt dalam pelayar dan cari kumpulan yang terpakai kepada crawler itu. Kumpulan bermula dengan satu atau lebih baris User-agent. Crawler menggunakan kumpulan yang menamakan tokennya, seperti GPTBot; padanan tidak mengira huruf besar atau kecil. Jika tiada kumpulan yang menamakannya, ia menggunakan kumpulan User-agent: *. Jika kedua-duanya tiada, semuanya dibenarkan.

Dalam kumpulan, peraturan dengan laluan padanan terpanjang yang menang, dan apabila Allow dan Disallow sama panjang, Allow yang menang. Jadi fail di bawah menyekat GPTBot daripada seluruh laman tetapi membenarkan semua crawler lain masuk:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Lihat juga cara fail itu menjawab. Di bawah RFC 9309, 404 bermaksud tiada peraturan, jadi semuanya dibenarkan. Ralat pelayan (5xx) atau tiada jawapan langsung bermaksud crawler mesti menganggap seluruh laman sebagai dilarang. Alamat robots.txt yang mengembalikan halaman HTML ialah kesilapan biasa: crawler tidak menemui peraturan yang sah di dalamnya.

Bagaimanakah cara menyemak semua crawler AI sekali gus?

Membaca fail secara manual menjadi lambat sebaik sahaja anda mengambil berat tentang lebih daripada satu crawler. Setiap syarikat AI menjalankan beberapa crawler dengan tugas berbeza:

  • Crawler latihan mengumpul kandungan untuk latihan model: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, serta token Google-Extended dan Applebot-Extended, yang hanya muncul dalam robots.txt.
  • Crawler carian mengindeks halaman supaya jawapan AI boleh memetiknya: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Crawler pengguna mengambil halaman apabila seseorang meminta pembantu AI berbuat demikian: ChatGPT-User, Claude-User, Perplexity-User.

Sambungan percuma Penyemak perayap AI untuk Chrome melakukan ini dengan satu klik. Buka mana-mana halaman, klik ikonnya, dan ia membaca robots.txt laman itu lalu menunjukkan, bagi setiap satu daripada 16 crawler, sama ada halaman itu dibenarkan dan baris mana yang menentukannya. Ia juga menunjukkan pilihan Content-Signal, sama ada laman mempunyai llms.txt, dan peta laman yang disenaraikan dalam robots.txt. Ia berjalan dalam pelayar anda, tidak memerlukan akaun, dan hanya membaca laman yang anda klik.

Tanpa Chrome, penyemak robots.txt percuma di aiseewhy.com memberikan jawapan yang sama untuk URL yang anda tampal.

Bagaimanakah cara menyemak sama ada firewall membenarkan mereka lalu?

robots.txt menunjukkan apa yang diminta oleh laman. Untuk melihat apa yang sebenarnya diterima crawler, minta halaman itu dua kali, sekali sebagai pelayar dan sekali dengan user agent crawler, kemudian bandingkan kod status dan saiz respons:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Jika pelayar mendapat 200 manakala crawler mendapat 403, 429 atau 503, atau halaman yang jauh lebih kecil, firewall atau perlindungan bot melayan crawler secara berbeza. Satu had terpakai kepada setiap ujian dari luar: ia datang daripada rangkaian anda, bukan rangkaian syarikat AI. Firewall yang mempercayai crawler berdasarkan alamat IP yang diterbitkan mungkin melayan crawler sebenar secara berbeza, jadi log pelayan anda ialah penentu muktamad.

Semakan penuh di aiseewhy.com mengambil halaman sebagai kesemua 16 crawler bersebelahan dengan pelayar sebenar, menamakan firewall atau peraturan yang menyekat crawler, dan membandingkan teks yang diterima setiap satu.

Apakah hasil yang patut disasarkan?

Ia bergantung pada apa yang anda mahu. Jika anda mahu dipetik dalam carian ChatGPT, Claude dan Perplexity, crawler carian dan crawler pengguna mesti dibenarkan dalam robots.txt dan mesti mendapat halaman sebenar daripada pelayan. Jika anda tidak mahu kandungan anda digunakan untuk latihan, sekat token latihan sahaja. Ini pilihan yang berasingan: menyekat GPTBot tidak menyekat OAI-SearchBot, dan menyekat ClaudeBot tidak menyekat Claude-SearchBot.

Banyak laman mencampuradukkannya. Dalam laporan November 2026 kami tentang 1,000 domain paling popular, 63% laman yang menyekat crawler latihan juga menyekat sekurang-kurangnya satu crawler carian atau crawler pengguna AI, sekali gus menghalang halaman mereka daripada muncul dalam jawapan AI tersebut.

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Sumber

Artikel lain

Diterbitkan