Bagaimana cara menguji aturan robots.txt untuk sebuah URL dan crawler tertentu?

Dipublikasikan

Jawaban singkat

Untuk menguji URL bagi satu crawler, cari grup yang menyebut token crawler itu (atau User-agent: * jika tidak ada), kumpulkan setiap aturan Allow dan Disallow di dalamnya yang cocok dengan path URL, lalu terapkan yang paling panjang; jika sama panjang, Allow yang menang. Anda bisa melakukannya secara manual, dengan parser open-source Google, atau dengan pemeriksa yang menampilkan hasil per crawler. Penguji robots.txt lama di Search Console sudah tidak ada, dan laporan robots.txt yang menggantikannya menampilkan apa yang diambil Google, bukan hasil untuk sebuah URL.

File robots.txt terlihat sederhana sampai Anda butuh jawaban pasti: bolehkah GPTBot mengambil halaman ini, dan bolehkah OAI-SearchBot? Jawabannya bergantung pada grup mana yang dipilih crawler dan aturan mana di grup itu yang menang, dan kedua langkah ini mudah keliru. Berikut cara kerja pencocokan menurut RFC 9309, empat contoh kasus, dan tiga cara menguji file sendiri.

Di halaman ini
  1. Apa yang terjadi pada Penguji robots.txt di Google Search Console?
  2. Bagaimana crawler memutuskan apakah sebuah URL diizinkan?
  3. Bisakah Anda memberi contoh pengujian robots.txt langkah demi langkah?
  4. Bagaimana cara menjalankan parser robots.txt open-source dari Google?
  5. Bisakah saya menguji robots.txt dengan urllib.robotparser di Python?
  6. Kenapa pengujian robots.txt lolos padahal crawler masih diblokir?
  7. Bagaimana cara memeriksa robots.txt untuk semua crawler AI sekaligus?

Apa yang terjadi pada Penguji robots.txt di Google Search Console?

Pada November 2023 Google menambahkan laporan robots.txt ke Search Console dan menyatakan akan menghentikan penguji robots.txt. Laporan itu ada di bawah Setelan dan hanya mencakup crawler Google. Isinya:

Laporan itu tidak menerima URL dan tidak menjawab diizinkan atau diblokir. Untuk memeriksa satu URL bagi Googlebot, Google mengarahkan ke alat Inspeksi URL, dan untuk pengujian lokal ke library robots.txt open-source miliknya. Keduanya tidak memberi tahu apa pun tentang crawler AI seperti GPTBot atau ClaudeBot.

Bagaimana crawler memutuskan apakah sebuah URL diizinkan?

RFC 9309, Robots Exclusion Protocol, mendefinisikan pencocokannya. Google mendokumentasikan perilaku yang sama untuk crawler-nya.

Kode respons robots.txt sama pentingnya dengan aturannya. Respons 4xx berarti crawler boleh mengambil semuanya; Google memperlakukan setiap 4xx kecuali 429 seolah-olah tidak ada file. Respons 5xx berarti crawler harus menganggap seluruh situs dilarang. Google berhenti meng-crawl selama 12 jam pertama, lalu memakai salinan terakhir yang valid hingga 30 hari. RFC 9309 mewajibkan crawler mem-parse setidaknya 500 KiB, dan Google mengabaikan apa pun setelah 500 KiB.

Bisakah Anda memberi contoh pengujian robots.txt langkah demi langkah?

Berikut robots.txt kecil dengan satu grup default dan dua crawler AI bernama:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Hasil seri lebih jarang tetapi mengikuti logika yang sama. Dokumentasi Google memberi contoh allow: /folder dan disallow: /folder untuk URL /folder/page: keduanya sama panjang, jadi URL itu diizinkan.

Bagaimana cara menjalankan parser robots.txt open-source dari Google?

Google memublikasikan library C++ yang dipakainya di produksi untuk mencocokkan aturan robots.txt, beserta program command line kecil untuk menguji satu URL dan satu user agent terhadap file lokal. Dengan Bazel terpasang:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repositori itu juga mendokumentasikan build CMake, yang menghasilkan binary bernama robots dengan argumen yang sama. Alat ini hanya mem-parse dan mencocokkan; alat ini tidak mengunduh robots.txt, jadi simpan file live-nya terlebih dahulu. README-nya juga mencatat bahwa perilaku khusus crawler di luar parsing dan pencocokan bukan bagian dari library.

Bisakah saya menguji robots.txt dengan urllib.robotparser di Python?

Library standar Python menyertakan parser yang menjawab diizinkan atau diblokir untuk sebuah user agent dan URL. Skrip ini menguji contoh di atas:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Periksa versi Python Anda sebelum memercayai hasilnya. Dukungan pencocokan RFC 9309 ditambahkan ke CPython pada 2026 dan pertama kali dirilis di Python 3.13.14 dan 3.14.5. Rilis yang lebih lama, termasuk semua 3.12 dan sebelumnya, menerapkan aturan pertama yang cocok menurut urutan di file, bukan yang terpanjang, dan tidak memahami * atau $ di dalam path. Di versi itu skrip melaporkan pengujian pertama dan keempat secara terbalik: Googlebot diblokir dari /search/help/billing dan OAI-SearchBot diizinkan mengambil PDF.

Ada dua perbedaan lagi yang berlaku untuk semua versi. RobotFileParser.read() memperlakukan respons 401 atau 403 untuk robots.txt sebagai larangan total, padahal RFC 9309 menyatakan 4xx berarti semuanya boleh diambil. Selain itu read() mengunduh file dengan user agent bawaan Python, yang diblokir sebagian firewall, sehingga pengujian bisa melaporkan diblokir karena alasan yang tidak terkait dengan aturan Anda. Mengambil file sendiri lalu meneruskannya ke parse(), seperti di atas, menghindari keduanya.

Kenapa pengujian robots.txt lolos padahal crawler masih diblokir?

Penguji menjawab satu pertanyaan: apakah aturannya mengizinkan URL ini? Beberapa hal berada di luar jawaban itu:

Bagaimana cara memeriksa robots.txt untuk semua crawler AI sekaligus?

Pemeriksa robots.txt gratis dari AISeeWhy menerima alamat halaman atau robots.txt yang ditempel, lalu menunjukkan untuk setiap crawler AI dan crawler pencarian apakah halaman itu boleh diambil. Generator robots.txt gratis menulis file dari pilihan Anda, dan pemeriksaan gratis mengambil halaman sebagai 16 crawler untuk menunjukkan apakah firewall memblokir apa yang diizinkan robots.txt.

Perbaikan untuk masalah ini

Alat gratis

Langkah berikutnya

Crawler dalam artikel ini

Pertanyaan yang sering diajukan

Apakah masih ada robots.txt tester di Google Search Console?

Tidak. Pada November 2023 Google menggantinya dengan laporan robots.txt, yang menampilkan file yang diambil Google, statusnya, dan error yang ada. Untuk memeriksa apakah Googlebot boleh meng-crawl URL tertentu, gunakan alat Inspeksi URL.

Apakah Allow mengalahkan Disallow di robots.txt?

Hanya jika aturan Allow lebih panjang, atau sama panjang. Aturan dengan path cocok terpanjang yang menang, apa pun jenisnya, dan Allow menang jika seri.

Apakah robots.txt membedakan huruf besar dan kecil?

Sebagian. Nilai User-agent dicocokkan tanpa membedakan huruf besar-kecil, jadi gptbot dan GPTBot menyebut grup yang sama. Path membedakan huruf besar-kecil, jadi Disallow: /Private/ tidak memblokir /private/.

Apa yang diperiksa validator robots.txt?

Validator memeriksa bahwa file bisa dijangkau, disajikan sebagai teks, dan ditulis dengan sintaks yang valid. Penguji (tester) melangkah lebih jauh dan memberi hasil untuk URL dan crawler tertentu. Biasanya Anda butuh keduanya, karena file yang valid tetap bisa memblokir halaman yang ingin Anda izinkan.

Jika crawler punya grup sendiri, apakah ia masih mengikuti User-agent: *?

Tidak. Grup bernama sepenuhnya menggantikan grup * untuk crawler itu. Aturan apa pun yang ingin Anda terapkan ke semua crawler harus diulang di setiap grup bernama.

Sumber

Artikel lainnya