Bagaimana saya menguji peraturan robots.txt untuk satu URL dan crawler tertentu?
Untuk menguji URL bagi satu crawler, cari kumpulan yang menamakan token crawler itu (atau User-agent: * jika tiada), kumpulkan setiap peraturan Allow dan Disallow dalam kumpulan itu yang sepadan dengan laluan URL, dan gunakan yang paling panjang; jika sama panjang, Allow menang. Anda boleh melakukannya secara manual, dengan parser sumber terbuka Google, atau dengan penyemak yang memberi keputusan bagi setiap crawler. robots.txt Tester lama Google dalam Search Console sudah tiada, dan laporan robots.txt yang menggantikannya menunjukkan apa yang diambil Google, bukan keputusan untuk satu URL.
Fail robots.txt kelihatan mudah sehingga anda memerlukan jawapan yang pasti: bolehkah GPTBot mengambil halaman ini, dan bolehkah OAI-SearchBot? Jawapannya bergantung pada kumpulan mana yang dipilih crawler dan peraturan mana dalam kumpulan itu yang menang, dan kedua-dua langkah mudah tersilap. Berikut cara padanan berfungsi di bawah RFC 9309, empat contoh lengkap, dan tiga cara untuk menguji fail sendiri.
Dalam halaman ini
- Apa yang berlaku kepada robots.txt Tester dalam Google Search Console?
- Bagaimana crawler memutuskan sama ada URL dibenarkan?
- Bolehkah anda tunjukkan contoh ujian robots.txt langkah demi langkah?
- Bagaimana saya menjalankan parser robots.txt sumber terbuka Google?
- Bolehkah saya menguji robots.txt dengan urllib.robotparser Python?
- Mengapa ujian robots.txt lulus tetapi crawler masih disekat?
- Bagaimana saya menyemak robots.txt untuk semua crawler AI sekali gus?
Apa yang berlaku kepada robots.txt Tester dalam Google Search Console?
Pada November 2023 Google menambah laporan robots.txt pada Search Console dan menyatakan ia akan menamatkan robots.txt tester. Laporan itu terletak di bawah Tetapan dan hanya meliputi crawler Google. Ia menunjukkan:
- Fail robots.txt yang ditemui Google untuk 20 hos teratas harta anda.
- Status pengambilan setiap fail (
Fetched,Not Fetched - Not found (404)atauNot Fetched - Any other reason), bila Google terakhir menyemaknya, dan saiznya dalam bait. - Isu dalam fail. Google menyatakan ralat menghalang peraturan daripada digunakan, manakala amaran tidak.
- Versi yang diambil Google dalam 30 hari lepas, dan butang untuk meminta rangkak semula selepas anda membetulkan fail.
Laporan itu tidak menerima URL dan memulangkan dibenarkan atau disekat. Untuk menyemak satu URL bagi Googlebot, Google menunjuk kepada alat Pemeriksaan URL, dan untuk ujian setempat kepada pustaka robots.txt sumber terbukanya. Kedua-duanya tidak memberitahu apa-apa tentang crawler AI seperti GPTBot atau ClaudeBot.
Bagaimana crawler memutuskan sama ada URL dibenarkan?
RFC 9309, Robots Exclusion Protocol, mentakrifkan padanan itu. Google mendokumenkan tingkah laku yang sama untuk crawlernya.
- Pilih kumpulan. Padanan user agent tidak peka huruf besar-kecil. Jika satu atau lebih kumpulan menamakan token crawler, peraturannya digabungkan dan kumpulan
User-agent: *diabaikan sepenuhnya. Hanya crawler tanpa kumpulan bernama yang mengikut*. - Pilih peraturan. Antara peraturan
AllowdanDisallowyang laluannya sepadan dengan URL, yang paling banyak aksara menang. JikaAllowdanDisallowsama panjang,Allowsepatutnya menang. - Baca corak.
*sepadan dengan sebarang jujukan aksara dan$menandakan hujung URL. Laluan peka huruf besar-kecil, jadi/Admin/tidak sepadan dengan/admin/. - Tiada peraturan sepadan bermakna dibenarkan.
/robots.txtsendiri sentiasa dibenarkan.
Kod respons robots.txt sama penting dengan peraturannya. Respons 4xx bermakna crawler boleh mengambil segala-galanya; Google menganggap setiap 4xx kecuali 429 seolah-olah tiada fail. Respons 5xx bermakna crawler mesti menganggap seluruh laman dilarang. Google berhenti merangkak untuk 12 jam pertama, kemudian menggunakan salinan baik terakhir sehingga 30 hari. RFC 9309 mewajibkan crawler menghurai sekurang-kurangnya 500 KiB, dan Google mengabaikan apa-apa selepas 500 KiB.
Bolehkah anda tunjukkan contoh ujian robots.txt langkah demi langkah?
Berikut robots.txt kecil dengan kumpulan lalai dan dua crawler AI bernama:
Googlebotdan/search/help/billing: dibenarkan. Tiada kumpulan Googlebot, jadi kumpulan*digunakan.Disallow: /searchdanAllow: /search/helpkedua-duanya sepadan, dan peraturanAllowlebih panjang.GPTBotdan/blog/post: disekat. GPTBot mempunyai kumpulannya sendiri, danDisallow: /sepadan dengan setiap laluan.OAI-SearchBotdan/admin/settings: dibenarkan. OAI-SearchBot mempunyai kumpulannya sendiri, jadiDisallow: /admin/dalam kumpulan*tidak terpakai kepadanya. Inilah kejutan yang paling biasa; ulang peraturan bersama dalam setiap kumpulan bernama.OAI-SearchBotdan/files/report.pdf: disekat.Allow: /sepadan dengan satu aksara,Disallow: /*.pdf$sepadan dengan tujuh, dan peraturan yang lebih panjang menang.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Keadaan seri lebih jarang tetapi mengikut logik yang sama. Dokumentasi Google memberi contoh allow: /folder dan disallow: /folder untuk URL /folder/page: kedua-duanya sama panjang, jadi URL itu dibenarkan.
Bagaimana saya menjalankan parser robots.txt sumber terbuka Google?
Google menerbitkan pustaka C++ yang digunakannya dalam pengeluaran untuk memadankan peraturan robots.txt, bersama program baris perintah kecil untuk menguji satu URL dan satu user agent terhadap fail setempat. Dengan Bazel dipasang:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repositori itu juga mendokumenkan binaan CMake, yang menghasilkan binari bernama robots dengan argumen yang sama. Alat itu hanya menghurai dan memadankan; ia tidak memuat turun robots.txt, jadi simpan fail langsung dahulu. README-nya juga menyatakan bahawa tingkah laku khusus crawler di luar penghuraian dan padanan bukan sebahagian daripada pustaka itu.
Bolehkah saya menguji robots.txt dengan urllib.robotparser Python?
Pustaka standard Python menyertakan parser yang menjawab dibenarkan atau disekat untuk satu user agent dan satu URL. Skrip ini menguji contoh di atas:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Semak versi Python anda sebelum mempercayai outputnya. Sokongan untuk padanan RFC 9309 ditambah pada CPython pada 2026 dan pertama kali dikeluarkan dalam Python 3.13.14 dan 3.14.5. Keluaran lebih lama, termasuk semua 3.12 dan sebelumnya, menggunakan peraturan pertama yang sepadan mengikut susunan fail, bukan yang paling panjang, dan tidak memahami * atau $ dalam laluan. Pada versi tersebut skrip melaporkan ujian pertama dan keempat secara terbalik: Googlebot disekat daripada /search/help/billing dan OAI-SearchBot dibenarkan mengambil PDF.
Dua lagi perbezaan terpakai pada setiap versi. RobotFileParser.read() menganggap respons 401 atau 403 untuk robots.txt sebagai larang semua, sedangkan RFC 9309 menyatakan 4xx bermakna semuanya boleh diambil. Dan read() memuat turun fail dengan user agent lalai Python, yang disekat oleh sesetengah firewall, jadi ujian boleh melaporkan disekat atas sebab yang tiada kaitan dengan peraturan anda. Mengambil fail sendiri dan menghantarnya kepada parse(), seperti di atas, mengelakkan kedua-duanya.
Mengapa ujian robots.txt lulus tetapi crawler masih disekat?
Penguji menjawab satu soalan: adakah peraturan membenarkan URL ini? Beberapa perkara berada di luar jawapan itu:
- Fail langsung berbeza daripada yang anda uji, atau crawler masih menggunakan salinan cache. RFC 9309 menyatakan crawler tidak sepatutnya menggunakan salinan cache lebih daripada 24 jam, dan Google secara amnya menyimpan cache sehingga 24 jam.
- URL robots.txt memulangkan halaman HTML atau ralat. Halaman HTML dengan status 200 tidak mengandungi peraturan yang sah, dan respons 5xx menyekat seluruh laman.
- robots.txt ialah permintaan, bukan kawalan akses. Firewall, CDN atau perlindungan bot masih boleh membalas crawler dengan 403 atau halaman cabaran.
Bagaimana saya menyemak robots.txt untuk semua crawler AI sekali gus?
Penyemak robots.txt AISeeWhy yang percuma menerima alamat halaman atau robots.txt yang ditampal dan menunjukkan, bagi setiap crawler AI dan carian, sama ada halaman itu boleh diambil. Penjana robots.txt percuma menulis fail daripada pilihan anda, dan semakan percuma mengambil halaman sebagai 16 crawler untuk menunjukkan sama ada firewall menyekat apa yang dibenarkan robots.txt.
Pembetulan untuk masalah ini
- robots.txt membenarkan GPTBot, tetapi pelayan menyekatnya
- robots.txt melarang OAI-SearchBot
- robots.txt ialah halaman HTML
- robots.txt tidak dapat diambil
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Adakah robots.txt tester masih ada dalam Google Search Console?
Tidak. Google menggantikannya pada November 2023 dengan laporan robots.txt, yang menunjukkan fail yang diambil Google, statusnya dan sebarang ralat. Untuk menyemak sama ada Googlebot boleh merangkak URL tertentu, gunakan alat Pemeriksaan URL.
Adakah Allow mengatasi Disallow dalam robots.txt?
Hanya apabila peraturan Allow lebih panjang, atau sama panjang. Peraturan dengan laluan sepadan yang paling panjang menang, tidak kira jenisnya, dan Allow menang jika seri.
Adakah robots.txt peka huruf besar-kecil?
Sebahagiannya. Nilai User-agent dipadankan tanpa mengira huruf besar-kecil, jadi gptbot dan GPTBot menamakan kumpulan yang sama. Laluan peka huruf besar-kecil, jadi Disallow: /Private/ tidak menyekat /private/.
Apa yang disemak oleh pengesah robots.txt?
Pengesah menyemak bahawa fail boleh dicapai, dihidangkan sebagai teks dan ditulis dengan sintaks yang sah. Penguji pergi lebih jauh dan memberi keputusan untuk URL dan crawler tertentu. Biasanya anda memerlukan kedua-duanya, kerana fail yang sah masih boleh menyekat halaman yang anda mahu benarkan.
Jika crawler mempunyai kumpulan sendiri, adakah ia masih mengikut User-agent: *?
Tidak. Kumpulan bernama menggantikan kumpulan * sepenuhnya untuk crawler itu. Sebarang peraturan yang anda mahu terpakai kepada semua perlu diulang dalam setiap kumpulan bernama.
Sumber
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- Kod sumber CPython: Lib/urllib/robotparser.py