Bagaimana saya menguji peraturan robots.txt untuk satu URL dan crawler tertentu?

Diterbitkan

Jawapan ringkas

Untuk menguji URL bagi satu crawler, cari kumpulan yang menamakan token crawler itu (atau User-agent: * jika tiada), kumpulkan setiap peraturan Allow dan Disallow dalam kumpulan itu yang sepadan dengan laluan URL, dan gunakan yang paling panjang; jika sama panjang, Allow menang. Anda boleh melakukannya secara manual, dengan parser sumber terbuka Google, atau dengan penyemak yang memberi keputusan bagi setiap crawler. robots.txt Tester lama Google dalam Search Console sudah tiada, dan laporan robots.txt yang menggantikannya menunjukkan apa yang diambil Google, bukan keputusan untuk satu URL.

Fail robots.txt kelihatan mudah sehingga anda memerlukan jawapan yang pasti: bolehkah GPTBot mengambil halaman ini, dan bolehkah OAI-SearchBot? Jawapannya bergantung pada kumpulan mana yang dipilih crawler dan peraturan mana dalam kumpulan itu yang menang, dan kedua-dua langkah mudah tersilap. Berikut cara padanan berfungsi di bawah RFC 9309, empat contoh lengkap, dan tiga cara untuk menguji fail sendiri.

Dalam halaman ini
  1. Apa yang berlaku kepada robots.txt Tester dalam Google Search Console?
  2. Bagaimana crawler memutuskan sama ada URL dibenarkan?
  3. Bolehkah anda tunjukkan contoh ujian robots.txt langkah demi langkah?
  4. Bagaimana saya menjalankan parser robots.txt sumber terbuka Google?
  5. Bolehkah saya menguji robots.txt dengan urllib.robotparser Python?
  6. Mengapa ujian robots.txt lulus tetapi crawler masih disekat?
  7. Bagaimana saya menyemak robots.txt untuk semua crawler AI sekali gus?

Apa yang berlaku kepada robots.txt Tester dalam Google Search Console?

Pada November 2023 Google menambah laporan robots.txt pada Search Console dan menyatakan ia akan menamatkan robots.txt tester. Laporan itu terletak di bawah Tetapan dan hanya meliputi crawler Google. Ia menunjukkan:

Laporan itu tidak menerima URL dan memulangkan dibenarkan atau disekat. Untuk menyemak satu URL bagi Googlebot, Google menunjuk kepada alat Pemeriksaan URL, dan untuk ujian setempat kepada pustaka robots.txt sumber terbukanya. Kedua-duanya tidak memberitahu apa-apa tentang crawler AI seperti GPTBot atau ClaudeBot.

Bagaimana crawler memutuskan sama ada URL dibenarkan?

RFC 9309, Robots Exclusion Protocol, mentakrifkan padanan itu. Google mendokumenkan tingkah laku yang sama untuk crawlernya.

Kod respons robots.txt sama penting dengan peraturannya. Respons 4xx bermakna crawler boleh mengambil segala-galanya; Google menganggap setiap 4xx kecuali 429 seolah-olah tiada fail. Respons 5xx bermakna crawler mesti menganggap seluruh laman dilarang. Google berhenti merangkak untuk 12 jam pertama, kemudian menggunakan salinan baik terakhir sehingga 30 hari. RFC 9309 mewajibkan crawler menghurai sekurang-kurangnya 500 KiB, dan Google mengabaikan apa-apa selepas 500 KiB.

Bolehkah anda tunjukkan contoh ujian robots.txt langkah demi langkah?

Berikut robots.txt kecil dengan kumpulan lalai dan dua crawler AI bernama:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Keadaan seri lebih jarang tetapi mengikut logik yang sama. Dokumentasi Google memberi contoh allow: /folder dan disallow: /folder untuk URL /folder/page: kedua-duanya sama panjang, jadi URL itu dibenarkan.

Bagaimana saya menjalankan parser robots.txt sumber terbuka Google?

Google menerbitkan pustaka C++ yang digunakannya dalam pengeluaran untuk memadankan peraturan robots.txt, bersama program baris perintah kecil untuk menguji satu URL dan satu user agent terhadap fail setempat. Dengan Bazel dipasang:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repositori itu juga mendokumenkan binaan CMake, yang menghasilkan binari bernama robots dengan argumen yang sama. Alat itu hanya menghurai dan memadankan; ia tidak memuat turun robots.txt, jadi simpan fail langsung dahulu. README-nya juga menyatakan bahawa tingkah laku khusus crawler di luar penghuraian dan padanan bukan sebahagian daripada pustaka itu.

Bolehkah saya menguji robots.txt dengan urllib.robotparser Python?

Pustaka standard Python menyertakan parser yang menjawab dibenarkan atau disekat untuk satu user agent dan satu URL. Skrip ini menguji contoh di atas:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Semak versi Python anda sebelum mempercayai outputnya. Sokongan untuk padanan RFC 9309 ditambah pada CPython pada 2026 dan pertama kali dikeluarkan dalam Python 3.13.14 dan 3.14.5. Keluaran lebih lama, termasuk semua 3.12 dan sebelumnya, menggunakan peraturan pertama yang sepadan mengikut susunan fail, bukan yang paling panjang, dan tidak memahami * atau $ dalam laluan. Pada versi tersebut skrip melaporkan ujian pertama dan keempat secara terbalik: Googlebot disekat daripada /search/help/billing dan OAI-SearchBot dibenarkan mengambil PDF.

Dua lagi perbezaan terpakai pada setiap versi. RobotFileParser.read() menganggap respons 401 atau 403 untuk robots.txt sebagai larang semua, sedangkan RFC 9309 menyatakan 4xx bermakna semuanya boleh diambil. Dan read() memuat turun fail dengan user agent lalai Python, yang disekat oleh sesetengah firewall, jadi ujian boleh melaporkan disekat atas sebab yang tiada kaitan dengan peraturan anda. Mengambil fail sendiri dan menghantarnya kepada parse(), seperti di atas, mengelakkan kedua-duanya.

Mengapa ujian robots.txt lulus tetapi crawler masih disekat?

Penguji menjawab satu soalan: adakah peraturan membenarkan URL ini? Beberapa perkara berada di luar jawapan itu:

Bagaimana saya menyemak robots.txt untuk semua crawler AI sekali gus?

Penyemak robots.txt AISeeWhy yang percuma menerima alamat halaman atau robots.txt yang ditampal dan menunjukkan, bagi setiap crawler AI dan carian, sama ada halaman itu boleh diambil. Penjana robots.txt percuma menulis fail daripada pilihan anda, dan semakan percuma mengambil halaman sebagai 16 crawler untuk menunjukkan sama ada firewall menyekat apa yang dibenarkan robots.txt.

Pembetulan untuk masalah ini

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Soalan lazim

Adakah robots.txt tester masih ada dalam Google Search Console?

Tidak. Google menggantikannya pada November 2023 dengan laporan robots.txt, yang menunjukkan fail yang diambil Google, statusnya dan sebarang ralat. Untuk menyemak sama ada Googlebot boleh merangkak URL tertentu, gunakan alat Pemeriksaan URL.

Adakah Allow mengatasi Disallow dalam robots.txt?

Hanya apabila peraturan Allow lebih panjang, atau sama panjang. Peraturan dengan laluan sepadan yang paling panjang menang, tidak kira jenisnya, dan Allow menang jika seri.

Adakah robots.txt peka huruf besar-kecil?

Sebahagiannya. Nilai User-agent dipadankan tanpa mengira huruf besar-kecil, jadi gptbot dan GPTBot menamakan kumpulan yang sama. Laluan peka huruf besar-kecil, jadi Disallow: /Private/ tidak menyekat /private/.

Apa yang disemak oleh pengesah robots.txt?

Pengesah menyemak bahawa fail boleh dicapai, dihidangkan sebagai teks dan ditulis dengan sintaks yang sah. Penguji pergi lebih jauh dan memberi keputusan untuk URL dan crawler tertentu. Biasanya anda memerlukan kedua-duanya, kerana fail yang sah masih boleh menyekat halaman yang anda mahu benarkan.

Jika crawler mempunyai kumpulan sendiri, adakah ia masih mengikut User-agent: *?

Tidak. Kumpulan bernama menggantikan kumpulan * sepenuhnya untuk crawler itu. Sebarang peraturan yang anda mahu terpakai kepada semua perlu diulang dalam setiap kumpulan bernama.

Sumber

Artikel lain