Πώς ελέγχω τους κανόνες του robots.txt για ένα URL και συγκεκριμένο crawler;

Δημοσιεύθηκε

Σύντομη απάντηση

Για να ελέγξετε ένα URL για έναν crawler, βρείτε την ομάδα που κατονομάζει το token του crawler (ή την User-agent: * αν καμία δεν το κάνει), συγκεντρώστε κάθε κανόνα Allow και Disallow της ομάδας που ταιριάζει με τη διαδρομή του URL και εφαρμόστε τον μακρύτερο· σε ισοπαλία κερδίζει το Allow. Μπορείτε να το κάνετε με το χέρι, με τον parser ανοιχτού κώδικα της Google ή με ένα εργαλείο που δείχνει ετυμηγορία ανά crawler. Το παλιό εργαλείο ελέγχου robots.txt (robots.txt Tester) του Search Console δεν υπάρχει πια, και η αναφορά robots.txt που το αντικατέστησε δείχνει τι ανέκτησε η Google, όχι ετυμηγορία για ένα URL.

Ένα αρχείο robots.txt μοιάζει απλό μέχρι να χρειαστείτε μια σαφή απάντηση: μπορεί ο GPTBot να ανακτήσει αυτή τη σελίδα, και μπορεί ο OAI-SearchBot; Η απάντηση εξαρτάται από το ποια ομάδα επιλέγει ο crawler και ποιος κανόνας μέσα σε αυτή την ομάδα κερδίζει, και τα δύο βήματα είναι εύκολο να γίνουν λάθος. Ακολουθεί πώς λειτουργεί η αντιστοίχιση κατά το RFC 9309, τέσσερα λυμένα παραδείγματα και τρεις τρόποι να ελέγξετε ένα αρχείο μόνοι σας.

Σε αυτή τη σελίδα
  1. Τι απέγινε το robots.txt Tester στο Google Search Console;
  2. Πώς αποφασίζει ένας crawler αν ένα URL επιτρέπεται;
  3. Μπορείτε να δείξετε ένα παράδειγμα ελέγχου robots.txt βήμα βήμα;
  4. Πώς τρέχω τον parser robots.txt ανοιχτού κώδικα της Google;
  5. Μπορώ να ελέγξω το robots.txt με το urllib.robotparser της Python;
  6. Γιατί ο έλεγχος του robots.txt περνά ενώ ο crawler εξακολουθεί να μπλοκάρεται;
  7. Πώς ελέγχω το robots.txt για όλους τους AI crawlers μαζί;

Τι απέγινε το robots.txt Tester στο Google Search Console;

Τον Νοέμβριο του 2023 η Google πρόσθεσε στο Search Console μια αναφορά robots.txt και ανακοίνωσε ότι καταργεί το εργαλείο ελέγχου robots.txt. Η αναφορά βρίσκεται στις Ρυθμίσεις και καλύπτει μόνο τους crawlers της Google. Δείχνει:

Η αναφορά δεν δέχεται ένα URL για να απαντήσει «επιτρέπεται» ή «μπλοκάρεται». Για να ελέγξετε ένα URL για τον Googlebot, η Google παραπέμπει στο εργαλείο Έλεγχος URL, και για τοπικές δοκιμές στη βιβλιοθήκη robots.txt ανοιχτού κώδικα. Κανένα από τα δύο δεν λέει τίποτα για AI crawlers όπως ο GPTBot ή ο ClaudeBot.

Πώς αποφασίζει ένας crawler αν ένα URL επιτρέπεται;

Το RFC 9309, το Robots Exclusion Protocol, ορίζει την αντιστοίχιση. Η Google τεκμηριώνει την ίδια συμπεριφορά για τους crawlers της.

Ο κωδικός απόκρισης του robots.txt μετρά όσο και οι κανόνες του. Απόκριση 4xx σημαίνει ότι ο crawler μπορεί να ανακτήσει τα πάντα· η Google αντιμετωπίζει κάθε 4xx εκτός από το 429 σαν να μην υπήρχε αρχείο. Απόκριση 5xx σημαίνει ότι ο crawler πρέπει να υποθέσει ότι όλος ο ιστότοπος απαγορεύεται. Η Google σταματά την ανίχνευση για τις πρώτες 12 ώρες και μετά χρησιμοποιεί το τελευταίο καλό αντίγραφο για έως 30 ημέρες. Το RFC 9309 απαιτεί από τους crawlers να αναλύουν τουλάχιστον 500 KiB και η Google αγνοεί ό,τι υπάρχει μετά τα 500 KiB.

Μπορείτε να δείξετε ένα παράδειγμα ελέγχου robots.txt βήμα βήμα;

Ακολουθεί ένα μικρό robots.txt με προεπιλεγμένη ομάδα και δύο κατονομασμένους AI crawlers:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Οι ισοπαλίες είναι σπανιότερες αλλά ακολουθούν την ίδια λογική. Η τεκμηρίωση της Google δίνει την περίπτωση allow: /folder και disallow: /folder για το URL /folder/page: έχουν το ίδιο μήκος, οπότε το URL επιτρέπεται.

Πώς τρέχω τον parser robots.txt ανοιχτού κώδικα της Google;

Η Google δημοσιεύει τη βιβλιοθήκη C++ που χρησιμοποιεί στην παραγωγή για την αντιστοίχιση κανόνων robots.txt, μαζί με ένα μικρό πρόγραμμα γραμμής εντολών για να ελέγχετε ένα URL και έναν user agent σε τοπικό αρχείο. Με εγκατεστημένο το Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Το αποθετήριο τεκμηριώνει επίσης build με CMake, που παράγει ένα εκτελέσιμο με όνομα robots και τα ίδια ορίσματα. Το εργαλείο μόνο αναλύει και αντιστοιχίζει· δεν κατεβάζει το robots.txt, οπότε αποθηκεύστε πρώτα το ζωντανό αρχείο. Το README σημειώνει επίσης ότι συμπεριφορά των crawlers πέρα από την ανάλυση και την αντιστοίχιση δεν αποτελεί μέρος της βιβλιοθήκης.

Μπορώ να ελέγξω το robots.txt με το urllib.robotparser της Python;

Η τυπική βιβλιοθήκη της Python περιλαμβάνει parser που απαντά «επιτρέπεται» ή «μπλοκάρεται» για έναν user agent και ένα URL. Αυτό το script ελέγχει το παραπάνω παράδειγμα:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Ελέγξτε την έκδοση της Python πριν εμπιστευτείτε το αποτέλεσμα. Η υποστήριξη αντιστοίχισης κατά RFC 9309 προστέθηκε στο CPython το 2026 και κυκλοφόρησε πρώτη φορά στις Python 3.13.14 και 3.14.5. Οι παλαιότερες εκδόσεις, μαζί με όλη τη 3.12 και προγενέστερες, εφαρμόζουν τον πρώτο κανόνα που ταιριάζει με τη σειρά του αρχείου, όχι τον μακρύτερο, και δεν καταλαβαίνουν * ή $ μέσα σε διαδρομές. Σε αυτές τις εκδόσεις το script δίνει ανάποδα τον πρώτο και τον τέταρτο έλεγχο: ο Googlebot μπλοκάρεται από το /search/help/billing και ο OAI-SearchBot επιτρέπεται να ανακτήσει το PDF.

Δύο ακόμη διαφορές ισχύουν σε κάθε έκδοση. Το RobotFileParser.read() αντιμετωπίζει απόκριση 401 ή 403 για το robots.txt ως απαγόρευση όλων, ενώ το RFC 9309 λέει ότι ένα 4xx σημαίνει ότι όλα μπορούν να ανακτηθούν. Και το read() κατεβάζει το αρχείο με τον προεπιλεγμένο user agent της Python, που ορισμένα firewalls μπλοκάρουν, οπότε ένας έλεγχος μπορεί να αναφέρει μπλοκάρισμα για λόγους άσχετους με τους κανόνες σας. Αν ανακτήσετε μόνοι σας το αρχείο και το περάσετε στο parse(), όπως παραπάνω, αποφεύγετε και τα δύο.

Γιατί ο έλεγχος του robots.txt περνά ενώ ο crawler εξακολουθεί να μπλοκάρεται;

Ένα εργαλείο ελέγχου απαντά σε μία ερώτηση: επιτρέπουν οι κανόνες αυτό το URL; Αρκετά πράγματα βρίσκονται έξω από αυτή την απάντηση:

Πώς ελέγχω το robots.txt για όλους τους AI crawlers μαζί;

Ο δωρεάν έλεγχος robots.txt του AISeeWhy δέχεται τη διεύθυνση μιας σελίδας ή ένα robots.txt που επικολλάτε και δείχνει, για κάθε AI crawler και crawler μηχανής αναζήτησης, αν η σελίδα μπορεί να ανακτηθεί. Η δωρεάν γεννήτρια robots.txt γράφει ένα αρχείο από τις επιλογές σας, και ο δωρεάν έλεγχος ανακτά τη σελίδα ως 16 crawlers για να δείξει αν ένα firewall μπλοκάρει όσα επιτρέπει το robots.txt.

Διορθώσεις για αυτό το πρόβλημα

Δωρεάν εργαλεία

Επόμενα βήματα

Crawlers σε αυτό το άρθρο

Συχνές ερωτήσεις

Υπάρχει ακόμη robots.txt tester στο Google Search Console;

Όχι. Η Google το αντικατέστησε τον Νοέμβριο του 2023 με την αναφορά robots.txt, που δείχνει τα αρχεία που ανέκτησε η Google, την κατάστασή τους και τυχόν σφάλματα. Για να ελέγξετε αν ο Googlebot μπορεί να ανιχνεύσει ένα συγκεκριμένο URL, χρησιμοποιήστε το εργαλείο Έλεγχος URL.

Υπερισχύει το Allow του Disallow στο robots.txt;

Μόνο όταν ο κανόνας Allow είναι μακρύτερος ή ακριβώς ίδιου μήκους. Κερδίζει ο κανόνας με τη μακρύτερη διαδρομή που ταιριάζει, όποιου είδους κι αν είναι, και σε ισοπαλία κερδίζει το Allow.

Κάνει το robots.txt διάκριση πεζών-κεφαλαίων;

Εν μέρει. Η τιμή User-agent αντιστοιχίζεται χωρίς διάκριση πεζών-κεφαλαίων, οπότε το gptbot και το GPTBot αφορούν την ίδια ομάδα. Οι διαδρομές κάνουν διάκριση, οπότε το Disallow: /Private/ δεν μπλοκάρει το /private/.

Τι ελέγχει ένας validator του robots.txt;

Ένας validator ελέγχει ότι το αρχείο είναι προσβάσιμο, σερβίρεται ως κείμενο και είναι γραμμένο σε έγκυρη σύνταξη. Ένα tester πηγαίνει παραπέρα και δίνει ετυμηγορία για συγκεκριμένο URL και crawler. Συνήθως χρειάζεστε και τα δύο, γιατί ένα έγκυρο αρχείο μπορεί να μπλοκάρει μια σελίδα που θέλατε να επιτρέψετε.

Αν ένας crawler έχει δική του ομάδα, ακολουθεί ακόμη το User-agent: *;

Όχι. Μια κατονομασμένη ομάδα αντικαθιστά πλήρως την ομάδα * για αυτόν τον crawler. Κάθε κανόνας που θέλετε να ισχύει για όλους πρέπει να επαναληφθεί σε κάθε κατονομασμένη ομάδα.

Πηγές

Περισσότερα άρθρα