Πώς ελέγχω τους κανόνες του robots.txt για ένα URL και συγκεκριμένο crawler;
Για να ελέγξετε ένα URL για έναν crawler, βρείτε την ομάδα που κατονομάζει το token του crawler (ή την User-agent: * αν καμία δεν το κάνει), συγκεντρώστε κάθε κανόνα Allow και Disallow της ομάδας που ταιριάζει με τη διαδρομή του URL και εφαρμόστε τον μακρύτερο· σε ισοπαλία κερδίζει το Allow. Μπορείτε να το κάνετε με το χέρι, με τον parser ανοιχτού κώδικα της Google ή με ένα εργαλείο που δείχνει ετυμηγορία ανά crawler. Το παλιό εργαλείο ελέγχου robots.txt (robots.txt Tester) του Search Console δεν υπάρχει πια, και η αναφορά robots.txt που το αντικατέστησε δείχνει τι ανέκτησε η Google, όχι ετυμηγορία για ένα URL.
Ένα αρχείο robots.txt μοιάζει απλό μέχρι να χρειαστείτε μια σαφή απάντηση: μπορεί ο GPTBot να ανακτήσει αυτή τη σελίδα, και μπορεί ο OAI-SearchBot; Η απάντηση εξαρτάται από το ποια ομάδα επιλέγει ο crawler και ποιος κανόνας μέσα σε αυτή την ομάδα κερδίζει, και τα δύο βήματα είναι εύκολο να γίνουν λάθος. Ακολουθεί πώς λειτουργεί η αντιστοίχιση κατά το RFC 9309, τέσσερα λυμένα παραδείγματα και τρεις τρόποι να ελέγξετε ένα αρχείο μόνοι σας.
Σε αυτή τη σελίδα
- Τι απέγινε το robots.txt Tester στο Google Search Console;
- Πώς αποφασίζει ένας crawler αν ένα URL επιτρέπεται;
- Μπορείτε να δείξετε ένα παράδειγμα ελέγχου robots.txt βήμα βήμα;
- Πώς τρέχω τον parser robots.txt ανοιχτού κώδικα της Google;
- Μπορώ να ελέγξω το robots.txt με το urllib.robotparser της Python;
- Γιατί ο έλεγχος του robots.txt περνά ενώ ο crawler εξακολουθεί να μπλοκάρεται;
- Πώς ελέγχω το robots.txt για όλους τους AI crawlers μαζί;
Τι απέγινε το robots.txt Tester στο Google Search Console;
Τον Νοέμβριο του 2023 η Google πρόσθεσε στο Search Console μια αναφορά robots.txt και ανακοίνωσε ότι καταργεί το εργαλείο ελέγχου robots.txt. Η αναφορά βρίσκεται στις Ρυθμίσεις και καλύπτει μόνο τους crawlers της Google. Δείχνει:
- Τα αρχεία robots.txt που βρήκε η Google για τους 20 κορυφαίους hosts της ιδιότητάς σας.
- Την κατάσταση ανάκτησης κάθε αρχείου (
Fetched,Not Fetched - Not found (404)ήNot Fetched - Any other reason), πότε το έλεγξε τελευταία φορά η Google και το μέγεθός του σε bytes. - Προβλήματα στο αρχείο. Η Google λέει ότι τα σφάλματα εμποδίζουν τη χρήση ενός κανόνα, ενώ οι προειδοποιήσεις όχι.
- Τις εκδόσεις που ανέκτησε η Google τις τελευταίες 30 ημέρες και ένα κουμπί για να ζητήσετε νέα ανίχνευση αφού διορθώσετε το αρχείο.
Η αναφορά δεν δέχεται ένα URL για να απαντήσει «επιτρέπεται» ή «μπλοκάρεται». Για να ελέγξετε ένα URL για τον Googlebot, η Google παραπέμπει στο εργαλείο Έλεγχος URL, και για τοπικές δοκιμές στη βιβλιοθήκη robots.txt ανοιχτού κώδικα. Κανένα από τα δύο δεν λέει τίποτα για AI crawlers όπως ο GPTBot ή ο ClaudeBot.
Πώς αποφασίζει ένας crawler αν ένα URL επιτρέπεται;
Το RFC 9309, το Robots Exclusion Protocol, ορίζει την αντιστοίχιση. Η Google τεκμηριώνει την ίδια συμπεριφορά για τους crawlers της.
- Επιλογή ομάδας. Η αντιστοίχιση του User-agent δεν κάνει διάκριση πεζών-κεφαλαίων. Αν μία ή περισσότερες ομάδες κατονομάζουν το token του crawler, οι κανόνες τους συνδυάζονται και η ομάδα
User-agent: *αγνοείται εντελώς. Μόνο ένας crawler χωρίς δική του ομάδα ακολουθεί το*. - Επιλογή κανόνα. Ανάμεσα στους κανόνες
AllowκαιDisallowτων οποίων η διαδρομή ταιριάζει με το URL, κερδίζει αυτός με τους περισσότερους χαρακτήρες. Αν έναAllowκαι έναDisallowέχουν το ίδιο μήκος, πρέπει να κερδίζει τοAllow. - Ανάγνωση μοτίβων. Το
*ταιριάζει με οποιαδήποτε σειρά χαρακτήρων και το$σημαίνει το τέλος του URL. Οι διαδρομές κάνουν διάκριση πεζών-κεφαλαίων, οπότε το/Admin/δεν ταιριάζει με το/admin/. - Αν δεν ταιριάζει κανένας κανόνας, επιτρέπεται. Το ίδιο το
/robots.txtεπιτρέπεται πάντα.
Ο κωδικός απόκρισης του robots.txt μετρά όσο και οι κανόνες του. Απόκριση 4xx σημαίνει ότι ο crawler μπορεί να ανακτήσει τα πάντα· η Google αντιμετωπίζει κάθε 4xx εκτός από το 429 σαν να μην υπήρχε αρχείο. Απόκριση 5xx σημαίνει ότι ο crawler πρέπει να υποθέσει ότι όλος ο ιστότοπος απαγορεύεται. Η Google σταματά την ανίχνευση για τις πρώτες 12 ώρες και μετά χρησιμοποιεί το τελευταίο καλό αντίγραφο για έως 30 ημέρες. Το RFC 9309 απαιτεί από τους crawlers να αναλύουν τουλάχιστον 500 KiB και η Google αγνοεί ό,τι υπάρχει μετά τα 500 KiB.
Μπορείτε να δείξετε ένα παράδειγμα ελέγχου robots.txt βήμα βήμα;
Ακολουθεί ένα μικρό robots.txt με προεπιλεγμένη ομάδα και δύο κατονομασμένους AI crawlers:
Googlebotκαι/search/help/billing: επιτρέπεται. Δεν υπάρχει ομάδα για τον Googlebot, οπότε ισχύει η ομάδα*. Ταιριάζουν και τοDisallow: /searchκαι τοAllow: /search/help, και ο κανόναςAllowείναι μακρύτερος.GPTBotκαι/blog/post: μπλοκάρεται. Ο GPTBot έχει δική του ομάδα και τοDisallow: /ταιριάζει με κάθε διαδρομή.OAI-SearchBotκαι/admin/settings: επιτρέπεται. Ο OAI-SearchBot έχει δική του ομάδα, οπότε τοDisallow: /admin/της ομάδας*δεν ισχύει γι' αυτόν. Είναι η πιο συνηθισμένη έκπληξη· επαναλάβετε τους κοινούς κανόνες σε κάθε κατονομασμένη ομάδα.OAI-SearchBotκαι/files/report.pdf: μπλοκάρεται. ΤοAllow: /ταιριάζει με έναν χαρακτήρα, τοDisallow: /*.pdf$με επτά, και κερδίζει ο μακρύτερος κανόνας.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Οι ισοπαλίες είναι σπανιότερες αλλά ακολουθούν την ίδια λογική. Η τεκμηρίωση της Google δίνει την περίπτωση allow: /folder και disallow: /folder για το URL /folder/page: έχουν το ίδιο μήκος, οπότε το URL επιτρέπεται.
Πώς τρέχω τον parser robots.txt ανοιχτού κώδικα της Google;
Η Google δημοσιεύει τη βιβλιοθήκη C++ που χρησιμοποιεί στην παραγωγή για την αντιστοίχιση κανόνων robots.txt, μαζί με ένα μικρό πρόγραμμα γραμμής εντολών για να ελέγχετε ένα URL και έναν user agent σε τοπικό αρχείο. Με εγκατεστημένο το Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Το αποθετήριο τεκμηριώνει επίσης build με CMake, που παράγει ένα εκτελέσιμο με όνομα robots και τα ίδια ορίσματα. Το εργαλείο μόνο αναλύει και αντιστοιχίζει· δεν κατεβάζει το robots.txt, οπότε αποθηκεύστε πρώτα το ζωντανό αρχείο. Το README σημειώνει επίσης ότι συμπεριφορά των crawlers πέρα από την ανάλυση και την αντιστοίχιση δεν αποτελεί μέρος της βιβλιοθήκης.
Μπορώ να ελέγξω το robots.txt με το urllib.robotparser της Python;
Η τυπική βιβλιοθήκη της Python περιλαμβάνει parser που απαντά «επιτρέπεται» ή «μπλοκάρεται» για έναν user agent και ένα URL. Αυτό το script ελέγχει το παραπάνω παράδειγμα:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Ελέγξτε την έκδοση της Python πριν εμπιστευτείτε το αποτέλεσμα. Η υποστήριξη αντιστοίχισης κατά RFC 9309 προστέθηκε στο CPython το 2026 και κυκλοφόρησε πρώτη φορά στις Python 3.13.14 και 3.14.5. Οι παλαιότερες εκδόσεις, μαζί με όλη τη 3.12 και προγενέστερες, εφαρμόζουν τον πρώτο κανόνα που ταιριάζει με τη σειρά του αρχείου, όχι τον μακρύτερο, και δεν καταλαβαίνουν * ή $ μέσα σε διαδρομές. Σε αυτές τις εκδόσεις το script δίνει ανάποδα τον πρώτο και τον τέταρτο έλεγχο: ο Googlebot μπλοκάρεται από το /search/help/billing και ο OAI-SearchBot επιτρέπεται να ανακτήσει το PDF.
Δύο ακόμη διαφορές ισχύουν σε κάθε έκδοση. Το RobotFileParser.read() αντιμετωπίζει απόκριση 401 ή 403 για το robots.txt ως απαγόρευση όλων, ενώ το RFC 9309 λέει ότι ένα 4xx σημαίνει ότι όλα μπορούν να ανακτηθούν. Και το read() κατεβάζει το αρχείο με τον προεπιλεγμένο user agent της Python, που ορισμένα firewalls μπλοκάρουν, οπότε ένας έλεγχος μπορεί να αναφέρει μπλοκάρισμα για λόγους άσχετους με τους κανόνες σας. Αν ανακτήσετε μόνοι σας το αρχείο και το περάσετε στο parse(), όπως παραπάνω, αποφεύγετε και τα δύο.
Γιατί ο έλεγχος του robots.txt περνά ενώ ο crawler εξακολουθεί να μπλοκάρεται;
Ένα εργαλείο ελέγχου απαντά σε μία ερώτηση: επιτρέπουν οι κανόνες αυτό το URL; Αρκετά πράγματα βρίσκονται έξω από αυτή την απάντηση:
- Το ζωντανό αρχείο διαφέρει από αυτό που ελέγξατε, ή ο crawler χρησιμοποιεί ακόμη αντίγραφο από την cache. Το RFC 9309 λέει ότι οι crawlers δεν πρέπει να χρησιμοποιούν αντίγραφο από την cache για περισσότερες από 24 ώρες, και η Google γενικά κρατά cache έως 24 ώρες.
- Το URL του robots.txt επιστρέφει σελίδα HTML ή σφάλμα. Μια σελίδα HTML με κατάσταση 200 δεν περιέχει έγκυρους κανόνες, και μια απόκριση 5xx μπλοκάρει όλον τον ιστότοπο.
- Το robots.txt είναι αίτημα, όχι έλεγχος πρόσβασης. Ένα firewall, CDN ή προστασία από bots μπορεί να απαντά ακόμη στον crawler με 403 ή σελίδα πρόκλησης.
Πώς ελέγχω το robots.txt για όλους τους AI crawlers μαζί;
Ο δωρεάν έλεγχος robots.txt του AISeeWhy δέχεται τη διεύθυνση μιας σελίδας ή ένα robots.txt που επικολλάτε και δείχνει, για κάθε AI crawler και crawler μηχανής αναζήτησης, αν η σελίδα μπορεί να ανακτηθεί. Η δωρεάν γεννήτρια robots.txt γράφει ένα αρχείο από τις επιλογές σας, και ο δωρεάν έλεγχος ανακτά τη σελίδα ως 16 crawlers για να δείξει αν ένα firewall μπλοκάρει όσα επιτρέπει το robots.txt.
Διορθώσεις για αυτό το πρόβλημα
- Το robots.txt επιτρέπει το GPTBot, αλλά ο διακομιστής το αποκλείει
- Το robots.txt απαγορεύει το OAI-SearchBot
- Το robots.txt είναι σελίδα HTML
- Δεν είναι δυνατή η ανάκτηση του robots.txt
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Crawlers σε αυτό το άρθρο
Συχνές ερωτήσεις
Υπάρχει ακόμη robots.txt tester στο Google Search Console;
Όχι. Η Google το αντικατέστησε τον Νοέμβριο του 2023 με την αναφορά robots.txt, που δείχνει τα αρχεία που ανέκτησε η Google, την κατάστασή τους και τυχόν σφάλματα. Για να ελέγξετε αν ο Googlebot μπορεί να ανιχνεύσει ένα συγκεκριμένο URL, χρησιμοποιήστε το εργαλείο Έλεγχος URL.
Υπερισχύει το Allow του Disallow στο robots.txt;
Μόνο όταν ο κανόνας Allow είναι μακρύτερος ή ακριβώς ίδιου μήκους. Κερδίζει ο κανόνας με τη μακρύτερη διαδρομή που ταιριάζει, όποιου είδους κι αν είναι, και σε ισοπαλία κερδίζει το Allow.
Κάνει το robots.txt διάκριση πεζών-κεφαλαίων;
Εν μέρει. Η τιμή User-agent αντιστοιχίζεται χωρίς διάκριση πεζών-κεφαλαίων, οπότε το gptbot και το GPTBot αφορούν την ίδια ομάδα. Οι διαδρομές κάνουν διάκριση, οπότε το Disallow: /Private/ δεν μπλοκάρει το /private/.
Τι ελέγχει ένας validator του robots.txt;
Ένας validator ελέγχει ότι το αρχείο είναι προσβάσιμο, σερβίρεται ως κείμενο και είναι γραμμένο σε έγκυρη σύνταξη. Ένα tester πηγαίνει παραπέρα και δίνει ετυμηγορία για συγκεκριμένο URL και crawler. Συνήθως χρειάζεστε και τα δύο, γιατί ένα έγκυρο αρχείο μπορεί να μπλοκάρει μια σελίδα που θέλατε να επιτρέψετε.
Αν ένας crawler έχει δική του ομάδα, ακολουθεί ακόμη το User-agent: *;
Όχι. Μια κατονομασμένη ομάδα αντικαθιστά πλήρως την ομάδα * για αυτόν τον crawler. Κάθε κανόνας που θέλετε να ισχύει για όλους πρέπει να επαναληφθεί σε κάθε κατονομασμένη ομάδα.
Πηγές
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py