Cum testez regulile robots.txt pentru un URL și un anumit crawler?
Ca să testezi un URL pentru un crawler, găsește grupul care numește tokenul crawlerului (sau User-agent: * dacă niciun grup nu îl numește), adună toate regulile Allow și Disallow din el care se potrivesc cu calea URL-ului și aplic-o pe cea mai lungă; la egalitate câștigă Allow. Poți face asta manual, cu parserul open-source al Google sau cu un verificator care dă un verdict pentru fiecare crawler. Vechiul robots.txt Tester din Search Console nu mai există, iar raportul robots.txt care l-a înlocuit arată ce a descărcat Google, nu un verdict pentru un URL.
Un fișier robots.txt pare simplu până când ai nevoie de un răspuns sigur: are voie GPTBot să descarce această pagină? Dar OAI-SearchBot? Răspunsul depinde de grupul pe care îl alege crawlerul și de regula care câștigă în acel grup, iar la ambii pași e ușor să greșești. Iată cum funcționează potrivirea după RFC 9309, patru exemple rezolvate și trei moduri de a testa singur un fișier.
Pe această pagină
- Ce s-a întâmplat cu robots.txt Tester din Google Search Console?
- Cum decide un crawler dacă un URL este permis?
- Poți arăta pas cu pas un exemplu de test robots.txt?
- Cum rulez parserul open-source pentru robots.txt al Google?
- Pot testa robots.txt cu urllib.robotparser din Python?
- De ce trece un test robots.txt, dar crawlerul este tot blocat?
- Cum verific robots.txt pentru toate crawlerele AI deodată?
Ce s-a întâmplat cu robots.txt Tester din Google Search Console?
În noiembrie 2023, Google a adăugat în Search Console un raport robots.txt și a anunțat că renunță la robots.txt tester. Raportul se află la Setări și acoperă doar crawlerele Google. Arată:
- Fișierele robots.txt pe care Google le-a găsit pentru primele 20 de hosturi ale proprietății tale.
- Starea descărcării fiecărui fișier (
Fetched,Not Fetched - Not found (404)sauNot Fetched - Any other reason), când l-a verificat Google ultima dată și dimensiunea lui în octeți. - Problemele din fișier. Google spune că erorile împiedică folosirea unei reguli, iar avertismentele nu.
- Versiunile descărcate de Google în ultimele 30 de zile și un buton pentru a cere o nouă accesare după ce repari fișierul.
Raportul nu primește un URL ca să-ți răspundă cu permis sau blocat. Pentru a verifica un URL pentru Googlebot, Google trimite la instrumentul Inspectarea adresei URL, iar pentru testarea locală, la biblioteca sa open-source pentru robots.txt. Niciunul nu îți spune nimic despre crawlere AI precum GPTBot sau ClaudeBot.
Cum decide un crawler dacă un URL este permis?
RFC 9309, Robots Exclusion Protocol, definește potrivirea. Google documentează același comportament pentru crawlerele sale.
- Alege grupul. Potrivirea user-agent nu ține cont de majuscule. Dacă unul sau mai multe grupuri numesc tokenul crawlerului, regulile lor se combină, iar grupul
User-agent: *este ignorat complet. Doar un crawler fără grup propriu urmează*. - Alege regula. Dintre regulile
AllowșiDisallowa căror cale se potrivește cu URL-ul, câștigă cea cu cele mai multe caractere. Dacă unAllowși unDisallowau aceeași lungime, ar trebui să câștigeAllow. - Citește tiparele.
*se potrivește cu orice șir de caractere, iar$marchează sfârșitul URL-ului. Căile țin cont de majuscule, deci/Admin/nu se potrivește cu/admin/. - Dacă nicio regulă nu se potrivește, URL-ul este permis.
/robots.txtînsuși este întotdeauna permis.
Codul de răspuns al robots.txt contează la fel de mult ca regulile lui. Un răspuns 4xx înseamnă că crawlerul poate descărca orice; Google tratează orice 4xx, cu excepția lui 429, ca și cum fișierul nu ar exista. Un răspuns 5xx înseamnă că crawlerul trebuie să considere întregul site interzis. Google oprește accesarea în primele 12 ore, apoi folosește ultima copie bună timp de până la 30 de zile. RFC 9309 cere crawlerelor să analizeze cel puțin 500 KiB, iar Google ignoră tot ce trece de 500 KiB.
Poți arăta pas cu pas un exemplu de test robots.txt?
Iată un robots.txt mic, cu un grup implicit și două crawlere AI numite:
Googlebotși/search/help/billing: permis. Nu există un grup Googlebot, deci se aplică grupul*. AtâtDisallow: /search, cât șiAllow: /search/helpse potrivesc, iar regulaAlloweste mai lungă.GPTBotși/blog/post: blocat. GPTBot are propriul grup, iarDisallow: /se potrivește cu orice cale.OAI-SearchBotși/admin/settings: permis. OAI-SearchBot are propriul grup, deciDisallow: /admin/din grupul*nu i se aplică. Aceasta este cea mai frecventă surpriză; repetă regulile comune în fiecare grup numit.OAI-SearchBotși/files/report.pdf: blocat.Allow: /se potrivește cu un caracter,Disallow: /*.pdf$cu șapte, iar regula mai lungă câștigă.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Egalitățile sunt mai rare, dar urmează aceeași logică. Documentația Google dă cazul allow: /folder și disallow: /folder pentru URL-ul /folder/page: ambele au aceeași lungime, deci URL-ul este permis.
Cum rulez parserul open-source pentru robots.txt al Google?
Google publică biblioteca C++ pe care o folosește în producție pentru potrivirea regulilor robots.txt, cu un mic program în linia de comandă care testează un URL și un user agent față de un fișier local. Cu Bazel instalat:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repository-ul documentează și un build cu CMake, care produce un executabil numit robots, cu aceleași argumente. Instrumentul doar analizează și potrivește; nu descarcă robots.txt, așa că salvează mai întâi fișierul live. README-ul notează și că un comportament specific crawlerului, în afara analizei și potrivirii, nu face parte din bibliotecă.
Pot testa robots.txt cu urllib.robotparser din Python?
Biblioteca standard Python include un parser care răspunde cu permis sau blocat pentru un user agent și un URL. Acest script testează exemplul de mai sus:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Verifică versiunea de Python înainte să ai încredere în rezultat. Suportul pentru potrivirea după RFC 9309 a fost adăugat în CPython în 2026 și a apărut prima dată în Python 3.13.14 și 3.14.5. Versiunile mai vechi, inclusiv toată seria 3.12 și cele anterioare, aplică prima regulă potrivită în ordinea din fișier, nu pe cea mai lungă, și nu înțeleg * sau $ în căi. Pe acele versiuni, scriptul raportează invers primul și al patrulea test: Googlebot blocat pentru /search/help/billing și OAI-SearchBot cu voie să descarce PDF-ul.
Alte două diferențe se aplică tuturor versiunilor. RobotFileParser.read() tratează un răspuns 401 sau 403 pentru robots.txt ca interdicție totală, în timp ce RFC 9309 spune că un 4xx înseamnă că totul poate fi descărcat. Iar read() descarcă fișierul cu user agent-ul implicit al Python, pe care unele firewall-uri îl blochează, așa că un test poate raporta blocat din motive care nu țin de regulile tale. Dacă descarci singur fișierul și îl dai lui parse(), ca mai sus, eviți ambele probleme.
De ce trece un test robots.txt, dar crawlerul este tot blocat?
Un tester răspunde la o singură întrebare: permit regulile acest URL? Mai multe lucruri rămân în afara acestui răspuns:
- Fișierul live diferă de cel testat sau crawlerul folosește încă o copie din cache. RFC 9309 spune că crawlerele nu ar trebui să folosească o copie din cache mai mult de 24 de ore, iar Google păstrează în general fișierul în cache până la 24 de ore.
- URL-ul robots.txt returnează o pagină HTML sau o eroare. O pagină HTML cu status 200 nu conține reguli valide, iar un răspuns 5xx blochează tot site-ul.
- robots.txt este o rugăminte, nu un control al accesului. Un firewall, un CDN sau o protecție anti-bot pot răspunde totuși crawlerului cu un 403 sau cu o pagină de verificare.
Cum verific robots.txt pentru toate crawlerele AI deodată?
Verificatorul robots.txt gratuit de la AISeeWhy primește adresa unei pagini sau un robots.txt lipit și arată, pentru fiecare crawler AI și de căutare, dacă acea pagină poate fi descărcată. Generatorul robots.txt gratuit scrie un fișier pe baza alegerilor tale, iar verificarea gratuită descarcă pagina ca 16 crawlere, ca să vezi dacă un firewall blochează ce permite robots.txt.
Remedieri pentru această problemă
- robots.txt permite GPTBot, dar serverul îl blochează
- robots.txt interzice OAI-SearchBot
- robots.txt este o pagină HTML
- robots.txt nu poate fi preluat
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Mai există un robots.txt tester în Google Search Console?
Nu. Google l-a înlocuit în noiembrie 2023 cu raportul robots.txt, care arată fișierele descărcate de Google, starea lor și eventualele erori. Ca să verifici dacă Googlebot poate accesa un anumit URL, folosește instrumentul Inspectarea adresei URL.
Are Allow prioritate față de Disallow în robots.txt?
Doar când regula Allow este mai lungă sau exact la fel de lungă. Câștigă regula cu cea mai lungă cale potrivită, indiferent de tip, iar la egalitate câștigă Allow.
Ține robots.txt cont de majuscule?
Parțial. Valoarea User-agent se potrivește fără a ține cont de majuscule, deci gptbot și GPTBot numesc același grup. Căile țin cont de majuscule, deci Disallow: /Private/ nu blochează /private/.
Ce verifică un validator robots.txt?
Un validator verifică dacă fișierul este accesibil, servit ca text și scris cu o sintaxă validă. Un tester merge mai departe și dă un verdict pentru un anumit URL și crawler. De obicei ai nevoie de amândouă, pentru că un fișier valid poate totuși bloca o pagină pe care voiai să o permiți.
Dacă un crawler are propriul grup, mai urmează User-agent: *?
Nu. Un grup numit înlocuiește complet grupul * pentru acel crawler. Orice regulă care vrei să se aplice tuturor trebuie repetată în fiecare grup numit.
Surse
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py