Cum testez regulile robots.txt pentru un URL și un anumit crawler?

Publicat

Răspuns scurt

Ca să testezi un URL pentru un crawler, găsește grupul care numește tokenul crawlerului (sau User-agent: * dacă niciun grup nu îl numește), adună toate regulile Allow și Disallow din el care se potrivesc cu calea URL-ului și aplic-o pe cea mai lungă; la egalitate câștigă Allow. Poți face asta manual, cu parserul open-source al Google sau cu un verificator care dă un verdict pentru fiecare crawler. Vechiul robots.txt Tester din Search Console nu mai există, iar raportul robots.txt care l-a înlocuit arată ce a descărcat Google, nu un verdict pentru un URL.

Un fișier robots.txt pare simplu până când ai nevoie de un răspuns sigur: are voie GPTBot să descarce această pagină? Dar OAI-SearchBot? Răspunsul depinde de grupul pe care îl alege crawlerul și de regula care câștigă în acel grup, iar la ambii pași e ușor să greșești. Iată cum funcționează potrivirea după RFC 9309, patru exemple rezolvate și trei moduri de a testa singur un fișier.

Pe această pagină
  1. Ce s-a întâmplat cu robots.txt Tester din Google Search Console?
  2. Cum decide un crawler dacă un URL este permis?
  3. Poți arăta pas cu pas un exemplu de test robots.txt?
  4. Cum rulez parserul open-source pentru robots.txt al Google?
  5. Pot testa robots.txt cu urllib.robotparser din Python?
  6. De ce trece un test robots.txt, dar crawlerul este tot blocat?
  7. Cum verific robots.txt pentru toate crawlerele AI deodată?

Ce s-a întâmplat cu robots.txt Tester din Google Search Console?

În noiembrie 2023, Google a adăugat în Search Console un raport robots.txt și a anunțat că renunță la robots.txt tester. Raportul se află la Setări și acoperă doar crawlerele Google. Arată:

Raportul nu primește un URL ca să-ți răspundă cu permis sau blocat. Pentru a verifica un URL pentru Googlebot, Google trimite la instrumentul Inspectarea adresei URL, iar pentru testarea locală, la biblioteca sa open-source pentru robots.txt. Niciunul nu îți spune nimic despre crawlere AI precum GPTBot sau ClaudeBot.

Cum decide un crawler dacă un URL este permis?

RFC 9309, Robots Exclusion Protocol, definește potrivirea. Google documentează același comportament pentru crawlerele sale.

Codul de răspuns al robots.txt contează la fel de mult ca regulile lui. Un răspuns 4xx înseamnă că crawlerul poate descărca orice; Google tratează orice 4xx, cu excepția lui 429, ca și cum fișierul nu ar exista. Un răspuns 5xx înseamnă că crawlerul trebuie să considere întregul site interzis. Google oprește accesarea în primele 12 ore, apoi folosește ultima copie bună timp de până la 30 de zile. RFC 9309 cere crawlerelor să analizeze cel puțin 500 KiB, iar Google ignoră tot ce trece de 500 KiB.

Poți arăta pas cu pas un exemplu de test robots.txt?

Iată un robots.txt mic, cu un grup implicit și două crawlere AI numite:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Egalitățile sunt mai rare, dar urmează aceeași logică. Documentația Google dă cazul allow: /folder și disallow: /folder pentru URL-ul /folder/page: ambele au aceeași lungime, deci URL-ul este permis.

Cum rulez parserul open-source pentru robots.txt al Google?

Google publică biblioteca C++ pe care o folosește în producție pentru potrivirea regulilor robots.txt, cu un mic program în linia de comandă care testează un URL și un user agent față de un fișier local. Cu Bazel instalat:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repository-ul documentează și un build cu CMake, care produce un executabil numit robots, cu aceleași argumente. Instrumentul doar analizează și potrivește; nu descarcă robots.txt, așa că salvează mai întâi fișierul live. README-ul notează și că un comportament specific crawlerului, în afara analizei și potrivirii, nu face parte din bibliotecă.

Pot testa robots.txt cu urllib.robotparser din Python?

Biblioteca standard Python include un parser care răspunde cu permis sau blocat pentru un user agent și un URL. Acest script testează exemplul de mai sus:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Verifică versiunea de Python înainte să ai încredere în rezultat. Suportul pentru potrivirea după RFC 9309 a fost adăugat în CPython în 2026 și a apărut prima dată în Python 3.13.14 și 3.14.5. Versiunile mai vechi, inclusiv toată seria 3.12 și cele anterioare, aplică prima regulă potrivită în ordinea din fișier, nu pe cea mai lungă, și nu înțeleg * sau $ în căi. Pe acele versiuni, scriptul raportează invers primul și al patrulea test: Googlebot blocat pentru /search/help/billing și OAI-SearchBot cu voie să descarce PDF-ul.

Alte două diferențe se aplică tuturor versiunilor. RobotFileParser.read() tratează un răspuns 401 sau 403 pentru robots.txt ca interdicție totală, în timp ce RFC 9309 spune că un 4xx înseamnă că totul poate fi descărcat. Iar read() descarcă fișierul cu user agent-ul implicit al Python, pe care unele firewall-uri îl blochează, așa că un test poate raporta blocat din motive care nu țin de regulile tale. Dacă descarci singur fișierul și îl dai lui parse(), ca mai sus, eviți ambele probleme.

De ce trece un test robots.txt, dar crawlerul este tot blocat?

Un tester răspunde la o singură întrebare: permit regulile acest URL? Mai multe lucruri rămân în afara acestui răspuns:

Cum verific robots.txt pentru toate crawlerele AI deodată?

Verificatorul robots.txt gratuit de la AISeeWhy primește adresa unei pagini sau un robots.txt lipit și arată, pentru fiecare crawler AI și de căutare, dacă acea pagină poate fi descărcată. Generatorul robots.txt gratuit scrie un fișier pe baza alegerilor tale, iar verificarea gratuită descarcă pagina ca 16 crawlere, ca să vezi dacă un firewall blochează ce permite robots.txt.

Remedieri pentru această problemă

Instrumente gratuite

Pașii următori

Crawlere din acest articol

Întrebări frecvente

Mai există un robots.txt tester în Google Search Console?

Nu. Google l-a înlocuit în noiembrie 2023 cu raportul robots.txt, care arată fișierele descărcate de Google, starea lor și eventualele erori. Ca să verifici dacă Googlebot poate accesa un anumit URL, folosește instrumentul Inspectarea adresei URL.

Are Allow prioritate față de Disallow în robots.txt?

Doar când regula Allow este mai lungă sau exact la fel de lungă. Câștigă regula cu cea mai lungă cale potrivită, indiferent de tip, iar la egalitate câștigă Allow.

Ține robots.txt cont de majuscule?

Parțial. Valoarea User-agent se potrivește fără a ține cont de majuscule, deci gptbot și GPTBot numesc același grup. Căile țin cont de majuscule, deci Disallow: /Private/ nu blochează /private/.

Ce verifică un validator robots.txt?

Un validator verifică dacă fișierul este accesibil, servit ca text și scris cu o sintaxă validă. Un tester merge mai departe și dă un verdict pentru un anumit URL și crawler. De obicei ai nevoie de amândouă, pentru că un fișier valid poate totuși bloca o pagină pe care voiai să o permiți.

Dacă un crawler are propriul grup, mai urmează User-agent: *?

Nu. Un grup numit înlocuiește complet grupul * pentru acel crawler. Orice regulă care vrei să se aplice tuturor trebuie repetată în fiecare grup numit.

Surse

Alte articole