Si t'i testoj rregullat e robots.txt për një URL dhe një zvarritës të caktuar?

Publikuar

Përgjigje e shkurtër

Për të testuar një URL për një zvarritës, gjeni grupin që përmend tokenin e zvarritësit (ose User-agent: * nëse asnjë nuk e përmend), mblidhni çdo rregull Allow dhe Disallow në të që përputhet me shtegun e URL-së dhe zbatoni më të gjatin; në barazim fiton Allow. Këtë mund ta bëni me dorë, me parserin open source të Google ose me një kontrollues që jep vendimin për çdo zvarritës. robots.txt Tester i vjetër i Google në Search Console nuk ekziston më, dhe raporti robots.txt që e zëvendësoi tregon çfarë mori Google, jo një vendim për një URL.

Një skedar robots.txt duket i thjeshtë derisa të duhet një përgjigje e prerë: a mund ta marrë GPTBot këtë faqe, po OAI-SearchBot? Përgjigjja varet nga cilin grup zgjedh zvarritësi dhe cili rregull fiton brenda atij grupi, dhe të dy hapat gabohen lehtë. Ja si funksionon përputhja sipas RFC 9309, katër shembuj të zgjidhur dhe tri mënyra për ta testuar vetë një skedar.

Në këtë faqe
  1. Çfarë ndodhi me robots.txt Tester në Google Search Console?
  2. Si vendos një zvarritës nëse një URL lejohet?
  3. Si duket një shembull testimi i robots.txt hap pas hapi?
  4. Si ta ekzekutoj parserin open source të Google për robots.txt?
  5. A mund ta testoj robots.txt me urllib.robotparser të Python?
  6. Pse testi i robots.txt kalon, ndërsa zvarritësi mbetet i bllokuar?
  7. Si ta kontrolloj robots.txt për të gjithë zvarritësit AI njëherësh?

Çfarë ndodhi me robots.txt Tester në Google Search Console?

Në nëntor 2023 Google shtoi një raport robots.txt në Search Console dhe tha se po e ndërpriste testuesin e robots.txt. Raporti ndodhet te Settings dhe mbulon vetëm zvarritësit e Google. Ai tregon:

Raporti nuk merr një URL për t'ju kthyer "lejohet" ose "bllokohet". Për të kontrolluar një URL për Googlebot, Google ju drejton te mjeti URL Inspection, dhe për testim lokal te biblioteka e tij open source e robots.txt. Asnjëra nuk ju tregon gjë për zvarritësit AI si GPTBot ose ClaudeBot.

Si vendos një zvarritës nëse një URL lejohet?

RFC 9309, Robots Exclusion Protocol, e përkufizon përputhjen. Google dokumenton të njëjtën sjellje për zvarritësit e vet.

Kodi i përgjigjes së robots.txt ka po aq rëndësi sa rregullat. Një përgjigje 4xx do të thotë që zvarritësi mund të marrë gjithçka; Google e trajton çdo 4xx përveç 429 sikur skedari të mos ekzistonte. Një përgjigje 5xx do të thotë që zvarritësi duhet të supozojë se i gjithë sajti është i ndaluar. Google ndalon zvarritjen për 12 orët e para, pastaj përdor kopjen e fundit të mirë deri në 30 ditë. RFC 9309 kërkon që zvarritësit të analizojnë të paktën 500 KiB, dhe Google shpërfill çdo gjë pas 500 KiB.

Si duket një shembull testimi i robots.txt hap pas hapi?

Ja një robots.txt i vogël me një grup të paracaktuar dhe dy zvarritës AI me emër:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Barazimet janë më të rralla, por ndjekin të njëjtën logjikë. Dokumentacioni i Google jep rastin e allow: /folder dhe disallow: /folder për URL-në /folder/page: të dy kanë të njëjtën gjatësi, ndaj URL-ja lejohet.

Si ta ekzekutoj parserin open source të Google për robots.txt?

Google publikon bibliotekën C++ që përdor në prodhim për të përputhur rregullat e robots.txt, me një program të vogël në rresht komandash për të testuar një URL dhe një user agent kundrejt një skedari lokal. Me Bazel të instaluar:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Depoja dokumenton edhe një build me CMake, i cili prodhon një skedar binar me emrin robots me të njëjtat argumente. Mjeti vetëm analizon dhe përputh; nuk e shkarkon robots.txt, ndaj ruajeni fillimisht skedarin live. README-ja e tij vëren gjithashtu se sjellja specifike e zvarritësve jashtë analizës dhe përputhjes nuk është pjesë e bibliotekës.

A mund ta testoj robots.txt me urllib.robotparser të Python?

Biblioteka standarde e Python përfshin një parser që përgjigjet "lejohet" ose "bllokohet" për një user agent dhe një URL. Ky skript teston shembullin e mësipërm:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Kontrolloni versionin e Python para se t'i besoni rezultatit. Mbështetja për përputhjen sipas RFC 9309 u shtua në CPython në 2026 dhe doli për herë të parë në Python 3.13.14 dhe 3.14.5. Versionet më të vjetra, përfshirë gjithë 3.12 dhe më të hershmet, zbatojnë rregullin e parë që përputhet sipas radhës në skedar, jo më të gjatin, dhe nuk i kuptojnë * ose $ brenda shtigjeve. Në ato versione skripti e jep testin e parë dhe të katërt së prapthi: Googlebot i bllokuar nga /search/help/billing dhe OAI-SearchBot i lejuar ta marrë PDF-në.

Dy dallime të tjera vlejnë për çdo version. RobotFileParser.read() e trajton një përgjigje 401 ose 403 për robots.txt si ndalim të gjithçkaje, ndërsa RFC 9309 thotë se një 4xx do të thotë që gjithçka mund të merret. Dhe read() e shkarkon skedarin me user agent-in e paracaktuar të Python, të cilin disa firewall-e e bllokojnë, ndaj një test mund të raportojë bllokim për arsye që s'kanë lidhje me rregullat tuaja. Nëse e merrni vetë skedarin dhe ia kaloni parse(), si më sipër, i shmangni të dyja.

Pse testi i robots.txt kalon, ndërsa zvarritësi mbetet i bllokuar?

Një testues i përgjigjet një pyetjeje: a e lejojnë rregullat këtë URL? Disa gjëra mbeten jashtë asaj përgjigjeje:

Si ta kontrolloj robots.txt për të gjithë zvarritësit AI njëherësh?

Kontrolluesi falas i robots.txt i AISeeWhy merr adresën e një faqeje ose një robots.txt të ngjitur dhe tregon, për çdo zvarritës AI dhe kërkimi, nëse ajo faqe mund të merret. Gjeneruesi falas i robots.txt shkruan një skedar sipas zgjedhjeve tuaja, dhe kontrolli falas e merr faqen si 16 zvarritës për të treguar nëse një firewall bllokon atë që robots.txt e lejon.

Rregullime për këtë problem

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

A ka ende një testues robots.txt në Google Search Console?

Jo. Google e zëvendësoi në nëntor 2023 me raportin robots.txt, i cili tregon skedarët që mori Google, statusin e tyre dhe gabimet. Për të kontrolluar nëse Googlebot mund të zvarrisë një URL të caktuar, përdorni mjetin URL Inspection.

A e anulon Allow rregullin Disallow në robots.txt?

Vetëm kur rregulli Allow është më i gjatë ose saktësisht po aq i gjatë. Fiton rregulli me shtegun përputhës më të gjatë, cilido qoftë lloji i tij, dhe në barazim fiton Allow.

A i dallon robots.txt shkronjat e mëdha nga të voglat?

Pjesërisht. Vlera e User-agent përputhet pa marrë parasysh shkronjat, ndaj gptbot dhe GPTBot emërtojnë të njëjtin grup. Shtigjet i dallojnë shkronjat, ndaj Disallow: /Private/ nuk e bllokon /private/.

Çfarë kontrollon një validues i robots.txt?

Një validues kontrollon që skedari të jetë i arritshëm, të shërbehet si tekst dhe të jetë shkruar me sintaksë të vlefshme. Një testues shkon më tej dhe jep vendimin për një URL dhe zvarritës të caktuar. Zakonisht ju duhen të dyja, sepse një skedar i vlefshëm mund të bllokojë prapë një faqe që donit ta lejonit.

Nëse një zvarritës ka grupin e vet, a e ndjek ende User-agent: *?

Jo. Një grup me emër e zëvendëson plotësisht grupin * për atë zvarritës. Çdo rregull që doni të vlejë për të gjithë duhet përsëritur në çdo grup me emër.

Burimet

Më shumë artikuj