Si t'i testoj rregullat e robots.txt për një URL dhe një zvarritës të caktuar?
Për të testuar një URL për një zvarritës, gjeni grupin që përmend tokenin e zvarritësit (ose User-agent: * nëse asnjë nuk e përmend), mblidhni çdo rregull Allow dhe Disallow në të që përputhet me shtegun e URL-së dhe zbatoni më të gjatin; në barazim fiton Allow. Këtë mund ta bëni me dorë, me parserin open source të Google ose me një kontrollues që jep vendimin për çdo zvarritës. robots.txt Tester i vjetër i Google në Search Console nuk ekziston më, dhe raporti robots.txt që e zëvendësoi tregon çfarë mori Google, jo një vendim për një URL.
Një skedar robots.txt duket i thjeshtë derisa të duhet një përgjigje e prerë: a mund ta marrë GPTBot këtë faqe, po OAI-SearchBot? Përgjigjja varet nga cilin grup zgjedh zvarritësi dhe cili rregull fiton brenda atij grupi, dhe të dy hapat gabohen lehtë. Ja si funksionon përputhja sipas RFC 9309, katër shembuj të zgjidhur dhe tri mënyra për ta testuar vetë një skedar.
Në këtë faqe
- Çfarë ndodhi me robots.txt Tester në Google Search Console?
- Si vendos një zvarritës nëse një URL lejohet?
- Si duket një shembull testimi i robots.txt hap pas hapi?
- Si ta ekzekutoj parserin open source të Google për robots.txt?
- A mund ta testoj robots.txt me urllib.robotparser të Python?
- Pse testi i robots.txt kalon, ndërsa zvarritësi mbetet i bllokuar?
- Si ta kontrolloj robots.txt për të gjithë zvarritësit AI njëherësh?
Çfarë ndodhi me robots.txt Tester në Google Search Console?
Në nëntor 2023 Google shtoi një raport robots.txt në Search Console dhe tha se po e ndërpriste testuesin e robots.txt. Raporti ndodhet te Settings dhe mbulon vetëm zvarritësit e Google. Ai tregon:
- Skedarët robots.txt që Google gjeti për 20 hostet kryesore të pronës suaj.
- Statusin e marrjes së çdo skedari (
Fetched,Not Fetched - Not found (404)oseNot Fetched - Any other reason), kur e kontrolloi Google për herë të fundit dhe madhësinë e tij në bajt. - Problemet në skedar. Google thotë se gabimet e pengojnë përdorimin e një rregulli, ndërsa paralajmërimet jo.
- Versionet që Google mori në 30 ditët e fundit dhe një buton për të kërkuar rizvarritje pasi ta rregulloni skedarin.
Raporti nuk merr një URL për t'ju kthyer "lejohet" ose "bllokohet". Për të kontrolluar një URL për Googlebot, Google ju drejton te mjeti URL Inspection, dhe për testim lokal te biblioteka e tij open source e robots.txt. Asnjëra nuk ju tregon gjë për zvarritësit AI si GPTBot ose ClaudeBot.
Si vendos një zvarritës nëse një URL lejohet?
RFC 9309, Robots Exclusion Protocol, e përkufizon përputhjen. Google dokumenton të njëjtën sjellje për zvarritësit e vet.
- Zgjidhni grupin. Përputhja e User-agent nuk i dallon shkronjat e mëdha nga të voglat. Nëse një ose më shumë grupe përmendin tokenin e zvarritësit, rregullat e tyre bashkohen dhe grupi
User-agent: *shpërfillet krejtësisht. Vetëm një zvarritës pa grup me emrin e vet ndjek*. - Zgjidhni rregullin. Ndër rregullat
AllowdheDisallowshtegu i të cilave përputhet me URL-në, fiton ai me më shumë karaktere. Nëse njëAllowdhe njëDisallowjanë njësoj të gjata, duhet të fitojëAllow. - Lexoni modelet.
*përputhet me çdo varg karakteresh dhe$shënon fundin e URL-së. Shtigjet i dallojnë shkronjat e mëdha nga të voglat, ndaj/Admin/nuk përputhet me/admin/. - Pa rregull që përputhet do të thotë i lejuar. Vetë
/robots.txtlejohet gjithmonë.
Kodi i përgjigjes së robots.txt ka po aq rëndësi sa rregullat. Një përgjigje 4xx do të thotë që zvarritësi mund të marrë gjithçka; Google e trajton çdo 4xx përveç 429 sikur skedari të mos ekzistonte. Një përgjigje 5xx do të thotë që zvarritësi duhet të supozojë se i gjithë sajti është i ndaluar. Google ndalon zvarritjen për 12 orët e para, pastaj përdor kopjen e fundit të mirë deri në 30 ditë. RFC 9309 kërkon që zvarritësit të analizojnë të paktën 500 KiB, dhe Google shpërfill çdo gjë pas 500 KiB.
Si duket një shembull testimi i robots.txt hap pas hapi?
Ja një robots.txt i vogël me një grup të paracaktuar dhe dy zvarritës AI me emër:
Googlebotdhe/search/help/billing: i lejuar. Nuk ka grup për Googlebot, ndaj zbatohet grupi*. Përputhen siDisallow: /searchashtu edheAllow: /search/help, dhe rregulliAllowështë më i gjatë.GPTBotdhe/blog/post: i bllokuar. GPTBot ka grupin e vet dheDisallow: /përputhet me çdo shteg.OAI-SearchBotdhe/admin/settings: i lejuar. OAI-SearchBot ka grupin e vet, ndajDisallow: /admin/në grupin*nuk zbatohet për të. Kjo është befasia më e zakonshme; përsëritni rregullat e përbashkëta në çdo grup me emër.OAI-SearchBotdhe/files/report.pdf: i bllokuar.Allow: /përputhet me një karakter,Disallow: /*.pdf$përputhet me shtatë dhe fiton rregulli më i gjatë.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Barazimet janë më të rralla, por ndjekin të njëjtën logjikë. Dokumentacioni i Google jep rastin e allow: /folder dhe disallow: /folder për URL-në /folder/page: të dy kanë të njëjtën gjatësi, ndaj URL-ja lejohet.
Si ta ekzekutoj parserin open source të Google për robots.txt?
Google publikon bibliotekën C++ që përdor në prodhim për të përputhur rregullat e robots.txt, me një program të vogël në rresht komandash për të testuar një URL dhe një user agent kundrejt një skedari lokal. Me Bazel të instaluar:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Depoja dokumenton edhe një build me CMake, i cili prodhon një skedar binar me emrin robots me të njëjtat argumente. Mjeti vetëm analizon dhe përputh; nuk e shkarkon robots.txt, ndaj ruajeni fillimisht skedarin live. README-ja e tij vëren gjithashtu se sjellja specifike e zvarritësve jashtë analizës dhe përputhjes nuk është pjesë e bibliotekës.
A mund ta testoj robots.txt me urllib.robotparser të Python?
Biblioteka standarde e Python përfshin një parser që përgjigjet "lejohet" ose "bllokohet" për një user agent dhe një URL. Ky skript teston shembullin e mësipërm:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Kontrolloni versionin e Python para se t'i besoni rezultatit. Mbështetja për përputhjen sipas RFC 9309 u shtua në CPython në 2026 dhe doli për herë të parë në Python 3.13.14 dhe 3.14.5. Versionet më të vjetra, përfshirë gjithë 3.12 dhe më të hershmet, zbatojnë rregullin e parë që përputhet sipas radhës në skedar, jo më të gjatin, dhe nuk i kuptojnë * ose $ brenda shtigjeve. Në ato versione skripti e jep testin e parë dhe të katërt së prapthi: Googlebot i bllokuar nga /search/help/billing dhe OAI-SearchBot i lejuar ta marrë PDF-në.
Dy dallime të tjera vlejnë për çdo version. RobotFileParser.read() e trajton një përgjigje 401 ose 403 për robots.txt si ndalim të gjithçkaje, ndërsa RFC 9309 thotë se një 4xx do të thotë që gjithçka mund të merret. Dhe read() e shkarkon skedarin me user agent-in e paracaktuar të Python, të cilin disa firewall-e e bllokojnë, ndaj një test mund të raportojë bllokim për arsye që s'kanë lidhje me rregullat tuaja. Nëse e merrni vetë skedarin dhe ia kaloni parse(), si më sipër, i shmangni të dyja.
Pse testi i robots.txt kalon, ndërsa zvarritësi mbetet i bllokuar?
Një testues i përgjigjet një pyetjeje: a e lejojnë rregullat këtë URL? Disa gjëra mbeten jashtë asaj përgjigjeje:
- Skedari live ndryshon nga ai që testuat, ose zvarritësi përdor ende një kopje në cache. RFC 9309 thotë se zvarritësit nuk duhet të përdorin një kopje në cache për më shumë se 24 orë, dhe Google në përgjithësi ruan në cache deri në 24 orë.
- URL-ja e robots.txt kthen një faqe HTML ose një gabim. Një faqe HTML me status 200 nuk përmban rregulla të vlefshme, dhe një përgjigje 5xx bllokon gjithë sajtin.
- robots.txt është kërkesë, jo kontroll qasjeje. Një firewall, CDN ose mbrojtje nga botët mund t'i përgjigjet prapë zvarritësit me 403 ose me një faqe sfide.
Si ta kontrolloj robots.txt për të gjithë zvarritësit AI njëherësh?
Kontrolluesi falas i robots.txt i AISeeWhy merr adresën e një faqeje ose një robots.txt të ngjitur dhe tregon, për çdo zvarritës AI dhe kërkimi, nëse ajo faqe mund të merret. Gjeneruesi falas i robots.txt shkruan një skedar sipas zgjedhjeve tuaja, dhe kontrolli falas e merr faqen si 16 zvarritës për të treguar nëse një firewall bllokon atë që robots.txt e lejon.
Rregullime për këtë problem
- robots.txt e lejon GPTBot, por serveri e bllokon
- robots.txt e ndalon OAI-SearchBot
- robots.txt është faqe HTML
- robots.txt nuk mund të merret
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
A ka ende një testues robots.txt në Google Search Console?
Jo. Google e zëvendësoi në nëntor 2023 me raportin robots.txt, i cili tregon skedarët që mori Google, statusin e tyre dhe gabimet. Për të kontrolluar nëse Googlebot mund të zvarrisë një URL të caktuar, përdorni mjetin URL Inspection.
A e anulon Allow rregullin Disallow në robots.txt?
Vetëm kur rregulli Allow është më i gjatë ose saktësisht po aq i gjatë. Fiton rregulli me shtegun përputhës më të gjatë, cilido qoftë lloji i tij, dhe në barazim fiton Allow.
A i dallon robots.txt shkronjat e mëdha nga të voglat?
Pjesërisht. Vlera e User-agent përputhet pa marrë parasysh shkronjat, ndaj gptbot dhe GPTBot emërtojnë të njëjtin grup. Shtigjet i dallojnë shkronjat, ndaj Disallow: /Private/ nuk e bllokon /private/.
Çfarë kontrollon një validues i robots.txt?
Një validues kontrollon që skedari të jetë i arritshëm, të shërbehet si tekst dhe të jetë shkruar me sintaksë të vlefshme. Një testues shkon më tej dhe jep vendimin për një URL dhe zvarritës të caktuar. Zakonisht ju duhen të dyja, sepse një skedar i vlefshëm mund të bllokojë prapë një faqe që donit ta lejonit.
Nëse një zvarritës ka grupin e vet, a e ndjek ende User-agent: *?
Jo. Një grup me emër e zëvendëson plotësisht grupin * për atë zvarritës. Çdo rregull që doni të vlejë për të gjithë duhet përsëritur në çdo grup me emër.
Burimet
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py