Paano ko susubukin ang mga rule ng robots.txt para sa isang URL at isang crawler?

Inilathala

Maikling sagot

Para subukin ang URL para sa isang crawler, hanapin ang group na nagpapangalan sa token ng crawler (o User-agent: * kung wala), kolektahin ang bawat Allow at Disallow na rule doon na tumutugma sa path ng URL, at ilapat ang pinakamahaba; kapag pantay, Allow ang panalo. Magagawa mo ito nang mano-mano, gamit ang open-source parser ng Google, o gamit ang checker na nagbibigay ng hatol para sa bawat crawler. Wala na ang lumang robots.txt Tester sa Search Console, at ang robots.txt report na pumalit dito ay nagpapakita ng kinuha ng Google, hindi hatol para sa isang URL.

Mukhang simple ang robots.txt file hanggang kailangan mo ng tiyak na sagot: puwede bang kunin ng GPTBot ang pahinang ito, at ng OAI-SearchBot? Nakadepende ang sagot sa kung aling group ang pinipili ng crawler at kung aling rule sa group na iyon ang nananalo, at madaling magkamali sa dalawang hakbang. Narito kung paano gumagana ang matching ayon sa RFC 9309, apat na halimbawa, at tatlong paraan para subukin mismo ang isang file.

Sa pahinang ito
  1. Ano ang nangyari sa robots.txt Tester sa Google Search Console?
  2. Paano nagpapasya ang crawler kung pinapayagan ang isang URL?
  3. Puwede mo bang ipakita ang isang halimbawa ng pagsubok sa robots.txt?
  4. Paano ko patatakbuhin ang open-source robots.txt parser ng Google?
  5. Masusubukan ko ba ang robots.txt gamit ang urllib.robotparser ng Python?
  6. Bakit pumapasa ang robots.txt test pero naka-block pa rin ang crawler?
  7. Paano ko susuriin ang robots.txt para sa lahat ng AI crawler nang sabay?

Ano ang nangyari sa robots.txt Tester sa Google Search Console?

Noong Nobyembre 2023, nagdagdag ang Google ng robots.txt report sa Search Console at sinabing ihihinto na nito ang robots.txt tester. Nasa ilalim ng Settings ang report at mga crawler lang ng Google ang saklaw. Ipinapakita nito ang:

Hindi tumatanggap ng URL ang report para magbalik ng allowed o blocked. Para suriin ang isang URL para sa Googlebot, itinuturo ng Google ang URL Inspection tool, at para sa lokal na pagsubok, ang open-source nitong robots.txt library. Wala sa dalawa ang nagsasabi ng kahit ano tungkol sa mga AI crawler gaya ng GPTBot o ClaudeBot.

Paano nagpapasya ang crawler kung pinapayagan ang isang URL?

Ang RFC 9309, ang Robots Exclusion Protocol, ang nagtatakda ng matching. Pareho ang pag-uugaling dinodokumento ng Google para sa mga crawler nito.

Kasinghalaga ng mga rule ang response code ng robots.txt. Kapag 4xx ang sagot, puwedeng kunin ng crawler ang lahat; itinuturing ng Google ang bawat 4xx maliban sa 429 na parang walang file. Kapag 5xx ang sagot, dapat ipalagay ng crawler na naka-disallow ang buong site. Humihinto ang Google sa pag-crawl sa unang 12 oras, saka ginagamit ang huling maayos na kopya nang hanggang 30 araw. Hinihingi ng RFC 9309 na mag-parse ang mga crawler ng hindi bababa sa 500 KiB, at binabalewala ng Google ang anumang lampas sa 500 KiB.

Puwede mo bang ipakita ang isang halimbawa ng pagsubok sa robots.txt?

Narito ang maliit na robots.txt na may default na group at dalawang pinangalanang AI crawler:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Mas bihira ang pantay pero pareho ang lohika. Ibinibigay ng dokumentasyon ng Google ang kaso ng allow: /folder at disallow: /folder para sa URL na /folder/page: magkasinghaba ang dalawa, kaya pinapayagan ang URL.

Paano ko patatakbuhin ang open-source robots.txt parser ng Google?

Inilalathala ng Google ang C++ library na ginagamit nito sa production para i-match ang mga rule ng robots.txt, kasama ang maliit na command-line program para subukin ang isang URL at isang user agent laban sa lokal na file. Kung naka-install ang Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Nakadokumento rin sa repository ang build gamit ang CMake, na gumagawa ng binary na robots na may parehong mga argument. Nagpa-parse at nagma-match lang ang tool; hindi nito dina-download ang robots.txt, kaya i-save muna ang live na file. Sinasabi rin ng README nito na hindi bahagi ng library ang pag-uugaling partikular sa crawler na labas sa parsing at matching.

Masusubukan ko ba ang robots.txt gamit ang urllib.robotparser ng Python?

May parser ang standard library ng Python na sumasagot ng allowed o blocked para sa isang user agent at isang URL. Sinusubok ng script na ito ang halimbawa sa itaas:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Tingnan ang bersyon ng Python mo bago pagkatiwalaan ang output. Idinagdag sa CPython noong 2026 ang suporta sa matching ayon sa RFC 9309 at unang lumabas sa Python 3.13.14 at 3.14.5. Ang mga mas lumang release, kasama ang buong 3.12 at mas luma, ay naglalapat ng unang tumutugmang rule ayon sa pagkakasunod sa file, hindi ng pinakamahaba, at hindi nauunawaan ang * o $ sa loob ng mga path. Sa mga bersyong iyon, baligtad ang ulat ng script sa una at ikaapat na test: naka-block ang Googlebot sa /search/help/billing at pinapayagan ang OAI-SearchBot na kunin ang PDF.

Dalawa pang pagkakaiba ang nalalapat sa bawat bersyon. Itinuturing ng RobotFileParser.read() ang 401 o 403 na sagot para sa robots.txt bilang disallow sa lahat, habang sinasabi ng RFC 9309 na kapag 4xx, puwedeng kunin ang lahat. At dina-download ng read() ang file gamit ang default na user agent ng Python, na bina-block ng ilang firewall, kaya puwedeng mag-ulat ang test ng blocked dahil sa mga dahilang walang kinalaman sa mga rule mo. Naiiwasan ang dalawa kapag ikaw mismo ang kumuha ng file at ipinasa ito sa parse(), gaya sa itaas.

Bakit pumapasa ang robots.txt test pero naka-block pa rin ang crawler?

Iisang tanong ang sinasagot ng tester: pinapayagan ba ng mga rule ang URL na ito? Ilang bagay ang nasa labas ng sagot na iyon:

Paano ko susuriin ang robots.txt para sa lahat ng AI crawler nang sabay?

Tumatanggap ang libreng robots.txt checker ng AISeeWhy ng address ng pahina o naka-paste na robots.txt at ipinapakita, para sa bawat AI at search crawler, kung puwedeng kunin ang pahinang iyon. Gumagawa ng file ang libreng robots.txt generator mula sa mga pinili mo, at kinukuha ng libreng pagsusuri ang pahina bilang 16 na crawler para ipakita kung bina-block ng firewall ang pinapayagan ng robots.txt.

Mga ayos para sa problemang ito

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

May robots.txt tester pa ba sa Google Search Console?

Wala na. Pinalitan ito ng Google noong Nobyembre 2023 ng robots.txt report, na nagpapakita ng mga file na kinuha ng Google, ang status nila at anumang error. Para malaman kung puwedeng i-crawl ng Googlebot ang isang tiyak na URL, gamitin ang URL Inspection tool.

Nangingibabaw ba ang Allow sa Disallow sa robots.txt?

Kapag mas mahaba lang ang Allow na rule, o eksaktong kasinghaba. Ang rule na may pinakamahabang tumutugmang path ang panalo, anuman ang uri nito, at Allow ang panalo kapag pantay.

Case-sensitive ba ang robots.txt?

Bahagya. Mina-match ang value ng User-agent nang hindi pinapansin ang laki ng titik, kaya iisang group ang tinutukoy ng gptbot at GPTBot. Case-sensitive ang mga path, kaya hindi bina-block ng Disallow: /Private/ ang /private/.

Ano ang sinusuri ng robots.txt validator?

Sinusuri ng validator na naaabot ang file, ipinapadala bilang text at nakasulat sa valid na syntax. Mas malayo ang tester at nagbibigay ng hatol para sa isang tiyak na URL at crawler. Kadalasang kailangan mo ang dalawa, dahil puwede pa ring i-block ng valid na file ang pahinang gusto mong payagan.

Kung may sariling group ang crawler, sinusunod pa rin ba nito ang User-agent: *?

Hindi. Ganap na pinapalitan ng pinangalanang group ang group na * para sa crawler na iyon. Ang anumang rule na gusto mong ilapat sa lahat ay kailangang ulitin sa bawat pinangalanang group.

Mga pinagmulan

Iba pang artikulo