Nitajaribuje sheria za robots.txt kwa URL na crawler mahususi?
Ili kujaribu URL kwa crawler moja, tafuta kundi linalotaja tokeni ya crawler (au User-agent: * kama hakuna linaloitaja), kusanya kila sheria ya Allow na Disallow ndani yake inayolingana na njia ya URL, na utumie ndefu zaidi; zikiwa sawa kwa urefu, Allow inashinda. Unaweza kufanya hivi kwa mkono, kwa kichanganuzi huria cha Google, au kwa kikagua kinachoonyesha uamuzi kwa kila crawler. Kikagua cha zamani cha robots.txt (robots.txt Tester) katika Search Console kimeondolewa, na ripoti ya robots.txt iliyochukua nafasi yake inaonyesha kile Google ilipakua, si uamuzi kwa URL.
Faili ya robots.txt inaonekana rahisi hadi unapohitaji jibu la uhakika: je, GPTBot inaruhusiwa kupakua ukurasa huu, na je, OAI-SearchBot inaruhusiwa? Jibu linategemea kundi ambalo crawler inachagua na sheria ipi ndani ya kundi hilo inashinda, na hatua zote mbili ni rahisi kukosea. Hapa kuna jinsi ulinganishaji unavyofanya kazi chini ya RFC 9309, mifano minne iliyofanyiwa kazi, na njia tatu za kujaribu faili mwenyewe.
Kwenye ukurasa huu
- Nini kilitokea kwa robots.txt Tester katika Google Search Console?
- Crawler huamuaje kama URL inaruhusiwa?
- Unaweza kunionyesha mfano wa jaribio la robots.txt hatua kwa hatua?
- Nitaendeshaje kichanganuzi huria cha robots.txt cha Google?
- Je, naweza kujaribu robots.txt kwa urllib.robotparser ya Python?
- Kwa nini jaribio la robots.txt linafaulu huku crawler bado imezuiwa?
- Nitakaguaje robots.txt kwa kila crawler ya AI kwa wakati mmoja?
Nini kilitokea kwa robots.txt Tester katika Google Search Console?
Novemba 2023 Google iliongeza ripoti ya robots.txt katika Search Console na kusema inaondoa kikagua cha robots.txt. Ripoti iko chini ya Settings na inahusu crawler za Google pekee. Inaonyesha:
- Faili za robots.txt ambazo Google ilipata kwa wapangishi 20 wakuu wa mali (property) yako.
- Hali ya upakuaji ya kila faili (
Fetched,Not Fetched - Not found (404)auNot Fetched - Any other reason), lini Google iliikagua mara ya mwisho, na ukubwa wake kwa baiti. - Matatizo katika faili. Google inasema makosa huzuia sheria kutumika, huku maonyo hayazuii.
- Matoleo ambayo Google ilipakua katika siku 30 zilizopita, na kitufe cha kuomba upakuaji upya baada ya kurekebisha faili.
Ripoti haipokei URL na kurudisha imeruhusiwa au imezuiwa. Ili kukagua URL moja kwa Googlebot, Google inaelekeza kwenye zana ya URL Inspection, na kwa majaribio ya ndani kwenye maktaba yake huria ya robots.txt. Hakuna kati ya hizo inayokuambia chochote kuhusu crawler za AI kama GPTBot au ClaudeBot.
Crawler huamuaje kama URL inaruhusiwa?
RFC 9309, Robots Exclusion Protocol, inafafanua ulinganishaji. Google inaeleza tabia hiyohiyo kwa crawler zake.
- Chagua kundi. Ulinganishaji wa User-agent hauzingatii herufi kubwa au ndogo. Kama kundi moja au zaidi linataja tokeni ya crawler, sheria zao zinaunganishwa na kundi la
User-agent: *linapuuzwa kabisa. Ni crawler isiyo na kundi linaloitaja tu inayofuata*. - Chagua sheria. Kati ya sheria za
AllownaDisallowambazo njia yake inalingana na URL, ile yenye herufi nyingi zaidi inashinda. KamaAllownaDisallowzina urefu sawa,Allowinapaswa kushinda. - Soma ruwaza.
*inalingana na mfuatano wowote wa herufi na$inaashiria mwisho wa URL. Njia huzingatia herufi kubwa na ndogo, kwa hivyo/Admin/hailingani na/admin/. - Kukosekana kwa sheria inayolingana kunamaanisha imeruhusiwa.
/robots.txtyenyewe huruhusiwa daima.
Msimbo wa jibu wa robots.txt ni muhimu kama sheria zake. Jibu la 4xx linamaanisha crawler inaweza kupakua kila kitu; Google huchukulia kila 4xx isipokuwa 429 kana kwamba hakuna faili. Jibu la 5xx linamaanisha crawler lazima ichukulie kwamba tovuti nzima imezuiwa. Google husimamisha upakuaji kwa saa 12 za kwanza, kisha hutumia nakala nzuri ya mwisho kwa hadi siku 30. RFC 9309 inazitaka crawler kuchanganua angalau KiB 500, na Google hupuuza chochote baada ya KiB 500.
Unaweza kunionyesha mfano wa jaribio la robots.txt hatua kwa hatua?
Hii ni robots.txt ndogo yenye kundi la chaguo-msingi na crawler mbili za AI zilizotajwa:
Googlebotna/search/help/billing: imeruhusiwa. Hakuna kundi la Googlebot, kwa hivyo kundi la*linatumika.Disallow: /searchnaAllow: /search/helpzote zinalingana, na sheria yaAllowni ndefu zaidi.GPTBotna/blog/post: imezuiwa. GPTBot ina kundi lake, naDisallow: /inalingana na kila njia.OAI-SearchBotna/admin/settings: imeruhusiwa. OAI-SearchBot ina kundi lake, kwa hivyoDisallow: /admin/katika kundi la*haiihusu. Hili ndilo jambo linaloshangaza watu mara nyingi zaidi; rudia sheria za pamoja katika kila kundi lililotajwa.OAI-SearchBotna/files/report.pdf: imezuiwa.Allow: /inalingana kwa herufi moja,Disallow: /*.pdf$inalingana kwa saba, na sheria ndefu zaidi inashinda.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Usawa wa urefu ni nadra zaidi lakini unafuata mantiki ileile. Nyaraka za Google zinatoa mfano wa allow: /folder na disallow: /folder kwa URL /folder/page: zote zina urefu sawa, kwa hivyo URL inaruhusiwa.
Nitaendeshaje kichanganuzi huria cha robots.txt cha Google?
Google inachapisha maktaba ya C++ inayotumia katika mfumo wake halisi kulinganisha sheria za robots.txt, pamoja na programu ndogo ya mstari wa amri ya kujaribu URL moja na user agent moja dhidi ya faili ya ndani. Ukiwa umesakinisha Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Hazina (repository) pia inaeleza ujenzi kwa CMake, unaotoa binary inayoitwa robots yenye hoja zilezile. Zana huchanganua na kulinganisha tu; haipakui robots.txt, kwa hivyo hifadhi faili halisi kwanza. README yake pia inaeleza kwamba tabia mahususi za crawler nje ya uchanganuzi na ulinganishaji si sehemu ya maktaba.
Je, naweza kujaribu robots.txt kwa urllib.robotparser ya Python?
Maktaba ya kawaida ya Python ina kichanganuzi kinachojibu imeruhusiwa au imezuiwa kwa user agent na URL. Hati hii inajaribu mfano ulio hapo juu:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Kagua toleo lako la Python kabla ya kuamini matokeo. Usaidizi wa ulinganishaji wa RFC 9309 uliongezwa kwenye CPython mwaka 2026 na ulitoka kwa mara ya kwanza katika Python 3.13.14 na 3.14.5. Matoleo ya zamani, yakiwemo yote ya 3.12 na ya awali, hutumia sheria ya kwanza inayolingana kwa mpangilio wa faili, si ndefu zaidi, na hayaelewi * au $ ndani ya njia. Kwenye matoleo hayo hati inaripoti majaribio ya kwanza na ya nne kinyume: Googlebot imezuiwa kwa /search/help/billing na OAI-SearchBot imeruhusiwa kupakua PDF.
Tofauti mbili zaidi zinahusu kila toleo. RobotFileParser.read() huchukulia jibu la 401 au 403 kwa robots.txt kama kuzuia kila kitu, huku RFC 9309 ikisema 4xx inamaanisha kila kitu kinaweza kupakuliwa. Na read() hupakua faili kwa user agent ya chaguo-msingi ya Python, ambayo baadhi ya firewall huzuia, kwa hivyo jaribio linaweza kuripoti imezuiwa kwa sababu zisizohusiana na sheria zako. Kupakua faili mwenyewe na kuipitisha kwa parse(), kama hapo juu, kunaepuka yote mawili.
Kwa nini jaribio la robots.txt linafaulu huku crawler bado imezuiwa?
Kikagua kinajibu swali moja: je, sheria zinaruhusu URL hii? Mambo kadhaa yako nje ya jibu hilo:
- Faili halisi inatofautiana na uliyojaribu, au crawler bado inatumia nakala iliyohifadhiwa. RFC 9309 inasema crawler hazipaswi kutumia nakala iliyohifadhiwa kwa zaidi ya saa 24, na kwa ujumla Google huhifadhi kwa hadi saa 24.
- URL ya robots.txt inarudisha ukurasa wa HTML au kosa. Ukurasa wa HTML wenye hali 200 hauna sheria halali, na jibu la 5xx linazuia tovuti nzima.
- robots.txt ni ombi, si udhibiti wa ufikiaji. Firewall, CDN au ulinzi dhidi ya bots bado vinaweza kujibu crawler kwa 403 au ukurasa wa changamoto.
Nitakaguaje robots.txt kwa kila crawler ya AI kwa wakati mmoja?
Kikagua cha bure cha robots.txt cha AISeeWhy kinapokea anwani ya ukurasa au robots.txt iliyobandikwa na kuonyesha, kwa kila crawler ya AI na ya utafutaji, kama ukurasa huo unaweza kupakuliwa. Kizalishaji cha bure cha robots.txt kinaandika faili kutokana na chaguo zako, na ukaguzi wa bure unapakua ukurasa kama crawler 16 ili kuonyesha kama firewall inazuia kile ambacho robots.txt inaruhusu.
Marekebisho ya tatizo hili
- robots.txt inaruhusu GPTBot, lakini seva inaizuia
- robots.txt inazuia OAI-SearchBot
- robots.txt ni ukurasa wa HTML
- robots.txt haiwezi kupakuliwa
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Je, bado kuna kikagua cha robots.txt katika Google Search Console?
Hapana. Novemba 2023 Google ilikibadilisha kwa ripoti ya robots.txt, inayoonyesha faili ambazo Google ilipakua, hali yake na makosa yoyote. Ili kukagua kama Googlebot inaweza kupakua URL mahususi, tumia zana ya URL Inspection.
Je, Allow inashinda Disallow katika robots.txt?
Tu pale sheria ya Allow ni ndefu zaidi, au ina urefu sawa kabisa. Sheria yenye njia ndefu zaidi inayolingana inashinda, iwe ya aina yoyote, na Allow inashinda zikiwa sawa.
Je, robots.txt huzingatia herufi kubwa na ndogo?
Kwa sehemu. Thamani ya User-agent hulinganishwa bila kujali herufi kubwa au ndogo, kwa hivyo gptbot na GPTBot zinataja kundi lilelile. Njia huzingatia herufi kubwa na ndogo, kwa hivyo Disallow: /Private/ haizuii /private/.
Kithibitishaji cha robots.txt hukagua nini?
Kithibitishaji hukagua kwamba faili inafikika, inatumwa kama maandishi na imeandikwa kwa sintaksia halali. Kikagua huenda mbali zaidi na kutoa uamuzi kwa URL na crawler mahususi. Kwa kawaida unahitaji vyote viwili, kwa sababu faili halali bado inaweza kuzuia ukurasa uliotaka kuruhusu.
Kama crawler ina kundi lake, je, bado inafuata User-agent: *?
Hapana. Kundi lililotajwa linachukua nafasi ya kundi la * kabisa kwa crawler hiyo. Sheria yoyote unayotaka ihusu kila mtu lazima irudiwe katika kila kundi lililotajwa.
Vyanzo
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py