Miten testaan robots.txt-säännöt URL:lle ja tietylle crawlerille?

Julkaistu

Lyhyt vastaus

Kun testaat URL:ää yhdelle crawlerille, etsi ryhmä, joka nimeää crawlerin tokenin (tai User-agent: *, jos mikään ei nimeä), kerää siitä kaikki URL:n polkuun osuvat Allow- ja Disallow-säännöt ja sovella pisintä; tasatilanteessa Allow voittaa. Voit tehdä tämän käsin, Googlen avoimen lähdekoodin jäsentimellä tai tarkistimella, joka näyttää tuloksen crawler kerrallaan. Search Consolen vanha robots.txt-testeri on poistunut, ja sen korvannut robots.txt-raportti näyttää, mitä Google haki, mutta ei tulosta yksittäiselle URL:lle.

robots.txt-tiedosto näyttää yksinkertaiselta siihen asti, kun tarvitset varman vastauksen: saako GPTBot hakea tämän sivun, entä OAI-SearchBot? Vastaus riippuu siitä, minkä ryhmän crawler valitsee ja mikä sääntö ryhmän sisällä voittaa, ja kummassakin vaiheessa on helppo erehtyä. Tässä on, miten vertailu toimii RFC 9309:n mukaan, neljä esimerkkiä ja kolme tapaa testata tiedosto itse.

Tällä sivulla
  1. Mitä tapahtui Google Search Consolen robots.txt-testerille?
  2. Miten crawler päättää, onko URL sallittu?
  3. Voitko käydä läpi esimerkin robots.txt-testistä?
  4. Miten ajan Googlen avoimen lähdekoodin robots.txt-jäsentimen?
  5. Voinko testata robots.txt:n Pythonin urllib.robotparserilla?
  6. Miksi robots.txt-testi menee läpi, mutta crawler on yhä estetty?
  7. Miten tarkistan robots.txt:n kaikille tekoälycrawlereille kerralla?

Mitä tapahtui Google Search Consolen robots.txt-testerille?

Marraskuussa 2023 Google lisäsi Search Consoleen robots.txt-raportin ja ilmoitti lopettavansa robots.txt-testerin. Raportti löytyy Asetuksista ja kattaa vain Googlen crawlerit. Se näyttää:

Raportti ei ota vastaan URL:ää eikä palauta tulosta sallittu tai estetty. Yhden URL:n tarkistamiseen Googlebotille Google ohjaa URL-tarkistustyökaluun ja paikalliseen testaukseen avoimen lähdekoodin robots.txt-kirjastoonsa. Kumpikaan ei kerro mitään tekoälycrawlereista, kuten GPTBot tai ClaudeBot.

Miten crawler päättää, onko URL sallittu?

RFC 9309, Robots Exclusion Protocol, määrittelee vertailun. Google dokumentoi saman toiminnan omille crawlereilleen.

robots.txt:n vastauskoodi on yhtä tärkeä kuin sen säännöt. 4xx-vastaus tarkoittaa, että crawler saa hakea kaiken; Google käsittelee jokaista 4xx-koodia paitsi 429:ää kuin tiedostoa ei olisi. 5xx-vastaus tarkoittaa, että crawlerin on oletettava koko sivuston olevan kielletty. Google lopettaa indeksoinnin ensimmäisiksi 12 tunniksi ja käyttää sitten viimeisintä toimivaa kopiota enintään 30 päivän ajan. RFC 9309 vaatii crawlereita jäsentämään vähintään 500 KiB, ja Google ohittaa kaiken 500 KiB:n jälkeen.

Voitko käydä läpi esimerkin robots.txt-testistä?

Tässä on pieni robots.txt, jossa on oletusryhmä ja kaksi nimettyä tekoälycrawleria:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Tasatilanteet ovat harvinaisempia, mutta noudattavat samaa logiikkaa. Googlen dokumentaatio antaa esimerkiksi säännöt allow: /folder ja disallow: /folder URL:lle /folder/page: molemmat ovat yhtä pitkiä, joten URL on sallittu.

Miten ajan Googlen avoimen lähdekoodin robots.txt-jäsentimen?

Google julkaisee C++-kirjaston, jota se käyttää tuotannossa robots.txt-sääntöjen vertailuun, sekä pienen komentoriviohjelman yhden URL:n ja yhden user agentin testaamiseen paikallista tiedostoa vasten. Kun Bazel on asennettu:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Repositorio dokumentoi myös CMake-käännöksen, joka tuottaa robots-nimisen ohjelman samoilla argumenteilla. Työkalu vain jäsentää ja vertaa; se ei lataa robots.txt:tä, joten tallenna julkinen tiedosto ensin. Sen README huomauttaa myös, ettei crawler-kohtainen toiminta jäsentämisen ja vertailun ulkopuolella kuulu kirjastoon.

Voinko testata robots.txt:n Pythonin urllib.robotparserilla?

Pythonin standardikirjastossa on jäsennin, joka vastaa sallittu tai estetty user agentille ja URL:lle. Tämä skripti testaa yllä olevan esimerkin:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Tarkista Python-versiosi ennen kuin luotat tulokseen. RFC 9309:n mukainen vertailu lisättiin CPythoniin vuonna 2026, ja se julkaistiin ensimmäisen kerran Python-versioissa 3.13.14 ja 3.14.5. Vanhemmat julkaisut, mukaan lukien kaikki 3.12 ja sitä vanhemmat, soveltavat tiedostossa ensimmäisenä osuvaa sääntöä eivätkä pisintä, eivätkä ymmärrä *- tai $-merkkejä poluissa. Näissä versioissa skripti raportoi ensimmäisen ja neljännen testin väärin päin: Googlebot estetty polusta /search/help/billing ja OAI-SearchBot sallittu hakemaan PDF.

Kaksi muuta eroa koskee kaikkia versioita. RobotFileParser.read() käsittelee robots.txt:n 401- tai 403-vastauksen kieltona kaikelle, kun taas RFC 9309:n mukaan 4xx tarkoittaa, että kaiken saa hakea. Lisäksi read() lataa tiedoston Pythonin oletus-user agentilla, jonka jotkin palomuurit estävät, joten testi voi raportoida eston syistä, jotka eivät liity sääntöihisi. Kun haet tiedoston itse ja annat sen parse()-funktiolle kuten yllä, vältät molemmat.

Miksi robots.txt-testi menee läpi, mutta crawler on yhä estetty?

Testeri vastaa yhteen kysymykseen: sallivatko säännöt tämän URL:n? Useat asiat ovat tämän vastauksen ulkopuolella:

Miten tarkistan robots.txt:n kaikille tekoälycrawlereille kerralla?

Ilmainen AISeeWhyn robots.txt-tarkistin ottaa vastaan sivun osoitteen tai liitetyn robots.txt:n ja näyttää jokaiselle tekoäly- ja hakucrawlerille, saako se hakea sivun. Ilmainen robots.txt-generaattori kirjoittaa tiedoston valintojesi pohjalta, ja ilmainen tarkistus noutaa sivun 16 crawlerina ja näyttää, estääkö palomuuri sen, minkä robots.txt sallii.

Korjaukset tähän ongelmaan

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Usein kysytyt kysymykset

Onko Google Search Consolessa vielä robots.txt-testeri?

Ei. Google korvasi sen marraskuussa 2023 robots.txt-raportilla, joka näyttää Googlen hakemat tiedostot, niiden tilan ja mahdolliset virheet. Jos haluat tarkistaa, saako Googlebot indeksoida tietyn URL:n, käytä URL-tarkistustyökalua.

Kumoaako Allow robots.txt:ssä Disallow-säännön?

Vain kun Allow-sääntö on pidempi tai täsmälleen yhtä pitkä. Sääntö, jonka osuva polku on pisin, voittaa lajista riippumatta, ja tasatilanteessa Allow voittaa.

Erotteleeko robots.txt isot ja pienet kirjaimet?

Osittain. User-agent-arvo verrataan kirjainkoosta riippumatta, joten gptbot ja GPTBot nimeävät saman ryhmän. Polut erottelevat kirjainkoon, joten Disallow: /Private/ ei estä polkua /private/.

Mitä robots.txt-validaattori tarkistaa?

Validaattori tarkistaa, että tiedosto on saatavilla, tarjoillaan tekstinä ja on kirjoitettu kelvollisella syntaksilla. Testeri menee pidemmälle ja antaa tuloksen tietylle URL:lle ja crawlerille. Tarvitset yleensä molempia, koska kelvollinen tiedosto voi silti estää sivun, jonka halusit sallia.

Jos crawlerilla on oma ryhmä, noudattaako se silti User-agent: * -ryhmää?

Ei. Nimetty ryhmä korvaa *-ryhmän kokonaan kyseiselle crawlerille. Kaikki säännöt, joiden haluat koskevan kaikkia, on toistettava jokaisessa nimetyssä ryhmässä.

Lähteet

Lisää artikkeleita