Miten testaan robots.txt-säännöt URL:lle ja tietylle crawlerille?
Kun testaat URL:ää yhdelle crawlerille, etsi ryhmä, joka nimeää crawlerin tokenin (tai User-agent: *, jos mikään ei nimeä), kerää siitä kaikki URL:n polkuun osuvat Allow- ja Disallow-säännöt ja sovella pisintä; tasatilanteessa Allow voittaa. Voit tehdä tämän käsin, Googlen avoimen lähdekoodin jäsentimellä tai tarkistimella, joka näyttää tuloksen crawler kerrallaan. Search Consolen vanha robots.txt-testeri on poistunut, ja sen korvannut robots.txt-raportti näyttää, mitä Google haki, mutta ei tulosta yksittäiselle URL:lle.
robots.txt-tiedosto näyttää yksinkertaiselta siihen asti, kun tarvitset varman vastauksen: saako GPTBot hakea tämän sivun, entä OAI-SearchBot? Vastaus riippuu siitä, minkä ryhmän crawler valitsee ja mikä sääntö ryhmän sisällä voittaa, ja kummassakin vaiheessa on helppo erehtyä. Tässä on, miten vertailu toimii RFC 9309:n mukaan, neljä esimerkkiä ja kolme tapaa testata tiedosto itse.
Tällä sivulla
- Mitä tapahtui Google Search Consolen robots.txt-testerille?
- Miten crawler päättää, onko URL sallittu?
- Voitko käydä läpi esimerkin robots.txt-testistä?
- Miten ajan Googlen avoimen lähdekoodin robots.txt-jäsentimen?
- Voinko testata robots.txt:n Pythonin urllib.robotparserilla?
- Miksi robots.txt-testi menee läpi, mutta crawler on yhä estetty?
- Miten tarkistan robots.txt:n kaikille tekoälycrawlereille kerralla?
Mitä tapahtui Google Search Consolen robots.txt-testerille?
Marraskuussa 2023 Google lisäsi Search Consoleen robots.txt-raportin ja ilmoitti lopettavansa robots.txt-testerin. Raportti löytyy Asetuksista ja kattaa vain Googlen crawlerit. Se näyttää:
- robots.txt-tiedostot, jotka Google löysi omaisuutesi 20 tärkeimmältä isännältä.
- Jokaisen tiedoston noutotilan (
Fetched,Not Fetched - Not found (404)taiNot Fetched - Any other reason), milloin Google viimeksi tarkisti sen ja sen koon tavuina. - Tiedoston ongelmat. Googlen mukaan virheet estävät säännön käytön, varoitukset eivät.
- Viimeisen 30 päivän aikana haetut versiot ja painikkeen, jolla voit pyytää uutta indeksointia tiedoston korjaamisen jälkeen.
Raportti ei ota vastaan URL:ää eikä palauta tulosta sallittu tai estetty. Yhden URL:n tarkistamiseen Googlebotille Google ohjaa URL-tarkistustyökaluun ja paikalliseen testaukseen avoimen lähdekoodin robots.txt-kirjastoonsa. Kumpikaan ei kerro mitään tekoälycrawlereista, kuten GPTBot tai ClaudeBot.
Miten crawler päättää, onko URL sallittu?
RFC 9309, Robots Exclusion Protocol, määrittelee vertailun. Google dokumentoi saman toiminnan omille crawlereilleen.
- Valitse ryhmä. User-agent-vertailu ei erottele isoja ja pieniä kirjaimia. Jos yksi tai useampi ryhmä nimeää crawlerin tokenin, niiden säännöt yhdistetään ja
User-agent: *-ryhmä ohitetaan kokonaan. Vain crawler, jolla ei ole nimettyä ryhmää, noudattaa*-ryhmää. - Valitse sääntö. Niistä
Allow- jaDisallow-säännöistä, joiden polku osuu URL:ään, voittaa se, jossa on eniten merkkejä. JosAllowjaDisallowovat yhtä pitkiä,Allown pitäisi voittaa. - Lue kuviot.
*vastaa mitä tahansa merkkijonoa ja$merkitsee URL:n loppua. Polut erottelevat isot ja pienet kirjaimet, joten/Admin/ei osu polkuun/admin/. - Jos mikään sääntö ei osu, URL on sallittu.
/robots.txtitse on aina sallittu.
robots.txt:n vastauskoodi on yhtä tärkeä kuin sen säännöt. 4xx-vastaus tarkoittaa, että crawler saa hakea kaiken; Google käsittelee jokaista 4xx-koodia paitsi 429:ää kuin tiedostoa ei olisi. 5xx-vastaus tarkoittaa, että crawlerin on oletettava koko sivuston olevan kielletty. Google lopettaa indeksoinnin ensimmäisiksi 12 tunniksi ja käyttää sitten viimeisintä toimivaa kopiota enintään 30 päivän ajan. RFC 9309 vaatii crawlereita jäsentämään vähintään 500 KiB, ja Google ohittaa kaiken 500 KiB:n jälkeen.
Voitko käydä läpi esimerkin robots.txt-testistä?
Tässä on pieni robots.txt, jossa on oletusryhmä ja kaksi nimettyä tekoälycrawleria:
Googlebotja/search/help/billing: sallittu. Googlebotilla ei ole omaa ryhmää, joten*-ryhmää sovelletaan. SekäDisallow: /searchettäAllow: /search/helposuvat, jaAllow-sääntö on pidempi.GPTBotja/blog/post: estetty. GPTBotilla on oma ryhmä, jaDisallow: /osuu jokaiseen polkuun.OAI-SearchBotja/admin/settings: sallittu. OAI-SearchBotilla on oma ryhmä, joten*-ryhmänDisallow: /admin/ei koske sitä. Tämä on yleisin yllätys; toista yhteiset säännöt jokaisessa nimetyssä ryhmässä.OAI-SearchBotja/files/report.pdf: estetty.Allow: /osuu yhdellä merkillä,Disallow: /*.pdf$seitsemällä, ja pidempi sääntö voittaa.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Tasatilanteet ovat harvinaisempia, mutta noudattavat samaa logiikkaa. Googlen dokumentaatio antaa esimerkiksi säännöt allow: /folder ja disallow: /folder URL:lle /folder/page: molemmat ovat yhtä pitkiä, joten URL on sallittu.
Miten ajan Googlen avoimen lähdekoodin robots.txt-jäsentimen?
Google julkaisee C++-kirjaston, jota se käyttää tuotannossa robots.txt-sääntöjen vertailuun, sekä pienen komentoriviohjelman yhden URL:n ja yhden user agentin testaamiseen paikallista tiedostoa vasten. Kun Bazel on asennettu:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Repositorio dokumentoi myös CMake-käännöksen, joka tuottaa robots-nimisen ohjelman samoilla argumenteilla. Työkalu vain jäsentää ja vertaa; se ei lataa robots.txt:tä, joten tallenna julkinen tiedosto ensin. Sen README huomauttaa myös, ettei crawler-kohtainen toiminta jäsentämisen ja vertailun ulkopuolella kuulu kirjastoon.
Voinko testata robots.txt:n Pythonin urllib.robotparserilla?
Pythonin standardikirjastossa on jäsennin, joka vastaa sallittu tai estetty user agentille ja URL:lle. Tämä skripti testaa yllä olevan esimerkin:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Tarkista Python-versiosi ennen kuin luotat tulokseen. RFC 9309:n mukainen vertailu lisättiin CPythoniin vuonna 2026, ja se julkaistiin ensimmäisen kerran Python-versioissa 3.13.14 ja 3.14.5. Vanhemmat julkaisut, mukaan lukien kaikki 3.12 ja sitä vanhemmat, soveltavat tiedostossa ensimmäisenä osuvaa sääntöä eivätkä pisintä, eivätkä ymmärrä *- tai $-merkkejä poluissa. Näissä versioissa skripti raportoi ensimmäisen ja neljännen testin väärin päin: Googlebot estetty polusta /search/help/billing ja OAI-SearchBot sallittu hakemaan PDF.
Kaksi muuta eroa koskee kaikkia versioita. RobotFileParser.read() käsittelee robots.txt:n 401- tai 403-vastauksen kieltona kaikelle, kun taas RFC 9309:n mukaan 4xx tarkoittaa, että kaiken saa hakea. Lisäksi read() lataa tiedoston Pythonin oletus-user agentilla, jonka jotkin palomuurit estävät, joten testi voi raportoida eston syistä, jotka eivät liity sääntöihisi. Kun haet tiedoston itse ja annat sen parse()-funktiolle kuten yllä, vältät molemmat.
Miksi robots.txt-testi menee läpi, mutta crawler on yhä estetty?
Testeri vastaa yhteen kysymykseen: sallivatko säännöt tämän URL:n? Useat asiat ovat tämän vastauksen ulkopuolella:
- Julkinen tiedosto poikkeaa testaamastasi, tai crawler käyttää yhä välimuistissa olevaa kopiota. RFC 9309:n mukaan crawlerien ei pitäisi käyttää välimuistikopiota yli 24 tuntia, ja Google pitää tiedostoa välimuistissa yleensä enintään 24 tuntia.
- robots.txt-URL palauttaa HTML-sivun tai virheen. Tilakoodilla 200 palautettu HTML-sivu ei sisällä kelvollisia sääntöjä, ja 5xx-vastaus estää koko sivuston.
- robots.txt on pyyntö, ei pääsynhallinta. Palomuuri, CDN tai bottisuojaus voi yhä vastata crawlerille 403-virheellä tai haastesivulla.
Miten tarkistan robots.txt:n kaikille tekoälycrawlereille kerralla?
Ilmainen AISeeWhyn robots.txt-tarkistin ottaa vastaan sivun osoitteen tai liitetyn robots.txt:n ja näyttää jokaiselle tekoäly- ja hakucrawlerille, saako se hakea sivun. Ilmainen robots.txt-generaattori kirjoittaa tiedoston valintojesi pohjalta, ja ilmainen tarkistus noutaa sivun 16 crawlerina ja näyttää, estääkö palomuuri sen, minkä robots.txt sallii.
Korjaukset tähän ongelmaan
- robots.txt sallii botin GPTBot, mutta palvelin estää sen
- robots.txt estää botin OAI-SearchBot
- robots.txt on HTML-sivu
- robots.txt-tiedostoa ei voi hakea
Seuraavat vaiheet
- robots.txt-testeri ja -tarkistin tekoälyindeksoijille
- Katso esimerkki koko raportista
- Tekoälyindeksoijien valvonta
- Tilaukset ja hinnat
Tämän artikkelin indeksoijat
Usein kysytyt kysymykset
Onko Google Search Consolessa vielä robots.txt-testeri?
Ei. Google korvasi sen marraskuussa 2023 robots.txt-raportilla, joka näyttää Googlen hakemat tiedostot, niiden tilan ja mahdolliset virheet. Jos haluat tarkistaa, saako Googlebot indeksoida tietyn URL:n, käytä URL-tarkistustyökalua.
Kumoaako Allow robots.txt:ssä Disallow-säännön?
Vain kun Allow-sääntö on pidempi tai täsmälleen yhtä pitkä. Sääntö, jonka osuva polku on pisin, voittaa lajista riippumatta, ja tasatilanteessa Allow voittaa.
Erotteleeko robots.txt isot ja pienet kirjaimet?
Osittain. User-agent-arvo verrataan kirjainkoosta riippumatta, joten gptbot ja GPTBot nimeävät saman ryhmän. Polut erottelevat kirjainkoon, joten Disallow: /Private/ ei estä polkua /private/.
Mitä robots.txt-validaattori tarkistaa?
Validaattori tarkistaa, että tiedosto on saatavilla, tarjoillaan tekstinä ja on kirjoitettu kelvollisella syntaksilla. Testeri menee pidemmälle ja antaa tuloksen tietylle URL:lle ja crawlerille. Tarvitset yleensä molempia, koska kelvollinen tiedosto voi silti estää sivun, jonka halusit sallia.
Jos crawlerilla on oma ryhmä, noudattaako se silti User-agent: * -ryhmää?
Ei. Nimetty ryhmä korvaa *-ryhmän kokonaan kyseiselle crawlerille. Kaikki säännöt, joiden haluat koskevan kaikkia, on toistettava jokaisessa nimetyssä ryhmässä.
Lähteet
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPythonin lähdekoodi: Lib/urllib/robotparser.py