robots.txt-tarkistin tekoälyindeksoijille

Anna sivun osoite: luemme sivuston robots.txt-tiedoston ja näytämme jokaisesta tekoäly- ja hakuindeksoijasta, saako se hakea kyseisen sivun. Tai liitä robots.txt ja testaa se ennen julkaisua.

robots.txt on vain pyyntö. Palomuuri tai bottisuojaus voi silti estää indeksoijan, jonka robots.txt sallii; täysi tarkistus testaa sen. Aja täysi tarkistus →

Miten tekoälyindeksoijat lukevat robots.txt-tiedostoa

Jokainen indeksoija noudattaa ryhmää, joka nimeää sen tunnisteen (esimerkiksi GPTBot tai PerplexityBot); vain jos mikään ryhmä ei tee niin, se noudattaa ryhmää User-agent: *. Ryhmän sisällä pisin osuva sääntö voittaa, ja tasatilanteessa voittaa Allow. Estämällä koulutusindeksoijat, kuten GPTBot, ClaudeBot tai Google-Extended, pidät sisältösi poissa mallien koulutuksesta; estämällä haku- ja käyttäjäindeksoijat, kuten OAI-SearchBot, ChatGPT-User tai PerplexityBot, pidät sivusi poissa tekoälyn vastauksista.