robots.txt-generaattori tekoälyindeksoijille
Valitse, mitkä tekoälyindeksoijat saavat lukea sivustoasi, ja kopioi luotu robots.txt. Yleinen valinta on estää tekoälyn koulutusindeksoijat, kuten GPTBot ja ClaudeBot, mutta sallia tekoälyn hakuindeksoijat, kuten OAI-SearchBot ja PerplexityBot, jotta sivusi voivat edelleen näkyä ja tulla lainatuiksi tekoälyvastauksissa.
Käyttäjän pyytämien hakijoiden estämisellä on rajallinen vaikutus: jotkin toimittajat sanovat, etteivät nämä agentit välttämättä noudata robots.txt-tiedostoa, koska ihminen pyysi sivua. Testaa tulos robots.txt-tarkistimella ennen julkaisua. robots.txt-tarkistin tekoälyindeksoijille →
Näin käytät sitä
Sijoita tiedosto verkkotunnuksesi juureen (https://example.com/robots.txt). Jos sinulla on jo sääntöjä muille indeksoijille, pidä ne ja lisää vain tekoälyryhmät. Muutokset tulevat voimaan, kun kukin indeksoija seuraavan kerran lukee tiedoston, yleensä vuorokauden sisällä.