Generator robots.txt za pajke UI

Izberite, kateri pajki UI smejo brati vaše spletno mesto, in kopirajte ustvarjeni robots.txt. Pogosta izbira je blokirati pajke UI za učenje, kot sta GPTBot in ClaudeBot, a dovoliti pajke za iskanje z UI, kot sta OAI-SearchBot in PerplexityBot, da se vaše strani še vedno lahko pojavijo in so citirane v odgovorih UI.

Začnite z
Učenje UI
Iskanje z UI
Prenos na zahtevo uporabnika
Content-Signal (neobvezno): označite, kaj dovolite

Blokiranje prenosov na zahtevo uporabnika ima omejen učinek: nekateri ponudniki pravijo, da ti agenti morda ne upoštevajo robots.txt, ker je stran zahteval človek. Rezultat pred objavo preizkusite s preverjanjem robots.txt. Tester in preverjanje robots.txt za pajke UI →

Kako ga uporabiti

Datoteko postavite v koren svoje domene (https://example.com/robots.txt). Če že imate pravila za druge pajke, jih obdržite in dodajte samo skupine za UI. Spremembe začnejo veljati, ko posamezni pajek naslednjič prebere datoteko, običajno v enem dnevu.

Zaženite celotno preverjanje →

Vodnik

Kako uporabljati generator robots.txt

To besedilo je bilo strojno prevedeno iz angleščine.

Kaj napiše generator

Označite pajke, ki smejo brati vaše spletno mesto, in odznačite tiste, ki jih želite blokirati. Generator napiše robots.txt z eno skupino za vsakega blokiranega pajka, User-agent: <token>, ki mu sledi Disallow: /, nato pa zaključno skupino User-agent: *, ki dovoli vse drugo. Dodajte naslov zemljevida strani in doda vrstico Sitemap. Označite možnosti Content-Signal in doda vrstico Content-Signal, ki navaja, kako se sme vaša vsebina uporabljati.

Nič ne zapusti vašega brskalnika: datoteka se sestavi na strani med klikanjem, kopirate pa jo iz izhodnega polja.

S katero predlogo začeti

Primer: blokiraj učenje, dovoli iskanje z UI

Vsak blokiran pajek ima lastno skupino, zato njegov Disallow: / velja samo zanj. Vsi drugi pajki, vključno z OAI-SearchBot in Googlebot, padejo na User-agent: * in smejo brati vse. Vrstica Content-Signal ponovi isti namen za pajke, ki jo berejo: iskanje in odgovori v realnem času da, učenje ne.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Pred objavo

Pogoste napake

Pogosta vprašanja

Ali blokiranje GPTBota odstrani moje spletno mesto iz ChatGPT?

Ne. GPTBot zbira podatke za učenje. Iskanje ChatGPT uporablja OAI-SearchBot, ChatGPT-User pa odpira strani, ki jih ljudje zahtevajo. Ta dva pustite dovoljena, če želite biti navedeni.

Kaj je Content-Signal?

Vrstica v robots.txt, ki navaja, kako se sme vaša vsebina uporabljati: search, ai-input (odgovori v realnem času) in ai-train (učenje), vsak da ali ne. Podpora se razlikuje med ponudniki; skupine za posamezne pajke ostajajo pravilo, ki mu pajki sledijo.

Ali Google-Extended vpliva na iskanje Google?

Ne. To je oznaka samo za robots.txt, ki določa, ali sme Google vaše strani uporabiti za svoje modele UI; ne spremeni pajkanja ali razvrščanja v iskanju Google.

Ali se moja izbira kam pošlje?

Ne. Generator deluje v vašem brskalniku in nič se ne pošlje na naš strežnik, dokler se ne odločite preizkusiti datoteke.

Sorodna orodja in vodniki