Izberite, kateri pajki UI smejo brati vaše spletno mesto, in kopirajte ustvarjeni robots.txt. Pogosta izbira je blokirati pajke UI za učenje, kot sta GPTBot in ClaudeBot, a dovoliti pajke za iskanje z UI, kot sta OAI-SearchBot in PerplexityBot, da se vaše strani še vedno lahko pojavijo in so citirane v odgovorih UI.
Blokiranje prenosov na zahtevo uporabnika ima omejen učinek: nekateri ponudniki pravijo, da ti agenti morda ne upoštevajo robots.txt, ker je stran zahteval človek. Rezultat pred objavo preizkusite s preverjanjem robots.txt. Tester in preverjanje robots.txt za pajke UI →
Kako ga uporabiti
Datoteko postavite v koren svoje domene (https://example.com/robots.txt). Če že imate pravila za druge pajke, jih obdržite in dodajte samo skupine za UI. Spremembe začnejo veljati, ko posamezni pajek naslednjič prebere datoteko, običajno v enem dnevu.
To besedilo je bilo strojno prevedeno iz angleščine.
Kaj napiše generator
Označite pajke, ki smejo brati vaše spletno mesto, in odznačite tiste, ki jih želite blokirati. Generator napiše robots.txt z eno skupino za vsakega blokiranega pajka, User-agent: <token>, ki mu sledi Disallow: /, nato pa zaključno skupino User-agent: *, ki dovoli vse drugo. Dodajte naslov zemljevida strani in doda vrstico Sitemap. Označite možnosti Content-Signal in doda vrstico Content-Signal, ki navaja, kako se sme vaša vsebina uporabljati.
Nič ne zapusti vašega brskalnika: datoteka se sestavi na strani med klikanjem, kopirate pa jo iz izhodnega polja.
S katero predlogo začeti
Dovoli vse: vsak pajek sme brati vsako stran. Prava izbira za večino spletnih mest, ki želijo biti najdena in navedena.
Blokiraj učenje, dovoli iskanje z UI: pajki za učenje, kot so GPTBot, ClaudeBot, CCBot in Google-Extended, so blokirani; pajki iskalnikov in uporabniški pajki, kot so OAI-SearchBot, Claude-SearchBot, PerplexityBot in ChatGPT-User, ostanejo dovoljeni. Vaše strani se še vedno lahko pojavijo in so navedene v odgovorih UI.
Blokiraj vse pajke UI: vsak pajek UI s seznama je blokiran. Ti pajki vaših strani ne bodo prenašali za odgovore UI, kar običajno pomeni manj navedb in manj prometa od pomočnikov.
Primer: blokiraj učenje, dovoli iskanje z UI
Vsak blokiran pajek ima lastno skupino, zato njegov Disallow: / velja samo zanj. Vsi drugi pajki, vključno z OAI-SearchBot in Googlebot, padejo na User-agent: * in smejo brati vse. Vrstica Content-Signal ponovi isti namen za pajke, ki jo berejo: iskanje in odgovori v realnem času da, učenje ne.
Združite, ne zamenjajte. Če ima vaš trenutni robots.txt pravila za skrbniška področja, košarice ali strani iskanja, jih kopirajte v skupino User-agent: * nove datoteke, sicer boste ta področja odprli vsem pajkom.
Datoteko postavite v koren vsakega gostitelja: https://example.com/robots.txt. Poddomena potrebuje lastno datoteko.
Strezite jo kot navadno besedilo s statusom 200. Stran HTML ali napaka na tem naslovu ne deluje kot robots.txt.
Prilepite rezultat v tester robots.txt in preverite nekaj resničnih poti za pajke, ki so vam pomembni.
Ne pozabite, da je robots.txt prošnja. Če požarni zid blokira pajka, ki ga dovolite, datoteka tega ne more popraviti; celotno preverjanje to pokaže.
Pogoste napake
Blokiranje OAI-SearchBot ali PerplexityBot, da bi ustavili učenje. To so pajki iskalnikov; njihovo blokiranje vas odstrani iz odgovorov.
Pisanje več vrstic User-agent nad enim Disallow: /, ko ste želeli blokirati samo enega od njih: zaporedne vrstice tvorijo eno skupino.
Pričakovanje, da bodo pridobivalniki na zahtevo uporabnika, kot je ChatGPT-User, upoštevali blokado. Nekateri ponudniki pravijo, da ti agenti morda ne sledijo robots.txt, ko je stran zahtevala oseba.
Dodajanje vrstic Crawl-delay ali Noindex. Nista del RFC 9309 in Google oba prezre.
Pogosta vprašanja
Ali blokiranje GPTBota odstrani moje spletno mesto iz ChatGPT?
Ne. GPTBot zbira podatke za učenje. Iskanje ChatGPT uporablja OAI-SearchBot, ChatGPT-User pa odpira strani, ki jih ljudje zahtevajo. Ta dva pustite dovoljena, če želite biti navedeni.
Kaj je Content-Signal?
Vrstica v robots.txt, ki navaja, kako se sme vaša vsebina uporabljati: search, ai-input (odgovori v realnem času) in ai-train (učenje), vsak da ali ne. Podpora se razlikuje med ponudniki; skupine za posamezne pajke ostajajo pravilo, ki mu pajki sledijo.
Ali Google-Extended vpliva na iskanje Google?
Ne. To je oznaka samo za robots.txt, ki določa, ali sme Google vaše strani uporabiti za svoje modele UI; ne spremeni pajkanja ali razvrščanja v iskanju Google.
Ali se moja izbira kam pošlje?
Ne. Generator deluje v vašem brskalniku in nič se ne pošlje na naš strežnik, dokler se ne odločite preizkusiti datoteke.