robots.txt za pajke UI: kaj dovoliti in kaj blokirati
Vsakemu pajku UI, ki vam je pomemben, dajte lastno skupino User-agent. Dovolite pajke za iskanje, kot so OAI-SearchBot, Claude-SearchBot in PerplexityBot, če želite biti citirani, o žetonih za učenje, kot so GPTBot, ClaudeBot, Google-Extended in Applebot-Extended, pa se odločite posebej. Poimenovana skupina za tega pajka nadomesti skupino *.
robots.txt je navadna besedilna datoteka, ki sega v leto 1994 in je leta 2022 postala uradni standard, RFC 9309. Večina ponudnikov UI pravi, da ji njihovi pajki sledijo, več jih objavlja ločene žetone za iskanje in za učenje. Zato je robots.txt najpreprostejše mesto za izražanje politike do UI, pod pogojem, da pravila pomenijo to, kar mislite, da pomenijo.
Na tej strani
- Katere žetone robots.txt uporabljajo pajki UI?
- Kako je videti dober robots.txt za UI?
- Kako pajki izberejo, katera pravila veljajo zanje?
- Katere so najpogostejše napake v robots.txt?
- Ali lahko politiko uporabe za UI izrazim širše kot z dovolitvijo in prepovedjo?
- Koliko časa trajajo spremembe in kako jih preverim?
Katere žetone robots.txt uporabljajo pajki UI?
To so žetoni, ki jih dokumentirajo ponudniki. Po RFC 9309 ujemanje ne razlikuje velikih in malih črk.
- OpenAI:
OAI-SearchBot(iskanje ChatGPT),GPTBot(učenje),ChatGPT-User(obiski na zahtevo uporabnika; OpenAI pravi, da robots.txt morda ne velja). - Anthropic:
Claude-SearchBot(iskanje),ClaudeBot(učenje),Claude-User(obiski na zahtevo uporabnika). - Perplexity:
PerplexityBot(iskanje),Perplexity-User(obiski na zahtevo uporabnika; Perplexity pravi, da robots.txt na splošno ne upošteva). - Google:
Googlebot(Iskanje, vključno z njegovimi funkcijami UI) inGoogle-Extended, žeton brez lastnega pajka, ki nadzoruje uporabo za učenje in utemeljevanje Gemini. - Apple:
Applebot(iskanje Spotlight, Siri, Safari) inApplebot-Extended, ki ne pajka, nadzoruje pa uporabo za učenje Applovih temeljnih modelov. - Meta:
meta-externalagent(učenje in indeksiranje izdelkov) inmeta-webindexer(iskanje Meta AI). - Common Crawl:
CCBot, ki gradi brezplačni javni arhiv spletnih podatkov Common Crawl.
Kako je videti dober robots.txt za UI?
Ta primer spusti noter iskanje z UI in uporabniške prenose, zavrne glavne žetone za učenje in eno zasebno območje ohrani zaprto za vse:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Več zaporednih vrstic User-agent tvori eno skupino, zato pravila pod njimi veljajo za vsakega od teh pajkov. Če želite, da se vaša vsebina uporablja za učenje, drugo skupino preprosto izpustite. Blokiranje Google-Extended ne vpliva na Google Iskanje: Google pravi, da ne vpliva na vključitev v Iskanje in ni signal za uvrstitev. Podobno Apple pravi, da se strani, ki prepovedujejo Applebot-Extended, še vedno lahko pojavijo v njegovih rezultatih iskanja.
Kako pajki izberejo, katera pravila veljajo zanje?
RFC 9309 to natančno določa, podrobnosti pa pojasnijo večino presenečenj:
- Pajek poišče skupino, katere
User-agentse ujema z njegovim žetonom izdelka, ne glede na velike in male črke. Če se ujema več skupin, se njihova pravila združijo v eno. - Šele če se ne ujema nobena skupina, pajek sledi skupini
User-agent: *. Poimenovana skupina iz*ne podeduje ničesar. - Znotraj skupine zmaga pravilo z najdaljšo ujemajočo se potjo.
Allow: /blog/za/blog/postpremagaDisallow: /. - Če se pravili
AllowinDisallowujemata z enako dolžino, naj se uporabiAllow. *v poti ustreza poljubnim znakom,$pa označuje konec, zatoDisallow: /*.pdf$zajame vsak PDF.
Katere so najpogostejše napake v robots.txt?
- Pričakovanje, da poimenovana skupina podeduje pravila iz
*. Skupina zaOAI-SearchBotsamo zAllow: /odpre vse poti, tudi tiste, ki ste jih prepovedali pod*. - Naslov robots.txt, ki vrne stran HTML, pogosto stran 404, postreženo s statusom 200. Pajki v njej ne najdejo veljavnih pravil.
- robots.txt, ki vrne napako strežnika. RFC 9309 pravi, da mora pajek tedaj privzeti, da je prepovedano celotno mesto. Napaka 404 je nekaj drugega: pomeni, da omejitev ni.
- Blokiranje žetona za iskanje z namenom blokiranja učenja, na primer prepoved
PerplexityBotaliClaude-SearchBot, da bi se izognili učenju modelov. - Zanašanje na robots.txt pri ustavljanju prenosov na zahtevo uporabnikov. OpenAI in Perplexity oba pravita, da mu njuni uporabniški agenti morda ne sledijo.
- Pozabljene poddomene. Vsak gostitelj ima svoj robots.txt; Anthropicova dokumentacija lastnike spletnih mest opominja, naj dodajo pravila za vsako poddomeno.
Ali lahko politiko uporabe za UI izrazim širše kot z dovolitvijo in prepovedjo?
Cloudflare je za robots.txt predlagal vrstico Content-Signal s tremi signali: search (gradnja iskalnega indeksa ter prikaz povezav in kratkih izsekov), ai-input (uporaba vsebine v realnem času za odgovore UI) in ai-train (učenje ali dodatno prilagajanje modelov). Cloudflarov upravljani robots.txt jo lahko doda namesto vas.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Kot vse v robots.txt so to želje, ne tehnični nadzor. Cloudflare sam opozarja, da je upoštevanje robots.txt prostovoljno. Vrstica je neobvezna in ne škodi, ne nadomesti pa skupin za posamezne pajke zgoraj.
Koliko časa trajajo spremembe in kako jih preverim?
RFC 9309 pravi, da pajki ne smejo uporabljati predpomnjenega robots.txt dlje kot 24 ur, OpenAI in Perplexity pa oba pravita, da lahko uveljavitev sprememb traja približno dan. Ne pozabite tudi, da robots.txt ni nadzor dostopa: požarni zid lahko še vedno blokira pajka, ki ga vaša pravila dovoljujejo.
AISeeWhy vaš robots.txt razčleni po RFC 9309 za vsakega pajka, ki ga preizkusi, označi datoteke, ki niso dosegljive ali so postrežene kot HTML, pokaže, kje se vaša pravila in strežnik ne ujemajo, in poda pripravljen diff za spremembo.
Popravki za to težavo
- robots.txt dovoli GPTBot, strežnik pa ga blokira
- robots.txt prepoveduje OAI-SearchBot
- robots.txt je stran HTML
- V robots.txt ni Content-Signal
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali blokiranje GPTBot ali ClaudeBot škodi moji vidnosti v odgovorih UI?
Ne neposredno. Oba ponudnika za iskanje uporabljata ločena pajka za iskanje, OAI-SearchBot in Claude-SearchBot. Blokiranje pajka za učenje je odločitev politike.
Ali Google-Extended ustavi AI Overviews?
Ne. Google pravi, da funkcije UI v Iskanju uporabljajo Googlebot in običajne nastavitve Iskanja, kot sta nosnippet in noindex. Google-Extended zajema učenje in utemeljevanje Gemini v drugih Googlovih izdelkih in ne vpliva na Iskanje.
Ali pajki UI podpirajo Crawl-delay?
Ni del RFC 9309. Anthropic pravi, da Crawl-delay podpira kot nestandardno razširitev; za druge ponudnike preverite njihovo dokumentacijo.
Kje mora biti robots.txt?
V korenu vsakega gostitelja, na primer https://example.com/robots.txt. Datoteka v podmapi se prezre, vsaka poddomena pa potrebuje svojo.
Viri
- RFC 9309: Robots Exclusion Protocol
- OpenAI: pregled pajkov OpenAI
- Google: običajni pajki, vključno z Google-Extended
- Apple: o Applebotu
- Cloudflare: upravljani robots.txt in Content Signals