robots.txt za pajke UI: kaj dovoliti in kaj blokirati

Objavljeno

Kratek odgovor

Vsakemu pajku UI, ki vam je pomemben, dajte lastno skupino User-agent. Dovolite pajke za iskanje, kot so OAI-SearchBot, Claude-SearchBot in PerplexityBot, če želite biti citirani, o žetonih za učenje, kot so GPTBot, ClaudeBot, Google-Extended in Applebot-Extended, pa se odločite posebej. Poimenovana skupina za tega pajka nadomesti skupino *.

robots.txt je navadna besedilna datoteka, ki sega v leto 1994 in je leta 2022 postala uradni standard, RFC 9309. Večina ponudnikov UI pravi, da ji njihovi pajki sledijo, več jih objavlja ločene žetone za iskanje in za učenje. Zato je robots.txt najpreprostejše mesto za izražanje politike do UI, pod pogojem, da pravila pomenijo to, kar mislite, da pomenijo.

Na tej strani
  1. Katere žetone robots.txt uporabljajo pajki UI?
  2. Kako je videti dober robots.txt za UI?
  3. Kako pajki izberejo, katera pravila veljajo zanje?
  4. Katere so najpogostejše napake v robots.txt?
  5. Ali lahko politiko uporabe za UI izrazim širše kot z dovolitvijo in prepovedjo?
  6. Koliko časa trajajo spremembe in kako jih preverim?

Katere žetone robots.txt uporabljajo pajki UI?

To so žetoni, ki jih dokumentirajo ponudniki. Po RFC 9309 ujemanje ne razlikuje velikih in malih črk.

Kako je videti dober robots.txt za UI?

Ta primer spusti noter iskanje z UI in uporabniške prenose, zavrne glavne žetone za učenje in eno zasebno območje ohrani zaprto za vse:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Več zaporednih vrstic User-agent tvori eno skupino, zato pravila pod njimi veljajo za vsakega od teh pajkov. Če želite, da se vaša vsebina uporablja za učenje, drugo skupino preprosto izpustite. Blokiranje Google-Extended ne vpliva na Google Iskanje: Google pravi, da ne vpliva na vključitev v Iskanje in ni signal za uvrstitev. Podobno Apple pravi, da se strani, ki prepovedujejo Applebot-Extended, še vedno lahko pojavijo v njegovih rezultatih iskanja.

Kako pajki izberejo, katera pravila veljajo zanje?

RFC 9309 to natančno določa, podrobnosti pa pojasnijo večino presenečenj:

Katere so najpogostejše napake v robots.txt?

Ali lahko politiko uporabe za UI izrazim širše kot z dovolitvijo in prepovedjo?

Cloudflare je za robots.txt predlagal vrstico Content-Signal s tremi signali: search (gradnja iskalnega indeksa ter prikaz povezav in kratkih izsekov), ai-input (uporaba vsebine v realnem času za odgovore UI) in ai-train (učenje ali dodatno prilagajanje modelov). Cloudflarov upravljani robots.txt jo lahko doda namesto vas.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Kot vse v robots.txt so to želje, ne tehnični nadzor. Cloudflare sam opozarja, da je upoštevanje robots.txt prostovoljno. Vrstica je neobvezna in ne škodi, ne nadomesti pa skupin za posamezne pajke zgoraj.

Koliko časa trajajo spremembe in kako jih preverim?

RFC 9309 pravi, da pajki ne smejo uporabljati predpomnjenega robots.txt dlje kot 24 ur, OpenAI in Perplexity pa oba pravita, da lahko uveljavitev sprememb traja približno dan. Ne pozabite tudi, da robots.txt ni nadzor dostopa: požarni zid lahko še vedno blokira pajka, ki ga vaša pravila dovoljujejo.

AISeeWhy vaš robots.txt razčleni po RFC 9309 za vsakega pajka, ki ga preizkusi, označi datoteke, ki niso dosegljive ali so postrežene kot HTML, pokaže, kje se vaša pravila in strežnik ne ujemajo, in poda pripravljen diff za spremembo.

Popravki za to težavo

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali blokiranje GPTBot ali ClaudeBot škodi moji vidnosti v odgovorih UI?

Ne neposredno. Oba ponudnika za iskanje uporabljata ločena pajka za iskanje, OAI-SearchBot in Claude-SearchBot. Blokiranje pajka za učenje je odločitev politike.

Ali Google-Extended ustavi AI Overviews?

Ne. Google pravi, da funkcije UI v Iskanju uporabljajo Googlebot in običajne nastavitve Iskanja, kot sta nosnippet in noindex. Google-Extended zajema učenje in utemeljevanje Gemini v drugih Googlovih izdelkih in ne vpliva na Iskanje.

Ali pajki UI podpirajo Crawl-delay?

Ni del RFC 9309. Anthropic pravi, da Crawl-delay podpira kot nestandardno razširitev; za druge ponudnike preverite njihovo dokumentacijo.

Kje mora biti robots.txt?

V korenu vsakega gostitelja, na primer https://example.com/robots.txt. Datoteka v podmapi se prezre, vsaka poddomena pa potrebuje svojo.

Viri

Več člankov