robots.txt DI robotams: ką leisti, ką blokuoti

Paskelbta

Trumpas atsakymas

Kiekvienam svarbiam DI robotui skirkite atskirą User-agent grupę. Įleiskite paieškos robotus, pvz., OAI-SearchBot, Claude-SearchBot ir PerplexityBot, jei norite būti cituojami, o dėl mokymo žymenų, pvz., GPTBot, ClaudeBot, Google-Extended ir Applebot-Extended, spręskite atskirai. Pavadinta grupė tam robotui pakeičia grupę *.

robots.txt yra paprastas tekstinis failas, atsiradęs 1994 m. ir 2022 m. tapęs oficialiu standartu RFC 9309. Dauguma DI tiekėjų teigia, kad jų robotai jo laikosi, o keli skelbia atskirus žymenis paieškai ir mokymui. Todėl robots.txt yra paprasčiausia vieta DI politikai išreikšti, jei taisyklės reiškia tai, ką manote.

Šiame puslapyje
  1. Kokius robots.txt žymenis naudoja DI robotai?
  2. Kaip atrodo geras robots.txt DI robotams?
  3. Kaip robotai pasirenka, kurios taisyklės jiems taikomos?
  4. Kokios dažniausios robots.txt klaidos?
  5. Ar galiu išreikšti DI naudojimo politiką ne tik leidimu ir draudimu?
  6. Per kiek laiko įsigalioja pakeitimai ir kaip juos patikrinti?

Kokius robots.txt žymenis naudoja DI robotai?

Tai tiekėjų dokumentuoti žymenys. Pagal RFC 9309 didžiosios ir mažosios raidės nesvarbios.

Kaip atrodo geras robots.txt DI robotams?

Šis pavyzdys įleidžia DI paiešką ir naudotojų užklausas, atsisako pagrindinių mokymo žymenų ir palieka vieną privačią sritį uždarą visiems:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Kelios User-agent eilutės iš eilės sudaro vieną grupę, todėl po jomis esančios taisyklės taikomos kiekvienam iš tų robotų. Jei norite, kad jūsų turinys būtų naudojamas mokymui, tiesiog praleiskite antrą grupę. Google-Extended blokavimas neturi įtakos Google Search: Google teigia, kad jis neveikia įtraukimo į paiešką ir nėra reitingavimo signalas. Panašiai Apple teigia, kad puslapiai, draudžiantys Applebot-Extended, vis tiek gali būti rodomi jos paieškos rezultatuose.

Kaip robotai pasirenka, kurios taisyklės jiems taikomos?

RFC 9309 tai apibrėžia tiksliai, ir šios detalės paaiškina daugumą netikėtumų:

Kokios dažniausios robots.txt klaidos?

Ar galiu išreikšti DI naudojimo politiką ne tik leidimu ir draudimu?

Cloudflare pasiūlė Content-Signal eilutę robots.txt su trimis signalais: search (paieškos indekso kūrimas ir nuorodų bei trumpų ištraukų rodymas), ai-input (turinio naudojimas realiuoju laiku DI atsakymams) ir ai-train (modelių mokymas ar derinimas). Cloudflare valdomas robots.txt gali ją pridėti už jus.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Kaip ir viskas robots.txt, tai pageidavimai, o ne techninės priemonės. Pats Cloudflare pažymi, kad robots.txt laikymasis yra savanoriškas. Eilutė neprivaloma ir nekenkia, bet nepakeičia aukščiau aprašytų atskirų robotų grupių.

Per kiek laiko įsigalioja pakeitimai ir kaip juos patikrinti?

RFC 9309 nurodo, kad robotai neturėtų naudoti talpykloje saugomo robots.txt ilgiau nei 24 valandas, o OpenAI ir Perplexity teigia, kad pakeitimai gali įsigalioti maždaug per parą. Taip pat atminkite, kad robots.txt nėra prieigos kontrolė: ugniasienė vis tiek gali blokuoti robotą, kurį jūsų taisyklės leidžia.

AISeeWhy analizuoja jūsų robots.txt pagal RFC 9309 kiekvienam tikrinamam robotui, pažymi nepasiekiamus ar kaip HTML pateikiamus failus, parodo, kur jūsų taisyklės ir serveris nesutaria, ir pateikia paruoštą pakeitimo diff.

Šios problemos pataisymai

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar GPTBot ar ClaudeBot blokavimas kenkia mano matomumui DI atsakymuose?

Tiesiogiai – ne. Abu tiekėjai paieškai naudoja atskirus paieškos robotus – OAI-SearchBot ir Claude-SearchBot. Mokymo roboto blokavimas yra politikos pasirinkimas.

Ar Google-Extended sustabdo AI Overviews?

Ne. Google teigia, kad DI funkcijos paieškoje naudoja Googlebot ir įprastus paieškos valdiklius, pvz., nosnippet ir noindex. Google-Extended apima Gemini mokymą ir atsakymų pagrindimą kituose Google produktuose ir paieškai įtakos neturi.

Ar DI robotai palaiko Crawl-delay?

Tai nėra RFC 9309 dalis. Anthropic teigia, kad palaiko Crawl-delay kaip nestandartinį plėtinį; kitų tiekėjų atveju žiūrėkite jų dokumentaciją.

Kur turi būti robots.txt?

Kiekvieno pagrindinio kompiuterio šaknyje, pvz., https://example.com/robots.txt. Failas poaplankyje nepaisomas, o kiekvienam subdomenui reikia savo failo.

Šaltiniai

Daugiau straipsnių