robots.txt DI robotams: ką leisti, ką blokuoti
Kiekvienam svarbiam DI robotui skirkite atskirą User-agent grupę. Įleiskite paieškos robotus, pvz., OAI-SearchBot, Claude-SearchBot ir PerplexityBot, jei norite būti cituojami, o dėl mokymo žymenų, pvz., GPTBot, ClaudeBot, Google-Extended ir Applebot-Extended, spręskite atskirai. Pavadinta grupė tam robotui pakeičia grupę *.
robots.txt yra paprastas tekstinis failas, atsiradęs 1994 m. ir 2022 m. tapęs oficialiu standartu RFC 9309. Dauguma DI tiekėjų teigia, kad jų robotai jo laikosi, o keli skelbia atskirus žymenis paieškai ir mokymui. Todėl robots.txt yra paprasčiausia vieta DI politikai išreikšti, jei taisyklės reiškia tai, ką manote.
Šiame puslapyje
- Kokius robots.txt žymenis naudoja DI robotai?
- Kaip atrodo geras robots.txt DI robotams?
- Kaip robotai pasirenka, kurios taisyklės jiems taikomos?
- Kokios dažniausios robots.txt klaidos?
- Ar galiu išreikšti DI naudojimo politiką ne tik leidimu ir draudimu?
- Per kiek laiko įsigalioja pakeitimai ir kaip juos patikrinti?
Kokius robots.txt žymenis naudoja DI robotai?
Tai tiekėjų dokumentuoti žymenys. Pagal RFC 9309 didžiosios ir mažosios raidės nesvarbios.
- OpenAI:
OAI-SearchBot(ChatGPT paieška),GPTBot(mokymas),ChatGPT-User(naudotojų prašomi apsilankymai; OpenAI teigia, kad robots.txt gali negalioti). - Anthropic:
Claude-SearchBot(paieška),ClaudeBot(mokymas),Claude-User(naudotojų prašomi apsilankymai). - Perplexity:
PerplexityBot(paieška),Perplexity-User(naudotojų prašomi apsilankymai; Perplexity teigia, kad jis paprastai nepaiso robots.txt). - Google:
Googlebot(paieška, įskaitant jos DI funkcijas) irGoogle-Extended– žymuo be savo roboto, valdantis naudojimą Gemini mokymui ir atsakymų pagrindimui. - Apple:
Applebot(Spotlight, Siri, Safari paieška) irApplebot-Extended, kuris nieko nenuskaito, bet valdo naudojimą Apple baziniams modeliams mokyti. - Meta:
meta-externalagent(mokymas ir produktų indeksavimas) irmeta-webindexer(Meta AI paieška). - Common Crawl:
CCBot, kuriantis nemokamą viešą Common Crawl žiniatinklio duomenų archyvą.
Kaip atrodo geras robots.txt DI robotams?
Šis pavyzdys įleidžia DI paiešką ir naudotojų užklausas, atsisako pagrindinių mokymo žymenų ir palieka vieną privačią sritį uždarą visiems:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Kelios User-agent eilutės iš eilės sudaro vieną grupę, todėl po jomis esančios taisyklės taikomos kiekvienam iš tų robotų. Jei norite, kad jūsų turinys būtų naudojamas mokymui, tiesiog praleiskite antrą grupę. Google-Extended blokavimas neturi įtakos Google Search: Google teigia, kad jis neveikia įtraukimo į paiešką ir nėra reitingavimo signalas. Panašiai Apple teigia, kad puslapiai, draudžiantys Applebot-Extended, vis tiek gali būti rodomi jos paieškos rezultatuose.
Kaip robotai pasirenka, kurios taisyklės jiems taikomos?
RFC 9309 tai apibrėžia tiksliai, ir šios detalės paaiškina daugumą netikėtumų:
- Robotas ieško grupės, kurios
User-agentatitinka jo produkto žymenį, nepaisydamas raidžių dydžio. Jei atitinka kelios grupės, jų taisyklės sujungiamos į vieną. - Tik jei neatitinka jokia grupė, robotas vadovaujasi grupe
User-agent: *. Pavadinta grupė nieko nepaveldi iš*. - Grupėje laimi taisyklė su ilgiausiu atitinkančiu keliu. Keliui
/blog/postAllow: /blog/nugaliDisallow: /. - Jei
AllowirDisallowtaisyklės atitinka vienodu ilgiu, turėtų būti taikomaAllow. *kelyje atitinka bet kokius simbolius, o$žymi pabaigą, todėlDisallow: /*.pdf$apima kiekvieną PDF.
Kokios dažniausios robots.txt klaidos?
- Tikėjimasis, kad pavadinta grupė paveldės iš
*.OAI-SearchBotgrupė vien suAllow: /atveria visus kelius, įskaitant uždraustus grupėje*. - robots.txt adresas, grąžinantis HTML puslapį, dažnai 404 puslapį su būsena 200. Robotai jame neranda jokių galiojančių taisyklių.
- robots.txt, grąžinantis serverio klaidą. Pagal RFC 9309 robotas tada turi laikyti visą svetainę uždrausta. 404 – kitas atvejis: jis reiškia, kad apribojimų nėra.
- Paieškos žymens blokavimas norint blokuoti mokymą, pvz.,
PerplexityBotarClaude-SearchBotdraudimas siekiant išvengti modelių mokymo. - Pasikliovimas robots.txt sustabdant naudotojų prašomus atsisiuntimus. Ir OpenAI, ir Perplexity teigia, kad jų naudotojų agentai gali jo nepaisyti.
- Pamiršti subdomenai. Kiekvienas pagrindinis kompiuteris turi savo robots.txt; Anthropic dokumentacija primena svetainių savininkams pridėti taisykles kiekvienam subdomenui.
Ar galiu išreikšti DI naudojimo politiką ne tik leidimu ir draudimu?
Cloudflare pasiūlė Content-Signal eilutę robots.txt su trimis signalais: search (paieškos indekso kūrimas ir nuorodų bei trumpų ištraukų rodymas), ai-input (turinio naudojimas realiuoju laiku DI atsakymams) ir ai-train (modelių mokymas ar derinimas). Cloudflare valdomas robots.txt gali ją pridėti už jus.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Kaip ir viskas robots.txt, tai pageidavimai, o ne techninės priemonės. Pats Cloudflare pažymi, kad robots.txt laikymasis yra savanoriškas. Eilutė neprivaloma ir nekenkia, bet nepakeičia aukščiau aprašytų atskirų robotų grupių.
Per kiek laiko įsigalioja pakeitimai ir kaip juos patikrinti?
RFC 9309 nurodo, kad robotai neturėtų naudoti talpykloje saugomo robots.txt ilgiau nei 24 valandas, o OpenAI ir Perplexity teigia, kad pakeitimai gali įsigalioti maždaug per parą. Taip pat atminkite, kad robots.txt nėra prieigos kontrolė: ugniasienė vis tiek gali blokuoti robotą, kurį jūsų taisyklės leidžia.
AISeeWhy analizuoja jūsų robots.txt pagal RFC 9309 kiekvienam tikrinamam robotui, pažymi nepasiekiamus ar kaip HTML pateikiamus failus, parodo, kur jūsų taisyklės ir serveris nesutaria, ir pateikia paruoštą pakeitimo diff.
Šios problemos pataisymai
- robots.txt leidžia GPTBot, bet serveris jį blokuoja
- robots.txt draudžia OAI-SearchBot
- robots.txt yra HTML puslapis
- robots.txt nėra Content-Signal
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar GPTBot ar ClaudeBot blokavimas kenkia mano matomumui DI atsakymuose?
Tiesiogiai – ne. Abu tiekėjai paieškai naudoja atskirus paieškos robotus – OAI-SearchBot ir Claude-SearchBot. Mokymo roboto blokavimas yra politikos pasirinkimas.
Ar Google-Extended sustabdo AI Overviews?
Ne. Google teigia, kad DI funkcijos paieškoje naudoja Googlebot ir įprastus paieškos valdiklius, pvz., nosnippet ir noindex. Google-Extended apima Gemini mokymą ir atsakymų pagrindimą kituose Google produktuose ir paieškai įtakos neturi.
Ar DI robotai palaiko Crawl-delay?
Tai nėra RFC 9309 dalis. Anthropic teigia, kad palaiko Crawl-delay kaip nestandartinį plėtinį; kitų tiekėjų atveju žiūrėkite jų dokumentaciją.
Kur turi būti robots.txt?
Kiekvieno pagrindinio kompiuterio šaknyje, pvz., https://example.com/robots.txt. Failas poaplankyje nepaisomas, o kiekvienam subdomenui reikia savo failo.
Šaltiniai
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI robotų apžvalga
- Google: Bendrieji robotai, įskaitant Google-Extended
- Apple: Apie Applebot
- Cloudflare: valdomas robots.txt ir Content Signals