AISeeWhy
CS
Spustit zkušební verzi zdarma

robots.txt pro AI crawlery: co povolit a co zablokovat

Publikováno

Stručná odpověď

Každému AI crawleru, na kterém vám záleží, dejte vlastní skupinu User-agent. Vyhledávací crawlery jako OAI-SearchBot, Claude-SearchBot a PerplexityBot povolte, pokud chcete být citováni, a o trénovacích tokenech jako GPTBot, ClaudeBot, Google-Extended a Applebot-Extended rozhodněte zvlášť. Jmenovaná skupina pro daný crawler nahrazuje skupinu *.

robots.txt je prostý textový soubor z roku 1994, který se v roce 2022 stal formálním standardem RFC 9309. Většina dodavatelů AI uvádí, že jejich crawlery se jím řídí, a několik z nich zveřejňuje samostatné tokeny pro vyhledávání a pro trénování. Díky tomu je robots.txt nejjednodušším místem, kde vyjádřit AI politiku, pokud pravidla znamenají to, co si myslíte.

Na této stránce
  1. Jaké tokeny v robots.txt AI crawlery používají?
  2. Jak vypadá dobrý robots.txt pro AI?
  3. Jak si crawlery vybírají, která pravidla se na ně vztahují?
  4. Jaké jsou nejčastější chyby v robots.txt?
  5. Mohu vyjádřit politiku používání AI nad rámec povolení a zákazu?
  6. Jak dlouho změny trvají a jak je ověřit?

Jaké tokeny v robots.txt AI crawlery používají?

Toto jsou tokeny, které dodavatelé dokumentují. Podle RFC 9309 se při porovnávání nerozlišuje velikost písmen.

Jak vypadá dobrý robots.txt pro AI?

Tento příklad pouští AI vyhledávání a stahování na žádost uživatele, odmítá hlavní trénovací tokeny a pro všechny ponechává uzavřenou jednu soukromou oblast:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Několik řádků User-agent za sebou tvoří jednu skupinu, takže pravidla pod nimi platí pro každý z těchto crawlerů. Pokud chcete, aby se váš obsah k trénování používal, druhou skupinu prostě vynechte. Zablokování Google-Extended Google Search neovlivní: Google uvádí, že nemá vliv na zařazení do Search a není signálem pro řazení. Podobně Apple uvádí, že stránky, které zakazují Applebot-Extended, se mohou dál zobrazovat ve výsledcích jeho vyhledávání.

Jak si crawlery vybírají, která pravidla se na ně vztahují?

RFC 9309 to definuje přesně a podrobnosti vysvětlují většinu překvapení:

Jaké jsou nejčastější chyby v robots.txt?

Mohu vyjádřit politiku používání AI nad rámec povolení a zákazu?

Cloudflare navrhl pro robots.txt řádek Content-Signal se třemi signály: search (vytváření vyhledávacího indexu a zobrazování odkazů a krátkých úryvků), ai-input (využití obsahu v reálném čase pro AI odpovědi) a ai-train (trénování nebo dolaďování modelů). Spravovaný robots.txt od Cloudflare jej může přidat za vás.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Jako vše v robots.txt jde o preference, ne o technické kontroly. Sám Cloudflare uvádí, že dodržování robots.txt je dobrovolné. Řádek je nepovinný a neškodí, ale nenahrazuje skupiny pro jednotlivé crawlery uvedené výše.

Jak dlouho změny trvají a jak je ověřit?

RFC 9309 říká, že crawlery by neměly používat robots.txt z mezipaměti déle než 24 hodin, a OpenAI i Perplexity uvádějí, že uplatnění změn může trvat zhruba den. Pamatujte také, že robots.txt není řízení přístupu: firewall může crawler, který vaše pravidla povolují, stále zablokovat.

AISeeWhy analyzuje váš robots.txt podle RFC 9309 pro každý testovaný crawler, upozorní na soubory, které jsou nedostupné nebo servírované jako HTML, ukáže, kde se vaše pravidla a server rozcházejí, a poskytne hotový diff změny.

Časté dotazy

Poškodí zablokování GPTBot nebo ClaudeBot mou viditelnost v AI odpovědích?

Přímo ne. Oba dodavatelé používají pro vyhledávání samostatné vyhledávací crawlery, OAI-SearchBot a Claude-SearchBot. Zablokování trénovacího crawleru je rozhodnutí politiky.

Zastaví Google-Extended AI Overviews?

Ne. Google uvádí, že funkce AI ve Search používají Googlebot a běžné ovládací prvky Search, například nosnippet a noindex. Google-Extended se týká trénování a groundingu Gemini v jiných produktech Google a Search neovlivňuje.

Podporují AI crawlery Crawl-delay?

Není součástí RFC 9309. Anthropic uvádí, že Crawl-delay podporuje jako nestandardní rozšíření; u dalších dodavatelů se podívejte do jejich dokumentace.

Kde musí robots.txt být?

V kořeni každého hostu, například https://example.com/robots.txt. Soubor v podsložce se ignoruje a každá subdoména potřebuje vlastní.

Zdroje

Další články