Czym jest Content-Signal w robots.txt i czy ktoś go przestrzega?
Content-Signal to opcjonalny wiersz robots.txt opublikowany przez Cloudflare, który określa, jak Twoje treści mogą być używane po pobraniu: search dla wyników wyszukiwania, ai-input dla przekazywania ich do odpowiedzi AI i ai-train dla trenowania modeli, każdy z wartością yes lub no, na przykład Content-Signal: search=yes, ai-input=yes, ai-train=no. Wyraża preferencję i niczego nie blokuje. Według stanu na listopad 2026 żadna ze stron o crawlerach OpenAI, Anthropic, Google ani Perplexity nie podaje, że go odczytuje, a duże firmy AI poparły zamiast tego inny token, dotyczący tylko trenowania.
robots.txt powstał, by mówić, dokąd crawler może wejść, a nie co wolno zrobić z tym, co przeczyta. Gdy to samo pobranie mogło zasilać indeks wyszukiwarki, odpowiedź AI na żywo i zbiór treningowy, ta luka zaczęła mieć znaczenie. Cloudflare opublikował 24 września 2025 Content Signals Policy na licencji CC0, aby ją wypełnić, i podał wtedy, że jego klienci włączyli już zarządzany robots.txt dla ponad 3,8 mln domen, a ta funkcja dodaje teraz za nich ten wiersz.
Na tej stronie
- Co oznaczają search, ai-input i ai-train?
- Jak zapisać wiersz Content-Signal w robots.txt?
- Co mówi tekst zasad nad tym wierszem?
- Czy Content-Signal jest już w moim robots.txt?
- Czy crawlery AI przestrzegają Content-Signal?
- Czy dodać Content-Signal do mojego robots.txt?
- Jak sprawdzić, co mój robots.txt mówi każdemu crawlerowi?
Co oznaczają search, ai-input i ai-train?
Zasady definiują trzy sygnały. Poniższe sformułowania odpowiadają contentsignals.org i tekstowi zasad publikowanemu przez Cloudflare:
search: budowanie indeksu wyszukiwania i dostarczanie wyników wyszukiwania, na przykład zwracanie hiperłączy i krótkich fragmentów Twoich stron. Definicja zaznacza, że search nie obejmuje podsumowań wyszukiwania generowanych przez AI.ai-input: wprowadzanie treści do jednego lub kilku modeli AI, na przykład retrieval augmented generation, grounding lub inne wykorzystanie treści w czasie rzeczywistym w odpowiedziach wyszukiwania z generatywną AI.ai-train: trenowanie lub dostrajanie (fine-tuning) modeli AI.
Każdy sygnał przyjmuje yes lub no. W rozumieniu zasad yes oznacza, że treść może być zbierana do tego zastosowania, no oznacza, że nie może, a sygnał, który pominiesz, ani nie udziela zgody, ani nie ogranicza tego zastosowania. Domyślne ustawienie Cloudflare ustawia search i ai-train, a ai-input zostawia puste, bo, jak podaje, nie zna preferencji każdego klienta w tej kwestii i nie chce zgadywać.
Większość osób przeocza różnicę między search a ai-input. Jeśli chcesz, by Twoje strony były używane w odpowiedziach AI, samo search=yes tego nie mówi. Mówi to ai-input=yes.
Jak zapisać wiersz Content-Signal w robots.txt?
Content-Signal umieszcza się w grupie user agenta, obok Allow i Disallow, z sygnałami oddzielonymi przecinkami. contentsignals.org pokazuje też wariant zaczynający się od ścieżki, dzięki czemu jedna sekcja witryny może mieć inne sygnały niż reszta:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow i Disallow działają dokładnie tak jak wcześniej, a Content-Signal ich nie zastępuje. RFC 9309 pozwala crawlerom interpretować rekordy spoza protokołu, o ile nie koliduje to ze zdefiniowanymi regułami, więc parser, który nie zna tego wiersza, powinien go pominąć.
Warto znać dwa szczegóły. Po pierwsze, wiersz należy do grupy. Według RFC 9309 crawler, który ma grupę z własną nazwą, całkowicie ignoruje grupę User-agent: *, a strony Content Signals nie opisują dla tego wiersza żadnego wyjątku. Jeśli dajesz Googlebot lub OAI-SearchBot własną grupę, powtórz w niej wiersz Content-Signal, tak jak robi to contentsignals.org w przykładzie dla poszczególnych crawlerów. Po drugie, Google Search Console może zgłaszać dla tego wiersza Syntax not understood. Dokumentacja Cloudflare o tym wspomina i podaje, że nie zaobserwowano wpływu na przeszukiwanie ani na SEO. Dokumentacja robots.txt Google wymienia jako obsługiwane pola tylko user-agent, allow, disallow i sitemap.
Co mówi tekst zasad nad tym wierszem?
Content Signals Policy to więcej niż jeden wiersz. Generator Cloudflare na contentsignals.org i zarządzany robots.txt umieszczają nad sygnałami blok komentarzy. Zaczyna się on od stwierdzenia, że warunkiem dostępu do witryny jest zgoda na przestrzeganie content signals, a następnie definiuje trzy sygnały oraz przypadki yes, no i brak sygnału.
Kończy się zdaniem pisanym wielkimi literami, które stwierdza, że wszelkie ograniczenia wyrażone przez content signals są wyraźnym zastrzeżeniem praw na podstawie art. 4 dyrektywy UE 2019/790 w sprawie prawa autorskiego na jednolitym rynku cyfrowym. Ogłoszenie Cloudflare dodaje, że sygnały mogą mieć znaczenie prawne w różnych jurysdykcjach.
Samo contentsignals.org ostrzega, że sądy i organy regulacyjne mogą uznać, iż pliki robots.txt nie nakładają egzekwowalnych obowiązków prawnych, i zaleca konsultację z prawnikiem. Traktuj blok komentarzy jako pisemne przedstawienie swojego stanowiska, a nie jako umowę.
Czy Content-Signal jest już w moim robots.txt?
Jeśli Twoja witryna działa na Cloudflare, może być, na jeden z dwóch sposobów:
- Zarządzany robots.txt. Gdy Bot Preference Sync jest włączone, a co najmniej jedna AI Crawler and Agent access policy ma ustawienie Block, Block on pages with ads lub, w przypadku Training, Disallow, Cloudflare dokleja zarządzany blok na początku robots.txt wysyłanego przez Twój serwer. Zawiera on tekst zasad,
Content-signal: search=yes, ai-train=no, use=referencepodUser-Agent: *orazDisallow: /dlaAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotimeta-externalagent. - Brak robots.txt. Cloudflare podaje, że domeny w planie Free, które nie mają własnego robots.txt i nie korzystają z funkcji zarządzanej, pokazują Content Signals Policy, gdy crawler pobiera
/robots.txt. Ta wersja zawiera definicje, ale nie wyraża żadnej preferencji.
Część use=reference jest nowa. Cloudflare opisuje use jako opcjonalne czwarte pole, które testuje, z trzema wartościami: immediate (interakcja bez przechowywania i ponownego użycia czegokolwiek), reference (indeksowanie, cytowanie fragmentów i linkowanie do źródła) oraz full (streszczanie i powielanie). Nie jest to żaden z trzech pierwotnych sygnałów i nie wspomina o nim żadna ze sprawdzonych przez nas dokumentacji crawlerów.
Ponieważ Cloudflare dodaje te wiersze na brzegu sieci, plik w repozytorium może wyglądać na niezmieniony, podczas gdy plik, który dostają crawlery, jest inny. Zanim dodasz własny wiersz, pobierz działający https://yourdomain.com/robots.txt, aby odpowiedź nie zawierała dwóch różnych zasad.
Wśród dużych witryn użycie jest wciąż niewielkie. W naszym badaniu 1000 najpopularniejszych domen z listopada 2026 spośród 518 witryn udostępniających robots.txt 18 (3,5%) używało Content-Signal.
Czy crawlery AI przestrzegają Content-Signal?
Nie według żadnej dokumentacji, którą udało nam się znaleźć. 17 listopada 2026 sprawdziliśmy strony o crawlerach OpenAI, Anthropic, Google i Perplexity i żadna z nich nie wspomina o Content-Signal. Sam Cloudflare opisuje sygnały jako preferencje, a nie techniczne środki przeciwko scrapingowi, i przyznaje, że niektóre firmy mogą je po prostu ignorować.
Firmy AI udokumentowały natomiast osobny mechanizm oparty na pracach grupy roboczej IETF AI Preferences: token zasad __usage_ai-training, zapisywany jako zwykła grupa User-Agent. Obejmuje tylko trenowanie, a Internet-Draft, który go definiuje, mówi, że grupa User-Agent: * nie liczy się jako użycie tego tokenu:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Obsługa jest nierówna i częściowo dopiero nadejdzie. Anthropic podaje, że od 30 października 2026 rozpoznaje ogólny, odczytywalny maszynowo sygnał trenowania, wdraża go stopniowo, a reguła wymieniająca ClaudeBot ma przed nim pierwszeństwo. Microsoft dokumentuje token __usage_ai-training dla Bing, a nowe preferencje zaczynają obowiązywać w miarę przeszukiwania stron od 1 lutego 2027. Google podaje, że chce obsługiwać wspólne ustawienie w 2027 roku i planuje traktować rezygnację z trenowania wyrażoną w ten sposób jako blokadę Google-Extended, gdy ten token nie jest wymieniony. OpenAI opublikowało tego samego dnia ogłoszenie, że będzie respektować wspólny sygnał, bez podania daty.
ai-train=no i __usage_ai-training mówią więc coś podobnego, ale tylko ten drugi ma udokumentowaną obsługę firm AI. Tokeny poszczególnych crawlerów, takie jak GPTBot i ClaudeBot, pozostają ustawieniami, które każdy dostawca stosuje dzisiaj.
Czy dodać Content-Signal do mojego robots.txt?
Dodaj go, jeśli chcesz mieć swoje zasady korzystania zapisane w jednym miejscu, które mogą przeczytać maszyny i ludzie. W jednym wierszu określa też preferencję ai-input dla każdego crawlera, co tokeny dostawców mogą wyrazić tylko crawler po crawlerze. Kosztuje jeden wiersz, a parsery, które go nie znają, pomijają go.
Nie polegaj wyłącznie na nim. Aby wyłączyć treści z trenowania, zablokuj też udokumentowane tokeny trenujące i rozważ wspólny token trenowania; nasz przewodnik o blokowaniu trenowania AI przy zachowaniu obecności w wyszukiwaniu AI wymienia tokeny według dostawcy. W przypadku wszystkiego, co ignoruje robots.txt, blokadę egzekwuje tylko reguła firewalla.
Na koniec sprawdź, czy wiersz zgadza się z resztą pliku. ai-input=no obok grupy Allow dla OAI-SearchBot lub PerplexityBot daje sprzeczne sygnały: wpuszczasz crawlery wyszukiwania AI, a jednocześnie mówisz, że ich odpowiedzi nie mogą korzystać z tego, co pobiorą.
Jak sprawdzić, co mój robots.txt mówi każdemu crawlerowi?
Darmowy tester robots.txt od AISeeWhy przyjmuje adres strony lub wklejony robots.txt i pokazuje dla każdego crawlera AI i wyszukiwarki, czy ta strona może zostać pobrana, dzięki czemu potwierdzisz, że działający plik, łącznie z tym, co dokleił Cloudflare, mówi to, o co Ci chodziło. Darmowy generator robots.txt tworzy plik na podstawie Twoich wyborów.
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Najczęstsze pytania
Czy Content-Signal jest częścią standardu robots.txt?
Nie. RFC 9309 definiuje User-agent, Allow i Disallow i pozwala crawlerom interpretować inne rekordy. Content-Signal pochodzi z Content Signals Policy od Cloudflare, wydanej na licencji CC0. Niezależnie od tego grupa robocza IETF AI Preferences przygotowuje własną regułę Content-Usage dla robots.txt, która jest wciąż Internet-Draftem, a nie standardem.
Czy ai-train=no zatrzymuje GPTBot lub ClaudeBot?
Nie według dokumentacji dostawców. OpenAI i Anthropic opisują kontrolę przez reguły robots.txt wymieniające GPTBot i ClaudeBot, a żadna z ich stron o crawlerach nie wspomina o Content-Signal. Aby zrezygnować z trenowania u któregokolwiek z nich, zablokuj token z nazwy.
Czym różni się Content-Signal od __usage_ai-training?
Content-Signal to wiersz wewnątrz grupy, który obejmuje wyszukiwanie, wejście dla AI i trenowanie. __usage_ai-training to token zasad używany jako osobna grupa User-Agent, który obejmuje tylko trenowanie. Anthropic, Microsoft, Google i OpenAI opublikowały oświadczenia o wspólnym sygnale trenowania; żadna z tych firm nie dokumentuje Content-Signal.
Dlaczego Google Search Console pokazuje Syntax not understood?
Dokumentacja robots.txt Google obsługuje tylko user-agent, allow, disallow i sitemap, więc inne wiersze mogą być oznaczane. Cloudflare podaje, że nie zaobserwował wpływu tych zgłoszeń na tempo przeszukiwania ani na SEO.
Co oznacza use=reference?
To czwarte pole, które testuje Cloudflare. reference oznacza indeksowanie, cytowanie fragmentów i linkowanie do źródła. Cloudflare dodaje je do zarządzanych plików robots.txt, a żadna ze sprawdzonych przez nas dokumentacji crawlerów o nim nie wspomina.
Źródła
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Raport o dostępie crawlerów AI, 2026-11