AISeeWhy
PL
Bezpłatny okres próbny

Jak blokować trenowanie AI i zostać w odpowiedziach wyszukiwarek AI

Opublikowano

Krótka odpowiedź

Większość dostawców AI używa osobnych tokenów robots.txt dla trenowania modeli i dla wyszukiwania. Zabroń tokenom treningowym, takim jak GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent i CCBot, a dopuść tokeny wyszukiwania i użytkownika, takie jak OAI-SearchBot, Claude-SearchBot i PerplexityBot. Dodaj wiersz Content-Signal, by wyrazić tę samą preferencję słowami.

Wielu właścicieli witryn chce dwóch rzeczy naraz: nie chcą, by ich treści służyły do trenowania modeli AI, i chcą, by asystenci AI znajdowali, cytowali i linkowali ich strony. Ponieważ najwięksi dostawcy rozdzielili te zadania między różne crawlery lub tokeny, robots.txt potrafi wyrazić oba wybory. Haczyk w tym, że nazwy różnią się między dostawcami, kilku z nich nie pasuje do tego schematu, a jeden błędny wiersz może usunąć Cię z odpowiedzi AI zamiast z danych treningowych.

Na tej stronie
  1. Czym różni się crawler treningowy od crawlera wyszukiwarki?
  2. Które tokeny kontrolują trenowanie, a które wyszukiwanie?
  3. Jak wygląda taki robots.txt?
  4. Ile witryn już to robi?
  5. Co dodaje Content-Signal?
  6. Gdzie ten podział nie działa czysto?
  7. Jak sprawdzić, że podział działa?

Czym różni się crawler treningowy od crawlera wyszukiwarki?

Crawler treningowy zbiera strony, które mogą posłużyć do budowy lub ulepszania modeli AI. Samo trenowanie nie daje cytowania ani linku. Crawler wyszukiwarki buduje indeks, z którego asystent AI korzysta, szukając źródeł do odpowiedzi, a te źródła może cytować. Agent pobierający na żądanie użytkownika otwiera stronę na żywo, bo ktoś o nią zapytał.

Dostawcy dokumentują te role osobno i podają, że ustawienia są niezależne. OpenAI mówi na przykład, że każde ustawienie robots.txt dla jego crawlerów jest niezależne od pozostałych. Prawidłowo wykonana rezygnacja z trenowania nie narusza więc Twojej widoczności w wyszukiwarce.

Które tokeny kontrolują trenowanie, a które wyszukiwanie?

Oto tokeny dokumentowane przez dostawców, pogrupowane według tego, co kontrolują:

Jak wygląda taki robots.txt?

Kilka wierszy User-agent pod rząd tworzy według RFC 9309 jedną grupę, więc reguły dotyczą każdego z nich. Ten plik rezygnuje z tokenów treningowych wymienionych wyżej, dopuszcza agentów wyszukiwania i użytkownika oraz zostawia dla wszystkich zamkniętą jedną ścieżkę prywatną:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Liczą się dwa szczegóły. Po pierwsze, nazwana grupa nie dziedziczy po *, więc ścieżki prywatne trzeba powtórzyć w grupie wyszukiwania. Po drugie, nie dodawaj Googlebot ani Applebot do grupy treningowej: to crawlery wyszukiwarek, a ich zablokowanie usuwa Cię z wyszukiwarki Google i funkcji wyszukiwania Apple. Zmiany nie działają natychmiast: OpenAI podaje około 24 godzin dla wyszukiwania, a Perplexity do 24 godzin.

Ile witryn już to robi?

Mniej, niż można by się spodziewać. 2026-11-12 przeczytaliśmy pliki robots.txt 1000 najpopularniejszych domen z listy Tranco. Z 518, które udostępniały robots.txt, 155 (29,9%) zabrania dostępu do strony głównej co najmniej jednemu crawlerowi treningowemu AI. Tylko 57 (11,0%) wybiera ścieżkę selektywną: blokuje crawlery treningowe i dopuszcza wszystkie przetestowane przez nas crawlery wyszukiwania i użytkownika AI. W sumie 101 witryn (19,5%) blokuje co najmniej jednego crawlera wyszukiwania lub użytkownika AI.

Liczby dla poszczególnych crawlerów pokazują ten sam podział. GPTBot jest zablokowany w 111 witrynach (21,4%), a OAI-SearchBot w 58 (11,2%). ClaudeBot jest zablokowany w 110 (21,2%), a Claude-SearchBot w 67 (12,9%). Google-Extended jest zablokowany w 94 (18,1%), Googlebot w 14 (2,7%). Tylko 18 witryn (3,5%) używa Content-Signal.

Badanie dotyczy reguł robots.txt wyłącznie dla strony głównej. Nie mierzy blokad w firewallu i nie pokazuje, co każda witryna zamierzała.

Co dodaje Content-Signal?

Content Signals to rozszerzenie robots.txt opublikowane przez Cloudflare na contentsignals.org. Wiersz Content-Signal określa, jak treści mogą być używane, za pomocą trzech sygnałów: search (budowanie indeksu wyszukiwania oraz pokazywanie linków i krótkich fragmentów), ai-input (wprowadzanie treści do modeli AI w czasie rzeczywistym, np. w groundingu lub wyszukiwaniu informacji dla odpowiedzi generatywnych) oraz ai-train (trenowanie lub dostrajanie modeli).

Zwróć uwagę, że definicja search wyklucza generowane przez AI podsumowania wyszukiwania. Jeśli chcesz pojawiać się w odpowiedziach AI, ustaw także ai-input=yes, jak w przykładzie powyżej. Zarządzany robots.txt Cloudflare domyślnie dodaje search=yes, ai-train=no; pominięty sygnał ani nie przyznaje, ani nie ogranicza danego użycia.

Są to deklarowane preferencje. Strona Content Signals podaje, że nie zapobiegają przeszukiwaniu na poziomie technicznym, a Cloudflare zaznacza, że przestrzeganie robots.txt jest dobrowolne. Żadna ze stron crawlerów OpenAI, Anthropic, Google ani Perplexity, które sprawdziliśmy, nie mówi, czy odczytują Content-Signal, więc traktuj go jako uzupełnienie grup dla poszczególnych crawlerów, a nie ich zamiennik.

Gdzie ten podział nie działa czysto?

Kilka przypadków wymaga ostrożności:

Jak sprawdzić, że podział działa?

Przeczytaj swój robots.txt tak, jak zrobiłby to każdy crawler: znajdź grupę, która go wymienia, wróć do * tylko wtedy, gdy żadna go nie wymienia, i zastosuj najdłuższą pasującą regułę. Następnie pobierz stronę z user agentem każdego crawlera wyszukiwarki i upewnij się, że dostaje 200 z pełną treścią, a nie 403 ani stronę weryfikacji.

AISeeWhy robi jedno i drugie dla 14 crawlerów, pogrupowanych na trenujące, wyszukiwania i agentów użytkownika, i wskazuje najczęstszy błąd: zablokowanie tokenu wyszukiwania, takiego jak PerplexityBot lub Claude-SearchBot, przy zamiarze zablokowania trenowania.

Najczęstsze pytania

Czy zablokowanie GPTBot usunie moją stronę z odpowiedzi ChatGPT?

Nie. OpenAI podaje, że GPTBot służy do trenowania i że każde ustawienie robots.txt jest niezależne. Wyszukiwanie ChatGPT używa OAI-SearchBot; dopóki jest dopuszczony i nie blokuje go firewall, Twoje strony pozostają kwalifikowane.

Czy zablokowanie Google-Extended usuwa mnie z AI Overviews?

Nie według dokumentacji Google. Google podaje, że Google-Extended nie wpływa na obecność w wyszukiwarce Google, a AI Overviews korzystają z indeksu wyszukiwarki. Google oferuje osobne ustawienie Search Console, które wyklucza witrynę z AI Overviews i AI Mode.

Czy jest jeden wiersz blokujący całe trenowanie AI?

Nie ma takiego standardowego wiersza. Content-Signal: ai-train=no wyraża preferencję wobec wszystkich crawlerów, ale to, czy crawler ją respektuje, zależy od operatora. Udokumentowanym sposobem są nazwane grupy dla każdego tokenu treningowego.

Czy powinienem blokować Perplexity, by powstrzymać trenowanie AI?

Perplexity podaje, że jego agenci nie służą do zbierania danych treningowych. Zablokowanie PerplexityBot zmniejsza Twoją widoczność w wynikach wyszukiwania Perplexity, nie będąc rezygnacją z trenowania.

Źródła

Więcej artykułów