Cztery na dziesięć stron firmowych odrzuca roboty AI

Opublikowano

Krótka odpowiedź

W naszych audytach 165 stron firmowych z USA, Wielkiej Brytanii i Francji 38% odrzucało na serwerze co najmniej jednego robota AI, prawie zawsze treningowego lub scrapera. Mniej więcej co dziesiąta strona odrzucała też robota wyszukiwarki AI, takiego jak PerplexityBot lub OAI-SearchBot, czyli robota, który może prowadzić do cytowania. Sprawdź swoją stronę jednym żądaniem na robota.

Pytasz ChatGPT o własny produkt, a on wymienia konkurenta, serwis z opiniami i wątek z forum. Czasem to kwestia treści. Często to zapora odpowiadająca robotom AI odmową, której nikt w Twoim zespole nie widział, bo w przeglądarce strona działa.

Na tej stronie
  1. Co testowaliśmy?
  2. Co znaleźliśmy?
  3. Skąd się to bierze i kiedy jest wyborem?
  4. Czy największe serwisy radzą sobie lepiej?
  5. Jak sprawdzić własną stronę w dziesięć minut?
  6. Jak wiarygodne są te liczby?

Co testowaliśmy?

Pobieramy stronę kilka razy z tego samego adresu: raz jako zwykła przeglądarka i po razie jako 14 robotów AI i wyszukiwarek, w tym GPTBot, OAI-SearchBot i ChatGPT-User od OpenAI, ClaudeBot i Claude-SearchBot od Anthropic oraz PerplexityBot od Perplexity. Jeśli przeglądarka dostaje stronę, a robot kod 401, 403, 406, 429, 451, 503 lub stronę weryfikacji, serwis odrzuca tego robota.

Próba to 218 stron firmowych w USA, Wielkiej Brytanii i Francji, zbadanych od 18 do 21 listopada 2026. Pełny test udało się wykonać dla 165. Pozostałe 53 odrzuciły nawet nasze zwykłe żądanie z przeglądarki albo nie odpowiedziały, więc je pominęliśmy zamiast zgadywać.

Co znaleźliśmy?

Skąd się to bierze i kiedy jest wyborem?

Duża część tego jest prawdopodobnie zamierzona. Wielu właścicieli nie chce, by ich treści służyły do trenowania modeli, a ustawienia ochrony przed botami blokujące scrapery łatwo włączyć. To uprawniony wybór.

Problem w tym, że firmy AI mają osobne roboty do treningu i do wyszukiwania. Zablokowanie robota treningowego nie wymaga blokowania wyszukującego, a to właśnie wyszukujący może doprowadzić do zacytowania Twojej strony w odpowiedzi.

Czy największe serwisy radzą sobie lepiej?

Niezbyt. W naszym raporcie o robots.txt dla 1000 najpopularniejszych domen 29,9% serwisów z plikiem robots.txt blokuje co najmniej jednego robota treningowego AI, a 63,2% z nich blokuje też co najmniej jednego robota wyszukiwarki lub użytkownika AI. Tylko 11,0% blokuje trening, a przepuszcza wszystkie roboty wyszukiwarek AI, czyli układ, którego większość z nich pewnie chciała.

Jak sprawdzić własną stronę w dziesięć minut?

  1. Otwórz yoursite.com/robots.txt. Dla każdego interesującego Cię robota AI zobacz, czy jakaś grupa go wymienia i co mówi. Grupa wymieniająca robota całkowicie zastępuje ogólną grupę *.
  2. Sprawdź, co robi serwer, a nie co mówi plik. Pobierz ważną stronę jako przeglądarka i jako robot. Kod 403, 429, strona z tytułem Just a moment... albo odpowiedź znacznie mniejsza niż ta dla przeglądarki to znak blokady zapory.
  3. Zapytaj asystenta. Z włączonym wyszukiwaniem zadaj ChatGPT lub Perplexity pytania, które zadają Twoi klienci, i zobacz, jakie serwisy cytuje. Jeśli dostęp jest w porządku, a Cię brakuje, problemem są treści, a nie dostęp.

Jak wiarygodne są te liczby?

Traktuj je jako schemat, a nie spis powszechny. Próba nie jest losowa: to firmy znalezione w bibliotekach reklam, na portalach z ofertami pracy i w wizytówkach map. Testujemy według user agenta z jednego adresu, a prawdziwe roboty przychodzą z adresów publikowanych przez ich dostawców, więc niektóre zapory traktowałyby je inaczej. A blokada nie zawsze jest błędem.

Darmowe narzędzia

Następne kroki

Crawlery w tym artykule

Najczęstsze pytania

Jaki odsetek stron blokuje roboty AI?

W naszym audycie 165 testowalnych stron firmowych 38% odrzucało na serwerze co najmniej jednego robota AI, głównie treningowych i scraperów. Około 10% odrzucało też robota wyszukiwarki AI.

Czy zablokowanie GPTBot wyklucza moją stronę z wyszukiwarki ChatGPT?

Nie. OpenAI mówi, że każde ustawienie robots.txt dla jego robotów jest niezależne: GPTBot dotyczy treningu, OAI-SearchBot wyszukiwarki ChatGPT. Zablokowanie jednego nie blokuje drugiego.

Jak strona może zablokować robota bez robots.txt?

Zapora, CDN lub reguła ochrony przed botami może odpowiedzieć robotowi kodem 403, 429 albo stroną weryfikacji. robots.txt nigdy tego nie pokazuje, więc trzeba to sprawdzić, pobierając stronę jako robot.

Czy odrzucanie robota to zawsze błąd?

Nie. Wielu właścicieli chce trzymać z dala roboty treningowe i scrapery. Błędem jest przypadkowe blokowanie robotów wyszukiwarek, bo to one mogą zacytować Twoją stronę.

Źródła

Więcej artykułów