Czy ChatGPT widzi moją stronę? Jak to sprawdzić

Opublikowano

Krótka odpowiedź

ChatGPT może zacytować Twoją stronę tylko wtedy, gdy crawler wyszukiwarki OpenAI, OAI-SearchBot, ma prawo ją pobrać i dostaje ten sam HTML co przeglądarka. Sprawdź trzy rzeczy: czy robots.txt nie blokuje OAI-SearchBot, czy firewall lub CDN nie odpowiada mu kodem 403 ani stroną weryfikacji i czy główny tekst jest w początkowym HTML.

Wielu właścicieli stron pyta ChatGPT o własny produkt, widzi zamiast niego cytat konkurencji i zastanawia się, czy ChatGPT w ogóle dociera do ich witryny. Na to pytanie jest konkretna odpowiedź, którą można sprawdzić. OpenAI publikuje nazwy swoich crawlerów i opisuje, co robi każdy z nich, więc można zweryfikować każde ogniwo łańcucha: reguły robots.txt, odpowiedź serwera i treść tej odpowiedzi.

Na tej stronie
  1. Które crawlery OpenAI mają znaczenie dla odpowiedzi ChatGPT
  2. Jak sprawdzić robots.txt pod kątem ChatGPT
  3. Czy firewall może zablokować ChatGPT, gdy robots.txt na to pozwala
  4. Jak sprawdzić, co dostaje OAI-SearchBot
  5. Co zrobić, gdy strona się ładuje, a ChatGPT nadal nie pomaga
  6. Jak sprawdza to AISeeWhy

Które crawlery OpenAI mają znaczenie dla odpowiedzi ChatGPT

Dokumentacja OpenAI opisuje trzech agentów, z którymi zwykle spotykają się właściciele stron. Mają różne zadania, a zablokowanie jednego nie blokuje pozostałych. OpenAI zaznacza, że każde ustawienie robots.txt działa niezależnie.

Krótko: OAI-SearchBot odpowiada za cytowanie, GPTBot za trenowanie, a ChatGPT-User obsługuje wizyty na żywo na prośbę użytkownika.

Jak sprawdzić robots.txt pod kątem ChatGPT

Otwórz https://yourdomain.com/robots.txt w przeglądarce. Poszukaj grupy, w której wymieniony jest OAI-SearchBot. Jeśli takiej grupy nie ma, crawler stosuje się do grupy User-agent: *. Wiersz Disallow: / w grupie, która go dotyczy, blokuje całą witrynę.

Sprawdź też, czy plik w ogóle odpowiada. Zgodnie z RFC 9309, jeśli robots.txt zwraca błąd serwera (5xx) albo jest nieosiągalny, crawler musi założyć, że cała witryna jest zablokowana. Kod 404 jest w porządku: oznacza brak reguł. Częsty błąd to adres robots.txt, pod którym znajduje się strona HTML ze statusem 200, bo crawlery nie znajdują w niej żadnych poprawnych reguł.

Konfiguracja, która zostawia wyszukiwanie ChatGPT, a wyłącza trenowanie, wygląda tak:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI podaje, że zmiany dotyczące wyszukiwania mogą zacząć obowiązywać po około 24 godzinach od aktualizacji robots.txt.

Czy firewall może zablokować ChatGPT, gdy robots.txt na to pozwala

Tak, i to częsta przyczyna. robots.txt to prośba skierowana do crawlerów, które przestrzegają zasad, a nie kontrola dostępu. To, co faktycznie zostanie odesłane, zależy od firewalla, CDN lub ochrony przed botami. Jeśli uznają crawler AI za niechcianego bota, dostanie on kod 403, 429 albo stronę weryfikacji, na przykład ekran Cloudflare „Just a moment...”, podczas gdy ludzie w przeglądarce widzą stronę normalnie.

Z zewnątrz wygląda to na witrynę otwartą dla wszystkich. Różnicę pokazuje dopiero żądanie, które przedstawia się jako crawler. Wtedy robots.txt mówi „tak”, serwer mówi „nie” i wygrywa serwer.

Jak sprawdzić, co dostaje OAI-SearchBot

Wyślij dwa żądania pod ten sam adres URL, jedno z user agentem przeglądarki, drugie z user agentem crawlera, i porównaj kod odpowiedzi oraz rozmiar. OpenAI publikuje przykładowy user agent każdego crawlera; numer wersji w nim może się zmieniać.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Jeśli przeglądarka dostaje 200 z dużą treścią, a crawler 403, 429, 503 albo wyraźnie mniejszą odpowiedź, firewall traktuje crawlera inaczej. Obowiązuje jedno ograniczenie: Twój test pochodzi z Twojego adresu IP, a nie z adresów OpenAI. Firewalle, które weryfikują crawlery według opublikowanych zakresów IP (OpenAI podaje je pod openai.com/searchbot.json), mogą przepuścić prawdziwego crawlera, a zablokować Twój test. Blokada w tym teście i tak pokazuje, jak firewall traktuje dany user agent, a to warto naprawić.

Co zrobić, gdy strona się ładuje, a ChatGPT nadal nie pomaga

Dostęp to dopiero pierwszy krok. Jeśli docierający HTML to pusta powłoka, którą później wypełnia JavaScript, crawler może dostać prawie bez tekstu. Obejrzyj surowy HTML przez curl albo view-source w przeglądarce: jeśli głównego tekstu tam nie ma, crawler najpewniej też go nie widzi.

Dalej liczą się sygnały treści: wyraźna krótka odpowiedź na górze strony, nagłówki zgodne z pytaniami, które zadają ludzie, wskazany wydawca i autor oraz widoczne daty. Nie gwarantują one cytowania, ale ułatwiają poprawne zacytowanie strony.

Jak sprawdza to AISeeWhy

AISeeWhy pobiera Twoją stronę jako OAI-SearchBot, GPTBot, ChatGPT-User i 11 innych crawlerów obok zwykłej przeglądarki, czyta Twój robots.txt według reguł RFC 9309 i wskazuje firewall, jeśli odpowiada blokadą lub weryfikacją. Do każdego zalecenia dołączona jest gotowa poprawka, a bezpłatne sprawdzenie pokazuje wynik i pierwsze zalecenie.

Najczęstsze pytania

Czy zablokowanie GPTBot usuwa moją stronę z wyszukiwania ChatGPT?

Nie. OpenAI traktuje ustawienia każdego crawlera jako niezależne. GPTBot dotyczy trenowania, a OAI-SearchBot decyduje, czy strony mogą być pokazywane w odpowiedziach wyszukiwania ChatGPT. Jednego możesz zablokować, a drugiego dopuścić.

Czy ChatGPT-User przestrzega robots.txt?

OpenAI podaje, że ponieważ te wizyty inicjuje użytkownik, reguły robots.txt mogą nie obowiązywać. Jeśli chcesz zatrzymać takie wizyty, reguła w robots.txt nie jest niezawodnym sposobem.

Po jakim czasie zmiana w robots.txt dotrze do ChatGPT?

Według OpenAI dostosowanie się systemów do zmiany w robots.txt w zakresie wyszukiwania może zająć około 24 godzin.

Czy sama dostępność wystarczy, by być cytowanym?

Nie. Dostęp umożliwia cytowanie, ale go nie gwarantuje. O tym, czy strona zostanie użyta w odpowiedzi, nadal decyduje to, co na niej jest, i jak jasno to opisano.

Źródła

Więcej artykułów