GPTBot
GPTBot to crawler OpenAI do treści, które mogą służyć do trenowania generatywnych modeli bazowych AI tej firmy. Zabronienie go w robots.txt informuje OpenAI, by nie używało Twoich treści do trenowania. Zablokowanie go nie usuwa Cię z odpowiedzi wyszukiwania ChatGPT, które zależą od OAI-SearchBot.
Co robi
OpenAI podaje, że GPTBot służy do tego, by generatywne modele bazowe AI były bardziej użyteczne i bezpieczne. Crawluje treści, które mogą być użyte do trenowania tych modeli, a zabronienie GPTBota oznacza, że treści strony nie powinny być używane do trenowania.
Dopuszczenie go to decyzja dotycząca polityki, a nie widoczności. Wyszukiwanie ChatGPT używa osobnego crawlera, OAI-SearchBot, a OpenAI opisuje te dwa ustawienia jako niezależne. Gdy oba są dopuszczone, OpenAI podaje, że może wykorzystać wyniki jednego crawlowania do obu celów, aby nie crawlować dwa razy.
W naszym badaniu z 2026-11 zablokowało go 21.4% popularnych stron z plikiem robots.txt. →
Token robots.txt
GPTBot
Ciąg user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotJak go dopuścić
User-agent: GPTBot
Allow: /Jak go zablokować
User-agent: GPTBot
Disallow: /Jak zweryfikować prawdziwe wizyty
OpenAI publikuje zakresy IP używane przez tego agenta jako plik JSON. Porównaj źródłowy adres IP żądania z tymi zakresami; żądanie, które podaje GPTBot, ale pochodzi z innego adresu, nie jest od OpenAI. OpenAI zaznacza, że numer wersji w user agencie może się zmieniać, więc dopasowuj token GPTBot, a nie cały ciąg.