GPTBot jest zablokowany

Krótka odpowiedź

Żądanie wysłane z user agentem tego crawlera zostało odrzucone: dostało status 4xx lub 5xx, nagłówek Cloudflare cf-mitigated albo stronę weryfikacyjną, podczas gdy zwykłe żądanie przeglądarki dostało stronę. Znajdź regułę zapory, CDN lub ochrony przed botami, która pasuje do user agenta, i wpuść crawlera.

access.blocked · Priorytet: P1–P3, zależnie od typu crawlera

Co to oznacza

Żądanie z user agentem GPTBot otrzymało status 403 lub stronę z weryfikacją, podczas gdy przeglądarka dostała stronę. Test wykonano z niezweryfikowanego adresu IP: pokazuje on, jak zapora traktuje ten user agent; prawdziwy robot z zweryfikowanych adresów IP może być traktowany inaczej.

Dlaczego to ważne dla wyszukiwarek AI

Crawlery wyszukiwarek i użytkowników, takie jak OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot i Perplexity-User, pobierają strony, aby budować odpowiedzi i linki pod nimi. Jeśli dostają 403 lub stronę weryfikacyjną, strony nie da się zacytować ani podlinkować, choćby była świetna. Dlatego AISeeWhy ocenia blokadę tych crawlerów jako P1.

Crawlery trenujące (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) mają priorytet P3: ich blokowanie to decyzja polityczna, a nie błąd. Test działa z niezweryfikowanego adresu IP, więc pokazuje, jak Twoje reguły traktują user agenta; prawdziwy crawler, przychodzący z opublikowanych zakresów IP, może zostać potraktowany inaczej.

Jak to naprawić

Otwórz znalezisko, aby zobaczyć, który crawler został zablokowany, jaki status dostał i jaki WAF wykrył audyt. Raport AISeeWhy pokazuje dowody i gotową poprawkę do wklejenia; potem uruchom „Sprawdź ponownie”, aby potwierdzić wynik.
W Cloudflare sprawdź Security → Events pod kątem zablokowanego żądania, a następnie dodaj własną regułę WAF, która pasuje do crawlera (zweryfikowane boty lub token user agenta) z akcją Skip dla pozostałych reguł własnych, Super Bot Fight Mode i limitowania żądań. W AI Crawl Control ustaw dla crawlera Allow.
W Vercel, Akamai, Imperva, Sucuri lub AWS WAF znajdź regułę zarządzania botami albo regułę zarządzaną, która zadziałała, i dodaj wyjątek dla crawlera, najlepiej weryfikowany na podstawie opublikowanych przez dostawcę zakresów IP lub odwrotnego DNS, a nie samego user agenta.
W nginx lub Apache przeszukaj konfigurację pod kątem linii deny, return 403 lub RewriteCond %{HTTP_USER_AGENT}, które wymieniają crawlera, a w WordPress sprawdź wtyczki bezpieczeństwa blokujące „złe boty”.
Zdecyduj osobno dla każdego crawlera: dopuszczenie crawlerów wyszukiwarek i użytkowników sprawia, że strony są cytowane, a crawlery trenujące mogą pozostać zablokowane, jeśli taka jest Twoja polityka.

Przykład

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Jak potwierdzić poprawkę

Po zmianie kliknij „Sprawdź ponownie” w raporcie: zobaczysz, co zostało naprawione i jak zmienił się wynik.

Sprawdź moją stronę →

Powiązane poradniki

Wszystkie znaleziska i jak działa wynik