GPTBot이(가) 차단되어 있습니다
이 크롤러의 user agent로 보낸 요청이 거부되었습니다. 일반 브라우저 요청은 페이지를 받았지만, 크롤러 요청은 4xx 또는 5xx 상태, Cloudflare cf-mitigated 헤더 또는 챌린지 페이지를 받았습니다. 해당 user agent에 걸리는 방화벽, CDN, 봇 규칙을 찾아 크롤러를 통과시키세요.
의미
user agent가 GPTBot인 요청은 상태 403 또는 챌린지 페이지를 받았지만, 브라우저는 페이지를 받았습니다. 검증되지 않은 IP에서 테스트한 결과이므로 방화벽이 이 user agent를 어떻게 처리하는지를 보여 줍니다. 검증된 IP에서 오는 실제 크롤러는 다르게 처리될 수 있습니다.
AI 검색에서 중요한 이유
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User 같은 검색용 및 사용자용 크롤러는 답변과 그 아래 링크를 만들기 위해 페이지를 가져옵니다. 이들이 403이나 챌린지 페이지를 받으면 페이지가 아무리 좋아도 인용하거나 링크할 수 없습니다. 그래서 AISeeWhy는 이런 크롤러의 차단을 P1로 평가합니다.
학습용 크롤러(GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent)는 P3입니다. 이들을 차단하는 것은 오류가 아니라 정책상의 선택입니다. 점검 요청은 검증되지 않은 IP에서 나가므로, 여기서는 규칙이 user agent를 어떻게 다루는지만 알 수 있습니다. 공개된 IP 대역에서 오는 실제 크롤러는 다르게 처리될 수 있습니다.
수정 방법
- 발견 항목을 열어 어떤 크롤러가 차단되었는지, 받은 상태 코드, 점검에서 감지한 WAF를 확인합니다. AISeeWhy 리포트에서 근거와 바로 붙여 넣을 수 있는 수정안을 확인하고, 이후 "다시 점검"을 실행해 결과를 확인합니다.
- Cloudflare에서는 Security → Events에서 차단된 요청을 확인한 뒤, 해당 크롤러(verified bots 또는 user agent 토큰)에 맞는 WAF 사용자 지정 규칙을 추가하고 동작을 나머지 사용자 지정 규칙, Super Bot Fight Mode, 요청 제한을 건너뛰는 Skip으로 설정합니다. AI Crawl Control에서는 해당 크롤러를 Allow로 설정합니다.
- Vercel, Akamai, Imperva, Sucuri, AWS WAF에서는 작동한 봇 관리 규칙이나 관리형 규칙을 찾아 크롤러 예외를 추가합니다. user agent만으로 판단하지 말고 벤더가 공개한 IP 대역이나 역방향 DNS로 검증하는 것이 좋습니다.
- nginx나 Apache에서는 설정에서 해당 크롤러를 지정한
deny,return 403,RewriteCond %{HTTP_USER_AGENT}줄을 찾고, WordPress에서는 "악성 봇"을 차단하는 보안 플러그인을 확인합니다. - 크롤러별로 정합니다. 검색용 및 사용자용 크롤러를 허용해야 페이지가 인용되며, 학습용 크롤러는 정책에 따라 계속 차단해도 됩니다.
예시
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting수정 확인 방법
변경한 뒤 리포트에서 "다시 점검"을 누르세요. 무엇이 수정되었고 점수가 어떻게 바뀌었는지 보여 줍니다.