URL과 특정 크롤러에 대해 robots.txt 규칙을 어떻게 테스트하나요?

게시일

핵심 답변

크롤러 하나에 대해 URL을 테스트하려면, 그 크롤러의 토큰을 지정한 그룹(없으면 User-agent: *)을 찾고, 그 안에서 URL 경로와 일치하는 모든 Allow, Disallow 규칙을 모은 뒤 가장 긴 규칙을 적용합니다. 길이가 같으면 Allow가 우선합니다. 직접 하거나, Google의 오픈소스 파서를 쓰거나, 크롤러별 판정을 보여 주는 검사기를 쓰면 됩니다. Search Console의 예전 robots.txt 테스터는 사라졌고, 이를 대체한 robots.txt 보고서는 URL에 대한 판정이 아니라 Google이 가져간 파일을 보여 줍니다.

robots.txt 파일은 단순해 보이지만, 확실한 답이 필요할 때는 다릅니다. GPTBot이 이 페이지를 가져가도 되는지, OAI-SearchBot은 되는지 말이죠. 답은 크롤러가 어떤 그룹을 고르는지, 그 그룹 안에서 어떤 규칙이 이기는지에 달려 있고, 두 단계 모두 틀리기 쉽습니다. RFC 9309에 따른 매칭 방식, 예시 네 가지, 직접 파일을 테스트하는 세 가지 방법을 소개합니다.

이 글의 목차
  1. Google Search Console의 robots.txt 테스터는 어떻게 되었나요?
  2. 크롤러는 URL이 허용되는지 어떻게 판단하나요?
  3. robots.txt 테스트 예시를 단계별로 볼 수 있을까요?
  4. Google의 오픈소스 robots.txt 파서는 어떻게 실행하나요?
  5. Python의 urllib.robotparser로 robots.txt를 테스트할 수 있나요?
  6. robots.txt 테스트는 통과하는데 크롤러가 여전히 차단되는 이유는?
  7. 모든 AI 크롤러에 대해 robots.txt를 한 번에 확인하려면?

Google Search Console의 robots.txt 테스터는 어떻게 되었나요?

2023년 11월 Google은 Search Console에 robots.txt 보고서를 추가하고 robots.txt 테스터를 종료한다고 밝혔습니다. 보고서는 설정 아래에 있으며 Google 크롤러만 다룹니다. 보여 주는 내용은 다음과 같습니다.

이 보고서는 URL을 받아 허용·차단을 돌려주지 않습니다. Googlebot에 대해 URL 하나를 확인하려면 Google은 URL 검사 도구를, 로컬 테스트에는 오픈소스 robots.txt 라이브러리를 안내합니다. 둘 다 GPTBot이나 ClaudeBot 같은 AI 크롤러에 대해서는 아무것도 알려 주지 않습니다.

크롤러는 URL이 허용되는지 어떻게 판단하나요?

Robots Exclusion Protocol인 RFC 9309가 매칭 방식을 정의합니다. Google도 자사 크롤러에 대해 같은 동작을 문서로 밝힙니다.

robots.txt의 응답 코드는 규칙만큼 중요합니다. 4xx 응답이면 크롤러는 모든 것을 가져가도 됩니다. Google은 429를 제외한 모든 4xx를 파일이 없는 것처럼 처리합니다. 5xx 응답이면 크롤러는 사이트 전체가 차단된 것으로 간주해야 합니다. Google은 처음 12시간 동안 크롤링을 멈추고, 이후 최대 30일 동안 마지막으로 정상이었던 사본을 씁니다. RFC 9309는 크롤러가 최소 500KiB를 파싱하도록 요구하며, Google은 500KiB 이후의 내용을 무시합니다.

robots.txt 테스트 예시를 단계별로 볼 수 있을까요?

기본 그룹 하나와 AI 크롤러 두 개를 지정한 작은 robots.txt입니다.

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

길이가 같은 경우는 드물지만 같은 논리를 따릅니다. Google 문서는 URL /folder/page에 대해 allow: /folder와 disallow: /folder가 있는 경우를 예로 듭니다. 두 규칙의 길이가 같으므로 URL은 허용됩니다.

Google의 오픈소스 robots.txt 파서는 어떻게 실행하나요?

Google은 실제 서비스에서 robots.txt 규칙 매칭에 쓰는 C++ 라이브러리를 공개하며, 로컬 파일을 대상으로 URL 하나와 user agent 하나를 테스트하는 작은 명령줄 프로그램도 함께 제공합니다. Bazel이 설치되어 있다면 다음과 같습니다.

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

저장소에는 CMake 빌드 방법도 있으며, 같은 인수를 받는 robots라는 바이너리가 만들어집니다. 이 도구는 파싱과 매칭만 하고 robots.txt를 내려받지 않으므로 실제 파일을 먼저 저장하세요. README에는 파싱과 매칭 외의 크롤러별 동작은 라이브러리에 포함되지 않는다는 점도 적혀 있습니다.

Python의 urllib.robotparser로 robots.txt를 테스트할 수 있나요?

Python 표준 라이브러리에는 user agent와 URL에 대해 허용·차단을 답하는 파서가 있습니다. 다음 스크립트는 위 예시를 테스트합니다.

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

결과를 믿기 전에 Python 버전을 확인하세요. RFC 9309 매칭 지원은 2026년에 CPython에 추가되어 Python 3.13.14와 3.14.5에 처음 포함되었습니다. 3.12 이하 전체를 포함한 이전 버전은 가장 긴 규칙이 아니라 파일 순서상 처음 일치하는 규칙을 적용하고, 경로 안의 *나 $를 이해하지 못합니다. 이런 버전에서는 첫 번째와 네 번째 테스트가 거꾸로 나옵니다. Googlebot은 /search/help/billing에서 차단되고 OAI-SearchBot은 PDF를 가져갈 수 있다고 나옵니다.

모든 버전에 해당하는 차이가 두 가지 더 있습니다. RobotFileParser.read()는 robots.txt에 대한 401이나 403 응답을 전체 차단으로 처리하지만, RFC 9309는 4xx면 모든 것을 가져가도 된다고 정합니다. 또 read()는 Python 기본 user agent로 파일을 내려받는데, 일부 방화벽은 이를 차단하므로 규칙과 무관한 이유로 차단이라는 결과가 나올 수 있습니다. 위처럼 파일을 직접 가져와 parse()에 넘기면 두 문제를 모두 피할 수 있습니다.

robots.txt 테스트는 통과하는데 크롤러가 여전히 차단되는 이유는?

테스터는 하나의 질문, 즉 규칙이 이 URL을 허용하는지에만 답합니다. 그 답 밖에 있는 것들이 있습니다.

모든 AI 크롤러에 대해 robots.txt를 한 번에 확인하려면?

무료 AISeeWhy robots.txt 검사기는 페이지 주소나 붙여 넣은 robots.txt를 받아, 각 AI·검색 크롤러가 그 페이지를 가져갈 수 있는지 보여 줍니다. 무료 robots.txt 생성기는 선택한 대로 파일을 만들어 주고, 무료 검사는 16개 크롤러로 페이지를 가져와 robots.txt가 허용한 것을 방화벽이 막는지 보여 줍니다.

이 문제의 해결 방법

무료 도구

다음 단계

이 글에 나오는 크롤러

자주 묻는 질문

Google Search Console에 robots.txt 테스터가 아직 있나요?

없습니다. Google은 2023년 11월 이를 robots.txt 보고서로 대체했으며, 이 보고서는 Google이 가져간 파일과 상태, 오류를 보여 줍니다. Googlebot이 특정 URL을 크롤링할 수 있는지 확인하려면 URL 검사 도구를 쓰세요.

robots.txt에서 Allow가 Disallow보다 우선하나요?

Allow 규칙이 더 길거나 길이가 정확히 같을 때만 그렇습니다. 종류와 관계없이 일치하는 경로가 가장 긴 규칙이 이기며, 길이가 같으면 Allow가 이깁니다.

robots.txt는 대소문자를 구분하나요?

부분적으로 그렇습니다. User-agent 값은 대소문자 구분 없이 매칭되므로 gptbot과 GPTBot은 같은 그룹을 가리킵니다. 경로는 대소문자를 구분하므로 Disallow: /Private/는 /private/를 차단하지 않습니다.

robots.txt 검증기는 무엇을 확인하나요?

검증기는 파일에 접근할 수 있는지, 텍스트로 제공되는지, 문법이 올바른지를 확인합니다. 테스터는 한 걸음 더 나아가 특정 URL과 크롤러에 대한 판정을 내립니다. 문법이 올바른 파일도 허용하려던 페이지를 막을 수 있으므로 보통 둘 다 필요합니다.

크롤러에 자체 그룹이 있어도 User-agent: *를 따르나요?

아닙니다. 지정된 그룹은 해당 크롤러에 대해 * 그룹을 완전히 대체합니다. 모두에게 적용하려는 규칙은 지정된 그룹마다 반복해서 적어야 합니다.

참고 자료

다른 글