페이지 게시 전에 실행할 12가지 AEO 점검 (2027)
게시하기 전에 URL이 리디렉션 없이 200을 반환하는지, robots.txt가 각 AI 검색 크롤러를 허용하는지, 방화벽이 실제 페이지를 보내는지, 답이 원본 HTML에 있는지 확인하세요. 그다음 남아 있는 noindex나 nosnippet, 하나뿐인 canonical, H1 아래의 답, 유효하고 일치하는 JSON-LD, 일치하는 날짜, 사이트맵 항목과 내부 링크, hreflang을 점검하고 색인 생성을 요청하세요.
AI 답변에 한 번도 나타나지 않는 페이지는 대부분 지루한 이유로 실패합니다. 남아 있는 noindex, 방화벽 규칙, 스테이징을 가리키는 canonical 같은 것들입니다. 이 12가지 점검으로 출시 전에 그런 문제를 잡을 수 있습니다. 하나당 몇 분이면 되고, 대부분 터미널과 페이지 URL만 있으면 되며, 크롤러가 마주치는 순서대로 정리했습니다.
이 글의 목차
- 점검마다 시간이 얼마나 걸리나요?
- 1. URL이 리디렉션 체인 없이 200을 반환한다
- 2. robots.txt가 각 AI 검색 크롤러에 페이지를 허용한다
- 3. 방화벽이 AI 크롤러에 실제 페이지를 보낸다
- 4. 답이 원본 HTML에 있다
- 5. noindex나 nosnippet이 남아 있지 않다
- 6. canonical URL이 하나이고, 절대 URL이며, 자기 자신을 가리킨다
- 7. 제목과 H1이 페이지가 답하는 내용을 말하고, 그 바로 아래에 답이 있다
- 8. JSON-LD가 파싱되고 보이는 텍스트와 일치한다
- 9. 보이는 날짜, 마크업 날짜, 사이트맵 lastmod가 일치한다
- 10. 페이지가 사이트맵에 있고 관련 페이지에서 링크된다
- 11. hreflang이 상호 연결되어 있고 x-default가 있다
- 12. 검색엔진에 새 페이지 크롤링 요청하기
- 점검 항목 선정 기준
점검마다 시간이 얼마나 걸리나요?
페이지 하나 기준의 대략적인 시간과 필요한 도구입니다. 1~5번은 모든 페이지에서 실행하고, 나머지는 템플릿마다 한 번 실행한 뒤 표본으로 확인하세요.
- 1. 상태 코드 200: 1분, curl.
- 2. 크롤러별 robots.txt: 3분, 브라우저 또는 curl.
- 3. 방화벽 응답: 3분, curl.
- 4. 원본 HTML 속 텍스트: 2분, curl.
- 5. 남은 noindex나 nosnippet 없음: 2분, curl.
- 6. canonical 하나: 2분, 소스 보기.
- 7. 제목, H1, 짧은 답: 5분, 페이지 읽기.
- 8. JSON-LD 유효성과 일치: 5분, 리치 결과 테스트 또는 Schema Markup Validator.
- 9. 날짜 일치: 3분, 페이지, 마크업, 사이트맵.
- 10. 사이트맵과 내부 링크: 5분, sitemap.xml과 CMS.
- 11. hreflang: 5분, 다국어 사이트만.
- 12. 색인 생성 요청: 2분, Search Console과 IndexNow.
1. URL이 리디렉션 체인 없이 200을 반환한다
크롤러는 공유하고 사이트맵에 올릴 바로 그 URL에서 상태 코드 200으로 페이지 자체를 받아야 합니다. 리디렉션이 하나 늘 때마다 실패할 수 있는 단계가 하나 늘고, 200으로 응답하면서 '찾을 수 없음' 메시지를 보여 주는 페이지는 검색엔진이 제외할 수 있는 소프트 404입니다.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ 통과 기준: 200 redirects=0이고 같은 URL이 돌아옴. 수정: 최종 URL로 링크하고 사이트맵에 올리며, 예전 주소에서는 리디렉션을 최대 한 번만 두세요.
2. robots.txt가 각 AI 검색 크롤러에 페이지를 허용한다
각 크롤러의 입장에서 robots.txt를 읽으세요. 크롤러를 지정한 그룹은 그 크롤러에 대해 User-agent: * 그룹을 대체하며, RFC 9309에 따르면 가장 길게 일치하는 규칙이 이기고 길이가 같으면 Allow가 이깁니다.
최소한 OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, Googlebot을 확인하세요. 규칙은 경로 접두사로 일치하므로 /guides/ 같은 새 섹션이 예전의 Disallow: /g 규칙에 걸릴 수 있습니다. robots.txt 자체가 200이나 404를 반환하는지도 확인하세요. RFC 9309에 따르면 서버 오류가 나면 크롤러는 사이트 전체가 차단되었다고 가정해야 합니다.
통과 기준: 이 토큰들에 대한 어떤 규칙도 해당 경로를 막지 않음. robots.txt 테스트 방법 가이드에서 URL 하나를 크롤러 하나 기준으로 테스트하는 방법을 보여 줍니다.
3. 방화벽이 AI 크롤러에 실제 페이지를 보낸다
브라우저 user agent와 크롤러 user agent로 각각 페이지를 요청한 뒤 상태 코드와 크기를 비교하세요. 이름으로 판별하는 봇 차단 기능은 크롤러에만 403, 429, 확인 페이지를 보낼 수 있습니다.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done 통과 기준: 모든 줄이 200이고 크기가 비슷함. 크기가 훨씬 작다면 대개 확인 페이지입니다. 이 문자열들은 이름으로 판별하는 규칙을 테스트합니다. 실제 크롤러는 공개된 IP 범위에서도 오는데, 내 컴퓨터에서 하는 테스트로는 이를 재현할 수 없으므로 방화벽의 허용 규칙에 그 범위가 있는지도 확인하세요.
4. 답이 원본 HTML에 있다
서버가 보내는 HTML에서 답의 한 문장을 검색하세요. 브라우저의 요소 검사기는 스크립트가 실행된 뒤의 페이지를 보여 주며, 이는 대부분의 크롤러가 받는 것과 다릅니다.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" 통과 기준: 1 이상. 0이면 텍스트가 JavaScript로 추가된 것인데, OpenAI, Anthropic, Perplexity는 크롤러가 JavaScript를 실행한다고 문서화하지 않습니다. 서버에서나 빌드할 때 렌더링하세요. JavaScript 콘텐츠와 AI 크롤러에 관한 가이드에 선택지가 정리되어 있습니다.
5. noindex나 nosnippet이 남아 있지 않다
스테이징 사이트는 noindex를 단 채로 배포되는 경우가 많고, 템플릿이 그것을 운영 환경까지 옮길 수 있습니다. robots 메타 태그와 X-Robots-Tag HTTP 헤더를 모두 확인하세요. 둘 중 하나만 있어도 적용됩니다.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html 통과 기준: 아무것도 출력되지 않거나 index, follow 같은 값만 출력됨. Google은 AI Overviews와 AI Mode에 나타나려면 페이지가 색인되고 스니펫 대상이어야 하며, nosnippet은 그 기능들의 직접 입력으로 쓰이는 것도 막는다고 밝힙니다.
6. canonical URL이 하나이고, 절대 URL이며, 자기 자신을 가리킨다
페이지는 게시하는 URL을 가리키는 절대 URL로 rel="canonical"을 정확히 하나만 선언해야 합니다. Google은 canonical을 명령이 아니라 강한 신호라고 부르며, 상대 URL과 다른 주소를 올린 사이트맵 같은 상충하는 신호를 피하라고 경고합니다.
출시 때 흔한 실수는 템플릿 페이지에서 복사한 canonical, 여전히 스테이징 호스트를 가리키는 canonical, 테마와 플러그인이 동시에 넣은 canonical 태그 두 개입니다.
통과 기준: 태그가 하나이고, 운영 중인 URL이며, 프로토콜과 호스트가 사이트맵과 같음.
7. 제목과 H1이 페이지가 답하는 내용을 말하고, 그 바로 아래에 답이 있다
처음 보는 사람처럼 페이지 상단을 읽어 보세요. 제목과 H1은 구매자가 쓰는 말로 질문이나 주제를 밝히고, H1 아래 첫 두세 문장이 그 질문에 완전히 답해야 합니다.
검색 결과에서 잘릴 가능성을 줄이려면 제목을 60자 정도로 유지하세요. 짧은 답은 따로 인용되어도 뜻이 통하도록, 숫자, 단위, 제품 이름을 빠짐없이 써서 작성하세요.
통과 기준: 첫 문단만 읽은 사람도 답을 얻음. AI 답변에 인용되는 방법 목록에서 인용되기 좋은 글쓰기를 더 자세히 다룹니다.
8. JSON-LD가 파싱되고 보이는 텍스트와 일치한다
깨진 JSON-LD는 통째로 무시되므로 쉼표 하나만 빠져도 전부 사라집니다. URL을 Google의 리치 결과 테스트나 Schema Markup Validator에 붙여 넣고 모든 오류를 고치세요.
그다음 값을 페이지와 비교하세요. 마크업의 헤드라인, 날짜, 가격, 통화, 조직 이름은 독자가 보는 것과 같아야 합니다. Google은 AI 기능에 특별한 마크업이 필요 없으며, 구조화된 데이터는 보이는 텍스트와 일치해야 한다고 말합니다.
통과 기준: 오류가 없고 모든 값이 페이지에 보임. 건너뛰어도 되는 경우: 페이지 유형에 맞는 마크업이 없는 경우. 잘못된 마크업보다 마크업 없는 페이지가 낫습니다.
9. 보이는 날짜, 마크업 날짜, 사이트맵 lastmod가 일치한다
페이지에 라벨이 붙은 날짜를 보여 주고, datePublished와 dateModified에 같은 날짜를 쓰고, 사이트맵 lastmod는 마지막으로 의미 있게 바뀐 날로 설정하세요. Google은 보이는 날짜와 마크업 날짜가 일치하기를 요구하며, lastmod는 일관되고 검증 가능하게 정확할 때만 사용한다고 말합니다.
빌드할 때마다 모든 URL에 오늘 날짜를 찍는 사이트맵 생성기는 새 페이지뿐 아니라 모든 페이지의 lastmod를 쓸모없게 만듭니다.
통과 기준: 세 곳, 하나의 날짜.
10. 페이지가 사이트맵에 있고 관련 페이지에서 링크된다
크롤러는 링크와 사이트맵으로 페이지를 찾습니다. 새 URL을 정확한 canonical URL로 XML 사이트맵에 추가하고, 최소 두 개의 관련 페이지와 허브 또는 목록 페이지에서 링크하세요.
사이트맵 파일 하나에는 URL을 최대 50,000개, 압축하지 않은 크기로 50 MB까지 담을 수 있으며, 더 큰 사이트에는 사이트맵 색인 파일이 필요합니다. Google은 priority와 changefreq를 무시한다고 밝히므로 여기에 시간을 쓰지 마세요. 내부 링크가 없는 페이지는 고립된 페이지라서 크롤러가 늦게 찾거나 아예 찾지 못할 수 있습니다.
통과 기준: URL이 사이트맵에 있고, 최소 두 페이지가 설명적인 앵커 텍스트로 링크함.
11. hreflang이 상호 연결되어 있고 x-default가 있다
페이지가 여러 언어로 있다면 각 버전은 자신을 포함한 모든 버전을 나열하고, 서로 다시 링크해야 합니다. Google은 반대쪽에서 확인되지 않는 hreflang 주석을 무시합니다. 어떤 언어와도 맞지 않을 때 보여 줄 버전에는 x-default를 추가하세요.
건너뛰어도 되는 경우: 사이트가 한 언어뿐인 경우. hreflang x-default 가이드에서 언제 필요한지 설명합니다.
12. 검색엔진에 새 페이지 크롤링 요청하기
페이지가 공개되고 위 점검을 통과하면 검색엔진에 알리세요. Google Search Console에서 새 URL에 URL 검사를 실행하고 색인 생성 요청을 선택하세요. Bing처럼 IndexNow를 지원하는 검색엔진에는 내 키로 IndexNow 엔드포인트에 URL을 제출하세요. Bing은 이것이 크롤링이나 색인을 보장하지는 않는다고 밝힙니다.
AI 어시스턴트에는 제출 양식이 없습니다. 크롤러는 링크와 검색으로 페이지를 찾으며, 그래서 2, 3, 10번 점검이 중요합니다. llms.txt 파일을 공개하고 있다면 그곳에도 페이지를 추가하세요. Google은 검색에서 이 파일을 쓰지 않는다고 밝히므로 선택 사항으로 여기세요.
통과 기준: URL 검사에서 운영 중인 페이지를 색인할 수 있다고 표시됨.
점검 항목 선정 기준
이 목록은 크롤러가 가는 길을 따릅니다. URL에 도달하고, robots.txt를 읽고, 방화벽을 통과하고, HTML을 읽은 뒤 해석합니다. 각 점검은 OpenAI, Anthropic, Perplexity, Google이 크롤러에 대해 문서화한 내용, robots.txt에 관한 RFC 9309, 그리고 canonical, 날짜, 사이트맵, hreflang에 관한 Google 가이드에 근거합니다. 키워드 밀도나 글자 수 목표처럼 AI 답변에 대한 효과가 문서화되지 않은 점검은 뺐습니다.
이 점검들은 페이지를 읽을 수 있다는 것을 보여 줄 뿐, 인용될 것이라는 점까지 보여 주지는 못합니다. 그것은 다른 출처와 비교해 답이 얼마나 좋은지에 달려 있습니다. 방화벽, CDN, 테마, CMS를 바꿀 때마다 2~5번 점검을 다시 하세요. 바로 그런 변경이 소리 없이 설정을 되돌리기 때문입니다.
AISeeWhy는 이 점검 대부분을 한 번에 실행합니다. 실제 브라우저와 나란히 16개 AI 및 검색 크롤러로 페이지를 가져오고, 크롤러별로 robots.txt를 적용하며, HTML, 마크업, canonical, 날짜를 읽습니다. 무료 점검은 점수와 첫 번째 발견 사항을 보여 주고, 전체 보고서는 각 문제를 바로 쓸 수 있는 수정 방법과 함께 나열합니다.
이 문제의 해결 방법
다음 단계
이 글에 나오는 크롤러
자주 묻는 질문
이 점검을 모든 페이지에서 해야 하나요?
URL 하나만 차단되거나 noindex가 남아 있을 수 있으므로 1~5번은 새 페이지마다 실행하세요. 6~11번은 주로 템플릿에 달려 있으므로 페이지 유형마다 한 번 실행하고 새 페이지는 표본으로 확인하세요.
Google처럼 ChatGPT나 Claude에 페이지를 제출할 수 없는 이유는 무엇인가요?
OpenAI, Anthropic, Perplexity는 웹페이지용 URL 제출 도구를 제공하지 않습니다. 이들의 크롤러는 링크를 따라가거나 검색을 통해 페이지를 찾으므로, 내가 통제할 수 있는 것은 내부 링크, 사이트맵, 그리고 OAI-SearchBot, Claude-SearchBot, PerplexityBot에 대한 열린 접근입니다.
12가지 점검을 모두 통과했는데 왜 아직 인용되지 않나요?
점검은 페이지를 읽을 수 있게 만들 뿐, 선택되게 만들지는 않습니다. 어시스턴트는 질문에 가장 잘 답하는 출처를 고르므로, 실제로 인용되는 페이지와 내 페이지를 비교해 보세요. 더 빨리 답하는지, 가격이나 사양을 텍스트로 쓰는지, 내 페이지에 없는 데이터를 제공하는지 살펴보세요.
게시 후 AI 크롤러는 얼마나 빨리 방문하나요?
일정을 공개하는 업체는 없습니다. 서버 로그를 보면 OAI-SearchBot, Claude-SearchBot, PerplexityBot이 언제 처음 URL을 요청했는지 알 수 있습니다. 서버 로그에서 AI 크롤러를 확인하는 가이드에서 찾는 방법을 보여 줍니다.
참고 자료
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI 크롤러 개요
- Anthropic: Anthropic은 웹에서 데이터를 크롤링하나요, 사이트 소유자는 크롤러를 어떻게 차단할 수 있나요?
- Perplexity: Perplexity 크롤러
- Google 검색 센터: AI 기능과 웹사이트
- Google 검색 센터: robots 메타 태그, data-nosnippet, X-Robots-Tag
- Google 검색 센터: canonical URL 지정 방법
- Google 검색 센터: 작성자 표시줄 날짜에 영향 주기
- Google 검색 센터: 사이트맵 만들기 및 제출하기
- Sitemaps.org: 사이트맵 XML 형식
- Google 검색 센터: 페이지의 현지화된 버전을 Google에 알리기
- Search Console 고객센터: URL 검사 도구
- Bing: IndexNow 시작하기
- Search Console 고객센터: 리치 결과 테스트
- Schema.org: Schema Markup Validator
- Google 검색 센터: JavaScript SEO 기본사항