AI 크롤러와 AEO 쉽게 이해하기

사이트 운영자, 마케터, 개발자를 위한 실무 가이드입니다. 어떤 AI 크롤러가 있는지, 무엇을 읽을 수 있는지, 그리고 AI 답변이 내 페이지를 읽고 인용할 수 있게 하는 방법을 다룹니다.

ChatGPT가 내 웹사이트를 볼 수 있을까? 확인 방법

ChatGPT가 내 사이트를 읽고 인용할 수 있는지 확인하는 방법. OAI-SearchBot, GPTBot, ChatGPT-User, robots.txt, 방화벽, 간단한 curl 테스트를 설명합니다.

OpenAI의 크롤러 세 가지가 하는 일, robots.txt 토큰별 제어 대상, GPTBot, OAI-SearchBot, ChatGPT-User를 차단하면 사이트에 생기는 변화를 설명합니다.

Cloudflare 등 WAF가 AI 크롤러에 403이나 확인 페이지로 응답하는 이유, 알아내는 방법, AI 검색 크롤러를 안전하게 허용하는 방법을 설명합니다.

AI 크롤러용 robots.txt 작성법: AI 검색 허용, 학습 여부 선택, 크롤러별 토큰, RFC 9309 일치 규칙, 흔한 실수를 설명합니다.

llms.txt 설명: 제안의 내용, Markdown 형식, 현재 누가 읽는지, 10분 안에 작성하는 방법, 도입 현황에 대한 솔직한 평가를 다룹니다.

AEO와 SEO 비교: 그대로인 것, AI 답변에서 달라지는 것(접근, 답변 우선 콘텐츠, 엔티티, 최신성), 체크리스트를 정리했습니다.

Anthropic의 웹 에이전트 세 가지: ClaudeBot, Claude-SearchBot, Claude-User가 하는 일, robots.txt 토큰, 각각을 차단했을 때 달라지는 점.

Perplexity의 두 에이전트: PerplexityBot과 Perplexity-User가 하는 일, robots.txt로 제어되는 것, 허용하거나 방화벽에서 차단하는 방법.

AI 답변이 페이지를 읽는 데 도움이 되는 schema.org 마크업: sameAs가 있는 Organization, Article의 날짜와 작성자, FAQPage, 가격이 있는 Product를 JSON-LD로 설명합니다.

JavaScript로만 렌더링되는 콘텐츠가 AI 크롤러에 자주 누락되는 이유, 크롤러가 받는 내용을 확인하는 방법, SSR이나 정적 HTML로 해결하는 방법.