AI-краулеры и AEO простыми словами
Практические руководства для владельцев сайтов, маркетологов и разработчиков: какие бывают AI-краулеры, что им разрешено читать и как сделать так, чтобы AI-ответы могли прочитать и процитировать ваши страницы.
Видит ли ChatGPT мой сайт? Как проверить
Как проверить, может ли ChatGPT читать и цитировать ваш сайт: OAI-SearchBot, GPTBot и ChatGPT-User, robots.txt, файрволы и быстрый тест через curl.
Читать статью →Краулеры OpenAIКраулеры OpenAI: GPTBot, OAI-SearchBot и ChatGPT-User
Что делают три краулера OpenAI, какой токен robots.txt за что отвечает и что изменит блокировка GPTBot, OAI-SearchBot или ChatGPT-User для вашего сайта.
Читать статью →Файрволы и CDNБлокирует ли Cloudflare AI-краулеров: как выяснить и исправить
Почему Cloudflare и другие WAF отвечают AI-краулерам кодом 403 или страницей-проверкой, как это заметить и как безопасно пропустить краулеры AI-поиска.
Читать статью →robots.txtrobots.txt для AI-краулеров: что разрешить, что закрыть
Как написать robots.txt для AI-краулеров: разрешить AI-поиск, отдельно решить про обучение, токен каждого краулера, правила RFC 9309 и частые ошибки.
Читать статью →llms.txtЧто такое llms.txt и стоит ли его добавлять
llms.txt простыми словами: что это за предложение, формат Markdown, кто читает файл сегодня и как составить его за десять минут. Честно об использовании.
Читать статью →Основы AEOAEO и SEO: что общего и что меняется для AI-ответов
AEO в сравнении с SEO: что остаётся прежним, что меняется для AI-ответов (доступ, ответ в начале, сущности, актуальность) и чек-лист.
Читать статью →Краулеры ClaudeКраулеры Anthropic: ClaudeBot, Claude-SearchBot и Claude-User
Три веб-агента Anthropic: что делают ClaudeBot, Claude-SearchBot и Claude-User, их токены robots.txt и что меняет блокировка каждого из них.
Читать статью →Краулеры PerplexityКраулеры Perplexity: PerplexityBot и Perplexity-User
Два агента Perplexity: что делают PerplexityBot и Perplexity-User, какого из них контролирует robots.txt и как разрешить или заблокировать их в файрволе.
Читать статью →Структурированные данныеСтруктурированные данные для AI-ответов: что размечать и как
Какая разметка schema.org помогает AI-ответам читать страницу: Organization с sameAs, даты и автор Article, FAQPage и Product с ценой, в формате JSON-LD.
Читать статью →Рендеринг JavaScriptМогут ли AI-краулеры читать контент, который отрисовывает JavaScript
Почему контент, созданный только JavaScript, часто невидим для AI-краулеров, как проверить, что они получают, и как исправить через SSR или статический HTML.
Читать статью →