AI-краулери та AEO простими словами
Практичні посібники для власників сайтів, маркетологів і розробників: які бувають AI-краулери, що їм дозволено читати і як зробити так, щоб AI-відповіді могли прочитати та процитувати ваші сторінки.
Чи бачить ChatGPT мій сайт? Як перевірити
Як перевірити, чи може ChatGPT читати й цитувати ваш сайт: OAI-SearchBot, GPTBot і ChatGPT-User, robots.txt, файрволи та швидкий тест через curl.
Читати статтю →Краулери OpenAIКраулери OpenAI: GPTBot, OAI-SearchBot і ChatGPT-User
Що роблять три краулери OpenAI, який токен robots.txt за що відповідає і що змінить блокування GPTBot, OAI-SearchBot або ChatGPT-User для вашого сайту.
Читати статтю →Файрволи та CDNЧи блокує Cloudflare AI-краулерів: як з’ясувати й виправити
Чому Cloudflare та інші WAF відповідають AI-краулерам кодом 403 або сторінкою-перевіркою, як це помітити і як безпечно пропустити краулери AI-пошуку.
Читати статтю →robots.txtrobots.txt для AI-краулерів: що дозволити, що закрити
Як написати robots.txt для AI-краулерів: дозволити AI-пошук, окремо вирішити щодо навчання, токен кожного краулера, правила RFC 9309 і поширені помилки.
Читати статтю →llms.txtЩо таке llms.txt і чи варто його додавати
llms.txt простими словами: що це за пропозиція, формат Markdown, хто читає файл сьогодні і як скласти його за десять хвилин. Чесно про використання.
Читати статтю →Основи AEOAEO і SEO: що спільного і що змінюється для AI-відповідей
AEO порівняно з SEO: що лишається незмінним, що змінюється для AI-відповідей (доступ, відповідь на початку, сутності, актуальність) і чек-лист.
Читати статтю →Краулери ClaudeКраулери Anthropic: ClaudeBot, Claude-SearchBot і Claude-User
Три вебагенти Anthropic: що роблять ClaudeBot, Claude-SearchBot і Claude-User, їхні токени robots.txt і що змінює блокування кожного з них.
Читати статтю →Краулери PerplexityКраулери Perplexity: PerplexityBot і Perplexity-User
Два агенти Perplexity: що роблять PerplexityBot і Perplexity-User, якого з них контролює robots.txt і як дозволити або заблокувати їх у файрволі.
Читати статтю →Структуровані даніСтруктуровані дані для AI-відповідей: що розмічати і як
Яка розмітка schema.org допомагає AI-відповідям читати сторінку: Organization із sameAs, дати й автор Article, FAQPage та Product із ціною, у форматі JSON-LD.
Читати статтю →Рендеринг JavaScriptЧи можуть AI-краулери читати контент, який відмальовує JavaScript
Чому контент, який створює лише JavaScript, часто зникає для AI-краулерів, як перевірити, що вони отримують, і як виправити це через SSR або статичний HTML.
Читати статтю →